למידה מקוונת בזיכרון ליניארי שאינה תלויה במודל ברשתות עצביות מתפצחות

מדוע קשה לאמן מחשבים בדמיון מוחי

רשתות עצביות מתפצחות הן קטגוריה של רשתות מלאכותיות שמתקשרות באמצעות פולסים חשמליים קצרים, בדומה לתאי מוח אמיתיים. הן מבטיחות מיחשוב יעיל מאוד בהשראת המוח וסימולציות מציאותיות יותר של מעגלים עצביים. אך לימוד רשתות אלה לבצע משימות מורכבות, ובפרט לאורך משכי זמן ארוכים, דורש בדרך כלל כמויות עצומות של זיכרון ומימוש קוד ידני. מאמר זה מציג את BrainTrace, מערכת שנועדה להפוך את אימון הרשתות המתפצחות לפרקטי ונגיש יותר.

להדריך רשתות שלומדות בזמן אמת

שיטות האימון החזקות ביותר לרשתות בדמיון מוחי פועלות על ידי ניגון מחדש של רצף הפעילות כולו ודחיפת אותות שגיאה לאחור דרך כל שלב זמן. גישה זו, הידועה כ-backpropagation דרך הזמן, יכולה להיות מדויקת מאוד אך נתקלת בבעיות כשהרצפים ארוכים או הרשתות גדולות: יש לאחסן כל מצב ביניים, מה שמוביל לצמיחה בזיכרון שתלויה גם בזמן וגם בגודל הרשת. שיטות ‘‘מקוונות’’ חלופיות מעדכנות חיבורים צעד־אחר־צעד בזמן הזרמת הנתונים, ובכך מפחיתות משמעותית את הדרישה לאחסון. עם זאת, כללי מקוונים קיימים פועלים רק עבור מודלים נורמלים מאוד או שעדיין דורשים זיכרון שגדל בריבוע עם גודל הרשת, מה שמקשה על יישומן במערכות בקנה מידה מוחי ריאלי.

מתכון כללי לסוגים רבים של רשתות מתפצחות

BrainTrace מתמודד עם זה על ידי תיאור ראשוני מאוחד של רשתות מתפצחות. המחברים מראים כי סוגים רבים של נוירונים וסינפסות ניתנים לביטוי כשני חלקים המשתלבים זה בזה: דינמיקה פנימית שמתארת כיצד מצב כל נוירון משתנה עם הזמן, ודינמיקת אינטראקציה שהופכת פולסים נכנסים לזרמים הזורמים בין תאים. הם מציגים שתי נקודות מבט מודליות, שנקראות AlignPre ו-AlignPost, שמארגנות סינפסות סביב הנוירון ששולח או סביב הנוירון המקבל. ההפשטה הזו מאפשרת לטפל במגוון רחב של מודלים ביולוגיים ומהנדסים באמצעות אותו כלי מתמטי, מתאים דליפה פשוטים ועד תאים עשירים עם סף הסתגלות וסינפסות מורכבות.

דרך חסכונית בזיכרון לעקוב אחרי סיבה ותוצאה

האתגר המרכזי בלמידה מקוונת הוא לעקוב כיצד שינויים זעירים בכל חיבור ישפיעו בסופו של דבר על התנהגות הרשת, כמות הנקלטת על ידי מה שנקרא "עקבות זכאות" (eligibility traces). בבסיס, שמירת מידע זכאות מלא דורשת מעקב אחרי מטריצות עצומות שגודלן עלול לגדול בשלישית עם מספר הנוירונים. BrainTrace מנצלת שלוש תכונות מרכזיות של רשתות מתפצחות: רוב הנוירונים חרשים רוב הזמן; הדליפה והאיפוס של כל נוירון שולטות ברובה בשינוי מצבו; והפולסים וההולדות הסינפטיות תמיד חיוביים. באמצעות עובדות אלו מראים המחברים כי ניתן לקרב היטב את המטריצות הכבדות באמצעות מכפלה של שתי עקבות קומפקטיות לכל סינפסה בלבד, אחת המסכמת פעילות פרה-סינפטית ואחת המסכמת פעילות פוסט-סינפטית. כלל ההפצה פרה‑פוסט הזה, שכונה pp-prop, משתמש בזיכרון שגדל רק ליניארית עם גודל הרשת, ועדיין מייצר גרדיאנטים שמתיישרים היטב עם אלה של backpropagation מלא.

כלים אוטומטיים שמסתירים את המתמטיקה

מעבר לכלל הלמידה עצמו, BrainTrace מספקת מהדר שמשחק תפקיד דומה לספריות דיפרנציאציה אוטומטית בלמידה העמוקה. המשתמש כותב את דינמיקת מודל המתפצח בשפת רמה גבוהה. המהדר של BrainTrace מנתח אז כיצד מצבים ופרמטרים מקושרים, בונה את עקבות הזכאות הנדרשות ומפיץ קוד ממוטב שמריץ את pp-prop או אלגוריתם קשור ביעילות על מעבדים, מעבדי גרפיקה או מאיצים ייעודיים. משמעות הדבר היא שמודלנים יכולים להתמקד בשאלות מדעיות במקום בכתיבת קוד גרדיאנט עדין ביד, ובו בזמן ליהנות מלמידה מקוונת וחסכונית בזיכרון.

מחיישנים זעירים ועד מוח זבוב שלם

המחברים בוחנים את BrainTrace בבנצ'מרקים נאורומורפיים סטנדרטיים, שבהם רשתות מתפצחות ממיינות גרסאות מבוססות-אירועים של תמונות, קולות ותנועות. על פני מערכי נתונים ואדריכליות שונות, pp-prop משווה בדיוקו ל-backpropagation המלא תוך שימוש בזיכרון נמוך בסדרי גודל והרצה מהירה יותר משיטות מקוונות אחרות. מה שחשוב הוא שהמערכת גם מתגבשת לבעיות נוירו-מדע תובעניות. בדוגמה אחת, רשת מתפצחת מפורטת ביולוגית עם אוכלוסיות מעוררות ומעכבות נפרדות לומדת משימת הצטברות ראיות ומפתחת דפוסי פעילות המזכירים את אלה שנרשמו בקורטקס של עכבר. בדוגמה אחרת, מודל מתפצח עם יותר מ-125,000 נוירונים, מחובר בהתאם לקונקטום של זבוב הפרי, מאומן לשחזר פעילות במצב מנוחה שנרשמה בכל מוח הזבוב—הישג שעולה על יכולת הזיכרון של אימון קונבנציונלי על כרטיס גרפי יחיד.

מה המשמעות עבור מיחשוב בדמיון מוחי בעתיד

עבור שאינם מומחים, המסר המרכזי הוא ש-BrainTrace הופך חלום שבעבר היה בלתי פרקטי—אימון רשתות מתפצחות עשירות בקנה מידה מוחי בזמן אמת—לאפשרות ריאלית. על ידי מציאת דרך חכמה לעקוב אחרי סיבה ותוצאה עם כמות זיכרון קטנה בלבד, ועטיפת זה בכלים אוטומטיים, העבודה מקרבת את המיחשוב המושפע מהמוח לשימוש יומיומי הן בבינה מלאכותית והן בנוירו-מדע בסיסי. היא מציעה דרך למכונות שלומדות ומסתגלות ביעילות ובדיוק זמני של מערכות עצביות אמיתיות, מבלי לדרוש משאבים ברמת-על מחשוביים.

ציטוט: Wang, C., Dong, X., Ji, Z. et al. Model-agnostic linear-memory online learning in spiking neural networks. Nat Commun 17, 1745 (2026). https://doi.org/10.1038/s41467-026-68453-w

מילות מפתח: רשתות עצביות מתפצחות, למידה מקוונת, מיחשוב נאורומורפי, סימולציית מוח, אימון מבוסס-גרדיאנט