רשתות נוירונים פועמות ללא חישוב לאחור עם אלגוריתם ה-forward–forward

ללמד מחשבים לחשוב בקפיצות חשמליות

הרבה מהמכונות החכמות של היום לומדות באמצעות מתמטיקה שאינה דומה למה שקורה במוח. מאמר זה בוחן גישה חדשה לאימון רשתות נוירונים פועמות — מודלים ממוחשבים שמתקשרים באמצעות פולסים חשמליים קצרים, בדומה לתאי עצב אמיתיים — מבלי להסתמך על המתכון הסטנדרטי של backpropagation. המחברים מראים ששיטה בהשראת המוח, הקרויה אלגוריתם ה-forward–forward, יכולה ללמד רשתות פועמות לזהות תמונות וקולות בדיוק קרוב ולעיתים אף טוב יותר מהשיטות הטובות הקיימות, תוך תאימות רבה יותר לחומרה נאורומורפית חיסכונית באנרגיה.

מדוע קשה לאמן "מוחות" פועמים

רשתות נוירונים פועמות מעבדות מידע באמצעות צרורות בדידות, או "קפיצות" (spikes), לאורך זמן במקום באמצעות ערכים רציפים וחלקים. זה עושה אותן אטרקטיביות לחישוב חסכוני באנרגיה ולחקות את המוחות הביולוגיים. אבל זה גם יוצר קושי לאלגוריתמי למידה שגרתיים: backpropagation זקוקה למדרונים חלקים כדי לכוונן את הקשרים בין הנוירונים, בעוד שהקפיצות הן אירועים של הכל או כלום. קיימים פתרונות עקיפים — כמו "מדרונים תחליפיים" שמעמידים פנים שהקפיצות הן חלקות בזמן האימון — אך backpropagation עדיין דורש אחסון כמויות גדולות של פעילויות ביניים ושליחת אותות שגיאה מדויקים לאחור דרך כל שכבה, הנחות שהן כבדות חישובית ולא ביולוגיות בהכרח.

נתיב שונה: למידה באמצעות שתי העברות קדימה

האלגוריתם forward–forward מציע גישה מנוגדת. במקום העברה קדימה אחת ואחריה מעבר אחורי עם אותות שגיאה, כל שכבה ברשת מאומנת באמצעות שתי העברות קדימה בלבד: אחת עם דוגמאות "חיוביות" התואמות את התווית הנכונה, ואחת עם דוגמאות "שליליות" שבנויים באופן מבוקר להיות שגויים. בכל שכבה הרשת מודדת מדד פשוט שנקרא "טוביות" (goodness), על בסיס עוצמת תגובת הנוירונים. המטרה היא להעלות את הטוביות עבור קלטים חיוביים ולהורידה עבור קלטים שליליים. מאחר שכל שכבה משתמשת בפעילות שלה בלבד לעדכון הקשרים, אין צורך לשלוח אותות שגיאה חזרה דרך כל הרשת, והאלגוריתם הופך ליותר מקומי, מודולרי וידידותי לחומרה.

להפעיל את forward–forward על רשתות פועמות

המחברים מתאימים את הרעיון לרשתות פועמות על ידי עיצוב מדויק של אופן הקידוד של הקלטים והתוויות ושל מדידת הטוביות. תחילה, תמונות או דפוסי קול מומרות לרצפי קפיצות באמצעות קידוד בקצב — קלטים אינטנסיביים יותר מפיקים יותר קפיצות לאורך סדרה קצרה של צעדי זמן. תוויות משתלבות ישירות בחלק מהקלט, כך שווקטור אחד נושא גם את הנתונים וגם את מחלקת המועמד. דוגמאות חיוביות משתמשות בתווית הנכונה; דוגמאות שליליות משתמשות בתווית שגויה שנבחרה במכוון מתוך מחלקות שהרשת נוטה לבלבל. כשהקפיצות זורמות דרך שכבות של נוירונים מסוג leaky integrate-and-fire, המודל סופר כמה פעמים כל נוירון יורה עבור המעברים החיוביים והשליליים. הטוביות של שכבה מוגדרת על ידי סכומי הקפיצות, ופונקציית איבוד חלקה מעודדת את הטוביות החיוביות להיות גבוהות מהשליליות בהפרש נוח תוך שמירה על יציבות המדרונים.

כמה טוב השיטה הפועמת הזו עובדת?

כדי לבחון את הגישה שלהם, המחברים מאמנים רשתות פועמות קומפקטיות על מספר מערכי מבחן חזותיים סטנדרטיים, כולל ספרות בכתב יד (MNIST), פריטי אופנה, תווים יפניים ותמונות חפצים צבועות (CIFAR-10), וכן מערכי נתונים נאורומורפיים שבהם הקלטים כבר מגיעים כקפיצות, כגון הקלטות ספרות מבוססות אירועים (N-MNIST) וספרות מדוברות המקודדות כרצפי קפיצות (SHD). למרות שימוש בשתי שכבות נסתרות בלבד ובמספר של עד 10 צעדי זמן, מודלי ה-forward–forward הפועמים שלהם משווים או עולים על מערכות forward–forward פועמות אחרות ומתקרבים לביצועים של רשתות פועמות מאומנות ב-backpropagation. במשימות טמפורליות תובעניות יותר כמו SHD, שיטתם אף מנצחת מספר מודלים פועמים מבוססי backpropagation, וזאת תוך שימוש בפחות פרמטרים ובהיותם קלים יותר למיפוי על חומרה מונעת-אירועים.

מה המשמעות לזה עבור מכונות דמויות מוח בעתיד

לקורא שאינו מומחה, המסר המרכזי הוא שעכשיו קיימת דרך מבטיחה לאמן רשתות בהשראת המוח שמבוססות על קפיצות, בלי להסתמך על המנגנון הכבד של backpropagation. על-ידי שיפוט כל שכבה לפי עוצמת תגובתה לדוגמאות טובות מול רעות, ובעבודה כולה באמצעות העברות קדימה, גישת ה-forward–forward שומרת על למידה מקומית ומודולרית ועדיין משיגה דיוק תחרותי. אף על פי שחלק מהרכיבים — כמו מדרונים תחליפיים והטמעת תוויות מפורשת — אינם ביולוגיים לחלוטין, המסגרת מקרבת את למידת המכונה לאופן שבו מערכות עצביות אמיתיות עשויות להסתגל, ופותחת נתיב למכשירים חכמים יעילים וחסכוניים באנרגיה הלומדים מנתוני חישה זורמים בזמן אמת.

ציטוט: Ghader, M., Kheradpisheh, S.R., Farahani, B. et al. Backpropagation-free spiking neural networks with the forward–forward algorithm. Sci Rep 16, 14294 (2026). https://doi.org/10.1038/s41598-026-41671-4

מילות מפתח: רשתות נוירונים פועמות, למידת forward-forward, מחשוב נאורומורפי, בינה מלאכותית בהשראה ביולוגית, אלטרנטיבות ל-backpropagation