אלגוריתם למידה המותאם לחומרה עבור זיכרון אסוציאטיבי בעל קיבולת על-ליניארית על רשתות חוצצים של ממריסטורים

מדוע חומרת זיכרון חכמה חשובה

דמיינו מבט על מספר טלפון מטושטש וחצי-מוחק ועדיין לחייגו נכון. המוח שלנו ממלא באופן שגרתי מידע חסר מסוג זה, אבל המחשבים של היום מתקשים לעשות זאת ביעילות. מאמר זה בוחן סוג חדש של זיכרון אלקטרוני היכול להזכיר תבניות מלאות מתוך רמזים רעשיים — קרוב יותר לאופן שבו המוח פועל — תוך שימוש באנרגיה נמוכה בהרבה. על ידי עיצוב מחדש הן של חוקי הלמידה והן של החומרה, החוקרים מראים שמערכות כאלה יכולות לאחסן יותר זיכרונות מהמצופה ולהמשיך לפעול גם כאשר רבים ממרכיביהן תקולים.

מזיכרון הדומה למוח לזיכרון אלקטרוני

לפני עשורים הציעו מדענים "זיכרונות אסוציאטיביים" שיכולים, כמו המוח, לשחזר תבנית שמורה מלאה כאשר ניתנת רק גרסה חלקית או מושחתת שלה. מודל מתמטי פופולרי לכך הוא רשת ההופפילד, שמתנהגת כמו נוף של שיבולים: כל שיבול מייצג זיכרון שמור, וקלט רעשי מתגלגל למטה אל השיבול הקרוב ביותר. עם זאת, על שבבים דיגיטליים סטנדרטיים התהליך איטי ופולשני באנרגיה, מפני שהנתונים חייבים להסתובב בין יחידת העיבוד ליחידת הזיכרון. החוקרים בחרו במקום זאת ברשתות חוצצים של ממריסטורים — רשתות של מכשירים אלקטרוניים זעירים שמאחסנים מידע ומבצעים חישובים במקום — ומבטיחים מקביליות עצומה ושימוש אנרגטי נמוך בהרבה.

ללמד חומרה בלתי מושלמת לעבוד עם המפורים שלה

ממריסטורים במציאות רחוקים מלהיות מושלמים. חלקם נתקעים ולא משנים עוד את מוליכותם החשמלית, בעוד שאחרים משתנים במעט בכל תכנות מחדש. עיצובים קודמים התייחסו ללמידה כתרגיל מתמטי טהור, הזניחו את הגחמנות של העולם האמיתי ואז ניסו להעתיק את המשקלים המחושבים אל החומרה לאחר מכן. העבודה החדשה הפוכה: אלגוריתם הלמידה הופך ל"מותאם-לחומרה", כלומר הוא מאומן תוך שימוש במודל מפורט של השבב בפועל, כולל אילו מכשירים תקולים וטווחי המוליכות שהם יכולים להשיג באופן אמין. במהלך האימון, מכשירים פגומים ממסוכים במפורש, והנותרים מותאמים כך שכל הרשת עדיין מתכנסת לזיכרונות הנכונים כאשר ניתנים רמזים רעשיים.

לאחסן יותר זיכרונות עם רשתות רב-שכבתיות

רשתות הופפילד קלאסיות משתמשות בשכבה יחידה של קישורים ומוכרות בכך שהן מאחסנות מספר תבניות פרופורציונלי לגודלן בלבד. המחברים מרחיבים את שיטת הלמידה המודעת-לחומרה שלהם לרשתות רב-שכבתיות — הוספת שכבות חבויות בין הקלט לפלט — שממומשות על רשתות חוצצים של ממריסטורים. השכבות הנוספות הללו פועלות כשלב דחיסה חכם: עבור נתונים מובנים כמו ספרות כתב-יד, המערכת יכולה לאחסן מספר תבניות שגדל במהירות העולה על ליניארית ביחס למספר יחידות הקלט, התנהגות שהמחברים מתארים כקיבולת על-ליניארית. במבחנים על תמונות ספרות MNIST מדוגמות מחדש, העיצוב הרב-שכבתי לא רק שאחסן יותר תבניות אלא עשה זאת עם מספר מכשירי ממריסטור קטן בהרבה מהמקבילה בשכבה יחידה, ומציע דרך ברורה להגדלת קנה המידה בלי עלות חומרה מתפוצצת.

לטפל בגווני אפור, לא רק בשחור-לבן

רוב הזיכרונות האסוציאטיביים הקודמים עבדו רק עם תבניות פשוטות של הדלקה/כיבוי, בעוד שנתונים בעולם האמיתי — תמונות, קולות, אותות חיישנים — משתנים בצורה חלקה. בהחלפת הפונקציה החריפה "סימן" בפונקציית "tanh" חלקה ובשילובה עם האימון הרב-שכבתי המותאם-לחומרה שלהם, המחברים מראים שאותה מערכת ממריסטורים יכולה באופן אמין לשחזר תבניות בעלות ערכים רציפים. גם כאשר הקלט מושחת ברעש כבד, הדינמיקה האיטרטיבית של הרשת מושכת אותו חזרה לעבר התבנית השמורה הנכונה. במקרים רציפים אלה, מספר הזיכרונות שהמערכת יכולה להכיל גם כן גדל בקצב העולה על ליניארי ביחס לגודל, מה שמעיד שהיתרונות של הארכיטקטורה חורגות מהדוגמאות הבינאריות הפשטניות.

מהירות, יעילות וחוסן בפועל

מכיוון שרשתות החוצצים של ממריסטורים מבצעות פעולות רבות במקביל, החוקרים מעדכנים את כל מצבי הנוירונים בבת אחת, במקום אחד-אחד כפי שנעשה בסכמות מסורתיות. על אב-טיפוס של 64 נוירונים, עדכון סינכרוני זה מקטין את זמן העיבוד בכמעט אלף פעמים ומצמצם את צריכת האנרגיה בכמה מונים בהשוואה לגישות אסינכרוניות קודמות. באופן קריטי, המערכת שומרת על איכות שחזור גבוהה גם כאשר עד חצי מהמכשירים תקולים לצמיתות, וביצועיה כמעט שלא משתנים תחת רעש תכנות ריאלי. בסה"כ, העבודה מציגה מתווה מעשי לזיכרונות בהשראת המוח שהם מהירים, חסכוניים באנרגיה, סובלניים לתקלות ובעלי יכולת לאחסן תבניות עשירות ורציפות — מה שמקרב את החומרה צעד לעבר כוחו האסוציאטיבי של המוח הביולוגי.

ציטוט: He, C., Jiang, M., Shan, K. et al. A hardware-adaptive learning algorithm for superlinear-capacity associative memory on memristor crossbars. Nat Commun 17, 3096 (2026). https://doi.org/10.1038/s41467-026-69958-0

מילות מפתח: זיכרון אסוציאטיבי, רשת חוצצים של ממריסטורים, חומרה נוירומורפית, רשת הופפילד, חישוב בזיכרון