רשתות עצביות פיזיות באמצעות אימון רגיש-חדות

מדוע זה חשוב לעתיד חומרת ה-AI

כשבינה מלאכותית נעשית עוצמתית יותר, המגבלה שלה איננה תמיד אלגוריתמים חכמים אלא השבבים שמפעילים אותם. מוצא מבטיח אחד הוא לבנות רשתות עצביות ישירות בחומרה פיזית באמצעות אור, אלקטרוניקה אנלוגית או מערכות גליות אחרות. מאמר זה מציג דרך חדשה לאמן "רשתות עצביות פיזיות" כך שישמרו על דיוק גם כשהעולם האמיתי מבולגן—כשמכשירים בנויים קצת לא מדויק, הטמפרטורה משתנה, או רכיבים יוצאים מהיישור.

ממוחות דיגיטליים למכונות פיזיות

בדרך כלל AI מודרני רץ על חומרה דיגיטלית כמו מעבדי גרפיקה, שבה האימון מבוסס על אלגוריתם ה-backpropagation לכיוונון מיליוני משקלים מספריים. רשתות עצביות פיזיות מנסות להעביר את החישוב הזה לחומרים ולמכשירים אמיתיים—כגון שבבי פוטוניקה, רשתות אינטרפרומטריות או מערכי דיפרקציה אופטית—שהתנהגותם מדמה באופן טבעי את המתמטיקה של רשתות עצביות. משום שמערכות אלה מעבדות מידע במקום שבו הוא מאוחסן, הן יכולות להיות הרבה יותר מהירות ויעילות אנרגטית משבבים קונבנציונליים. אבל לאמן אותן קשה: אפשר לאמן מודל דיגיטלי ולקוות שהוא יתאים לחומרה, או לאמן ישירות על המכשיר עצמו. בשני המקרים נתקלים בבעיות כאשר המכשירים האמיתיים סטים מהמודל האידיאלי או מתדרדרים לאורך זמן.

שתי דרכים פגומות ללמד רשתות פיזיות

הגישה הראשונה, שנקראת אימון in silico, לומדת את כל הפרמטרים במודל מחשב ואז מעתיקה אותם לחומרה. זה עובד טוב רק אם המודל המתמטי תואם כמעט במדויק את המכשיר המיוצר, וזה נדיר ברגע שמכניסים לשיקול סטיות ייצור, רעש חשמלי ואפקטים תרמיים. הגישה השנייה, אימון in situ, משלבת את המכשיר הפיזי ישירות בתהליך הלמידה ומודדת יציאות שוב ושוב תוך כיוון הפרמטרים. אף שגישה זו חולפת על פני שגיאות במידול, היא יוצרת בעיות אחרות: מידע על הגרדיאנט קשה ויקר להשגה, האימון הופך להיות ספציפי למכשיר, והפרמטרים המתקבלים בדרך כלל אינם ניתנים להעברה לשבב אחר שנראה זהה. בשני המקרים שינויים קטנים לאחר פריסה—כמו שינוי טמפרטורה זניח או חוסר יישור—יכולים לפגוע קשות בדיוק ולחייב אימון מחדש יקר.

יישור הנוף הלימודי

המחברים מציעים אימון רגיש-חדות (SAT), בהשראת רעיון בלמידת מכונה שנקרא sharpness-aware minimization. במקום למצוא רק הגדרות שנותנות שגיאה נמוכה על נתוני האימון, SAT גם מחפש אזורים שבהם השגיאה משתנה לאט כאשר הפרמטרים הפיזיים מועטים. בגישה גאומטרית, אימון מסורתי לעתים קרובות מוצא עמק עמוק אך צר בנוף האובדן, שבו אפילו הסטות זעירות בזרמים, פאזות או מיקומים גורמות לקריסה בביצועים. SAT מחפש בכוונה עמקים רחבים ושטוחים שבהם הביצועים נשארים גבוהים תחת הפרעות כאלה. מתמטית, הוא מוסיף מונח לאובייקטיב של האימון שמעניש אזורים חדים ובעלי עקומת שיפוע גבוהה במרחב הפרמטרים, ומקרב עונש זה ביעילות באמצעות שני צעדי גרדיאנט שנבחרו בקפידה במקום חישובי נגזרות שניות יקרים.

הוכחת חסוניות על פני פלטפורמות אופטיות שונות

כדי להראות ש-SAT אינו קשור למכשיר אחד ספציפי, המחברים מיישמים אותו על שלוש פלטפורמות שונות של רשתות עצביות אופטיות. בבנקים של משקלים מבוססי מיקרו-טבעת-רזוננס—לופים זעירים של סיליקון שמנתבים אור באורכי גל שונים—הם מדגימים שמערכות מאומנות ב-SAT שומרות על דיוק סיווג גבוה גם כאשר הטמפרטורה משנה במעלות צלזיוס, בעוד שאימון רגיל ושיטות הזרקת רעש נכשלים בצורה דרמטית. הם מרחיבים זאת למשימות תובעניות יותר כמו סיווג תמונות ב-CIFAR-10, דחיסה ושחזור תמונות, ויצירת תמונות, שבהן SAT שומר על ביצועים יציבים בעוד ששיטות קונבנציונליות מתמוטטות תחת שינויים תרמיים צנועים. בסימולציות של רשתות Mach–Zehnder אינטרפרומטריות, מודלים מאומנים ב-SAT עמידים בהרבה לשגיאות ייצור אמיתיות וחשוב מזה—הפרמטרים שאומנו על מכשיר אחד ניתנים להעברה לשבבים אחרים עם פגמים שונים בלי איבוד דיוק. לבסוף, במערכת דיפרקטיבית בחלל חופשי שמשתמשת במסך OLED, עדשות ומודולטור אור מרחבי, SAT משפרת את הסבילות לחוסר יישור פיזי כגון סיבוב, הזזת פיקסלים וקנה מידה, גם כאשר הקשר המדויק בין חוסר היישור לפרמטרי הרשת אינו מדומה במפורש.

דרך מעשית ל-AI פיזי אמין

באופן פשוט, עבודה זו מראה כיצד ללמד רשתות עצביות בחומרה באופן שמחיל "מחילה" על הלקויות הבלתי נמנעות של מכשירים אמיתיים. על ידי כיוון הלמידה לאזורי שגיאה שטוחים ויציבים, אימון רגיש-חדות הופך רשתות עצביות פיזיות ליותר מדויקות ועמידות לשונות בייצור, לשינויים בטמפרטורה ולחוסר יישור מכאני. מכיוון שניתן להשתמש בו עם או בלי דגמים פיזיים מפורטים ובעודו עובד על מספר סוגי חומרה אופטית, SAT מציע מתכון מעשי להרחבה של מערכות AI פיזיות מהירות ויעלות אנרגטית מהדגמות מעבדה לאפליקציות בעולם האמיתי.

ציטוט: Xu, T., Luo, Z., Liu, S. et al. Physical neural networks using sharpness-aware training. Nat Commun 17, 1766 (2026). https://doi.org/10.1038/s41467-026-68470-9

מילות מפתח: רשתות עצביות פיזיות, מיחשוב פוטוני, אימון חסון, אופטימיזציה רגישת-חדות, חומרה ניורומורפית