אימון חימום בהשראת המוח עם רעש אקראי לכיוון כיול אי־ודאות

למה בינה חכמה יותר צריכה לדעת מתי היא עלולה לטעות

מערכות בינה מלאכותית מודרניות יכולות לזהות תמונות, לנהוג ברכבים ולהתנהל בשפה טבעית בכישרון מרשים. עם זאת, לעיתים קרובות יש להן נקודת עיוורון מסוכנת: הן עלולות להיות טועות לחלוטין ובו בזמן מאוד בטוחות בעצמן. חוסר התאמה זה בין ביטחון לנכונות עלול להוביל להחלטות רפואיות שגויות, להתנהגות מסוכנת של רכבים אוטונומיים או לצ׳אטבוטים שממציאים עובדות באופן משכנע. המאמר "אימון חימום בהשראת המוח עם רעש אקראי לכיוון כיול אי־ודאות" חוקר דרך מפתיעה ופשוטה, בהשראת ביולוגיה, ללמד מודלים של בינה מלאכותית הרגל אנושי חשוב: להביע אי־וודאות כאשר הם אכן אינם יודעים.

כשביטחון והמציאות מתרחקים זה מזה

המחברים מתחילים בבחינת האופן שבו רשתות נוירוניות של היום מדווחות על ביטחון. מסווג שאומן על תמונות טבעיות לא רק חוזה מה הוא רואה, אלא גם סוכם הסתברותית עד כמה תשובתו נכונה. באופן אידיאלי, אם מודל אומר שהוא בטוח ב־80%, הוא צריך להיות נכון כ־80% מהזמן. בפועל, החוקרים מראים שככל שהרשתות עמוקות יותר ואומן על נתונים מוגבלים, הביטחון שלהן נפוח: הן לעיתים קרובות מקצות רמת ביטחון גבוהה מאוד לתשובות שגויות. הבעיה מחמירה עוד יותר כאשר המודל נתקל בתמונות שמעולם לא נראו במהלך האימון — מצב המכונה נתונים מחוץ להתפלגות — שבהן הוא עדיין מתנהג בביטחון מופרז במקום להודות בחוסר וודאות.

חימום שהושאל מהמוח המתפתח

כדי להתגבר על זה, המחקר פונה לביולוגיה. לפני הלידה, מוחי בעלי חיים כבר פעילים, משדרים דפוסי פעילות חשמלית ספונטניים עוד לפני שהגיעו גירויים חזותיים או שמיעתיים משמעותיים. נוירולוגים סבורים שה"רעש" המוקדם הזה מסייע לחבר מעגלים כך שיהיו מוכנים לניסיון חושי אמיתי. בהשראה זו, המחברים מציעים שלב חימום לרשתות מלאכותיות: לפני הצגת תמונות או תוויות אמיתיות, המודל מאומן לפרק זמן קצר על דפוסי קלט אקראיים לחלוטין שמזוהים עם תוויות אקראיות וחסרות משמעות. במבט ראשון זה עשוי להיראות חסר תועלת — הרשת לא יכולה ללמוד דבר מועיל מרעש טהור. עם זאת, במהלך שלב קצר זה תגובותיה הפנימיות מתייצבות למצב שבו הסתברויות התוצאה שלהן מתפלגות באופן שווה, תואמות להסתברות אקראית ולא לביטחון מופרז.

איך רעש אקראי עושה את הביטחון לאמיתי

באמצעות מודלים פשוטים לדוגמה ומסווגי תמונה מלאים, החוקרים מראים מה עושה החימום הזה מתחת לפני השטח. ברשת סטנדרטית עם אתחול אקראי, האותות המתמטיים ממש לפני שכבת ההחלטה הסופית לעיתים קרובות חווים תנודות גדולות, שפונקציית הסופטמקס ממירה להסתברויות קיצוניות קרובות לאפס או לאחד. משמעות הדבר היא שמודל שאינו מאומן כבר מתנהג כאילו הוא בטוח מאוד, אף שאינו יודע דבר. אימון על רעש אקראי משנה בעדינות את הסקאלה של האותות הפנימיים הללו, ומושך אותם לתחום שבו הסתברויות התוצר מתקבצות סביב רמת המקרה. המשקלים עצמם משתנים במעט; במקום זאת, דפוס הפעילות הכולל "מכייל מראש" כך ש, לפני התחלת הלמידה האמיתית, המודל מבטא באופן טבעי אי־וודאות מקסימלית לגבי קלטים לא מוכרים.

תנהגות טובה יותר על נתונים אמיתיים ובלתי מוכרים

לאחר שהחימום בהשראת המוח הושלם, אותן רשתות מאומנות על מערכי תמונה אמיתיים באמצעות שיטות סטנדרטיות. לאורך ארכיטקטורות רבות — מרשתות חד־כיווניות פשוטות ועד ResNet, DenseNet ודגמי ויז׳ן טרנספורמר פופולריים — רשתות שאומנו על רעש שומרות על התאמה קרובה יותר בין ביטחון לדיוק בפועל במהלך הלמידה. הן מתפקדות לא פחות טוב או מעט טוב יותר מרשתות עם אתחול קונבנציונלי על מערכי מבחן סטנדרטיים, אבל ציוני הביטחון שלהן אמינים הרבה יותר. מהותי מכך, כשהן נחשפות לתמונות שאכן לא מוכרות, מודלים שמכווילים מראש אלה מקצים ביטחון נמוך שמנודד סביב רמת המקרה, במקום לתוייג אותן בבטחון רב באופן שגוי. תכונה פשוטה זו משפרת מאוד את יכולתם לזהות מתי קלט הוא "לא ידוע" — דרישה מרכזית לפריסה בטוחה בשטח.

יסודות לבינה מהימנה יותר

במילים פשוטות, המחקר מראה כי חימום מאוד קצר וזול על רעש אקראי יכול ללמד רשתות נוירוניות סוג של ענווה מלכתחילה. במקום להתחיל כבוחנים ביטחוניים מדי, המודלים מתחילים במצב זהיר שבו הם מודים שאינם יודעים, ואז מגדילים את הביטחון רק ככל שהם צוברים עדות ממשית. גישה זו נמנעת מצורך בשיטות עיבוד נוספות לאחר האימון, פועלת על פני סוגים רבים של מודלים וגדלי נתונים, ומהדהדת את האופן שבו נראה שהמוחות הביולוגיים מתכוננים לפני הלידה. אם תאומץ באופן נרחב, אימון חימום בהשראת המוח כזה יכול לסייע לכך שמערכות בינה מלאכותית יהיו לא רק מדויקות, אלא גם מודעות במידה הראויה למגבלותיהן — צעד חיוני כדי להפכן לשותפים בטוחים ואמינים בקבלת החלטות יומיומית.

ציטוט: Cheon, J., Paik, SB. Brain-inspired warm-up training with random noise for uncertainty calibration. Nat Mach Intell 8, 602–613 (2026). https://doi.org/10.1038/s42256-026-01215-x

מילות מפתח: כיול אי־ודאות, רשתות נוירוניות, חימום ברעש אקראי, זיהוי מחוץ להתפלגות, בינה מלאכותית בהשראת המוח