שיפור ביצועי רשתות עצביות עמוקות באמצעות דגימה

בינה חכמה יותר עם נוירונים קטנים של מטבע מהפך

ככל שהבינה המלאכותית התעצמה, כך גדלה גם תיאבונה לאנרגיה. אימון והרצה של מודלים מודרניים לתמונה ושפה יכולים לצרוך חשמל ברמה של עיירות קטנות. המאמר חוקר רעיון קל נגד אינטואיציה: במקום להפוך רשתות עצביות לדקות ומדויקות יותר, אפשר לפשט את יחידות הבסיס שלהן ולהפכן לרועשות יותר — בדומה להטלת מטבעות דיגיטליים — ואז להשתמש בדגימה חכמה להשיג תוצאות שוות או טובות יותר תוך חיסכון באנרגיה.

מלוחות מדויקים למוחות הסתברותיים

רוב רשתות העצבים העמוקות של היום משתמשות ביחידות "דטרמיניסטיות": אם מזינים את אותם מספרים תקבלו תמיד את אותה תשובה. המחברים מתמקדים באלטרנטיבה שנקראת ביטים הסתברותיים, או p-bits. כל p-bit מתנהג כמו מטבע מוטה קטן המתחלף בין 0 ל‑1 לפי הסתברויות שנקבעות על ידי הקלטים שלו. על ידי לקיחת מספר דגימות מרשת p-bits ועריכת ממוצע של התוצאות אפשר לקרב התנהגות מורכבת יותר של מספר ביטים ללא הצורך באחסון או בניהול של מספר רב של מספרים מדויקים. רעיון זה מקשר את ה‑AI המודרני למכונות איסינג ובולצמן הישנות יותר, שבהן יחידות הסתברותיות כאלה כבר היו ידועות כיעילות לבעיות אופטימיזציה ודגימה.

להשתמש בהרבה ניחושים מהירים במקום בתשובה כבדה אחת

המחקר שואל שאלה פשוטה אך מעשית: אם רוצים שיפור בדיוק, זול יותר להוסיף יותר דיוק דיגיטלי לכל נוירון, או להשאיר את הנוירונים פשוטים מאוד ולחלץ מהם מספר דגימות? המחברים בונים נוסחת אנרגיה כללית שמפרקת את העלות של פעולה יסודית אחת ברשת עצבית לארבעה חלקים: קריאת המשקלים מהזיכרון, קריאה וכתיבה של פעולות, שילוב הקלטים (הסינפסה), ויישום הלא־ליניאריות (הנוירון). חשוב: אפשר לקרוא משקלים פעם אחת ואז להשתמש בהם לייצור מספר דגימות, ולכן העלות הדומיננטית — גישה לזיכרון — מתפזרת על פני הרצות רבות. משמעות הדבר היא שעשר דגימות עולות בהרבה פחות מעשר פעמים עלות של דגימה אחת.

בדיקת רשתות הסתברותיות על תמונות

כדי לבדוק האם הסחר־הזה משתלם בפועל, החוקרים בוחנים רשתות עצביות עמוקות הסתברותיות (p-DNNs) על סיווג תמונות (CIFAR-10) ועל יצירת תמונות (פנים מ‑CelebA וספרות מ‑MNIST). הם מחליפים אותות הפעלה רגילים רב‑ביטיים ב‑p-bits חד־ביטיים, ומאמנים את הרשתות בצורה "מודעת דגימה", שבה פונקציית האובדן מחושבת מהממוצע של מספר מעברי קדימה אקראיים. בסיווג הם מגלים שאפילו עם פעולות 1‑ביט, דגימה אחת יכולה להשוות לדיוק של מודל ברזולוציה מלאה, ושתי דגימות עוקפות אותו. עם עוד דגימות, p-DNNs של ביט אחד מתקרבות לדיוק של רשתות דטרמיניסטיות ב־3 ביט. ביצירת תמונות, החלפה נאיבית של הפעלות ב‑p-bits יוצרת תמונות רועשות, אך אימון מחדש הכולל את האלמנטים הסטוכסטיים וטיפול זהיר בשכבה הסופית מניבים תמונות פנים שאיכותן מתקרבת לבסיס של 32 ביט, כפי שנמדד במטריקה מרחק סטנדרטית.

עלויות אנרגיה וחומרה אמיתית

המחברים חורגים מסימולציות ובוחנים אנרגיה על חומרה אמיתית. באמצעות נתונים משבב 65 ננומטר שנבנה עבור מעגלים הסתברותיים וסימולציות מעגל נוספות, הם מראים שעומסי העבודה של AI מודרני גדולים נשלטים על‑ידי אנרגיית זיכרון, לא חישוב אריתמטי. כי p‑DNNs מפשטות באופן דרמטי את שלב החישוב העיקרי — ממכפלה‑וסכימה מלאה להוספות פשוטות עם הפעלות של ביט אחד — החישוב הנוסף הנדרש כדי לקחת כמה דגימות משפיע במעט על סך האנרגיה כשהמשקלים מאוחסנים בזיכרון חיצוני צורח־צריכת כוח. הם מאמתים את התחזיות האלה על מימוש FPGA של רשת יוצרת תמונות: הגרסה ההסתברותית מקטינה את האנרגיה הכוללת לכל הסקה בכ־2.5 פעמים בהשוואה לעיצוב סטנדרטי, תוך יצירת תמונות ספרות דומות. התוספת של יצירת מספרים אקראיים וההשוואות היא זניחה יחסית לזיכרון ולאריתמטיקה בסיסית.

מדוע דגימה מתכווננת חשובה

יתרון מובחן של רשתות הסתברותיות הוא שניתן לכוונן את הדיוק בזמן ריצה על‑ידי שינוי מספר הדגימות. מנוע p‑DNN של ביט אחד יכול להתנהג כמו מודל מכווץ של 1, 2 או 3 ביטים בהתאם למספר הדגימות שהוא מבצע, ללא צורך בעיצוב מחודש של החומרה. גמישות זו אטרקטיבית במיוחד עבור מודלים שפתיים גדולים, שבהם דיוק המשקלים כבר נחתך לכמה ביטים, בעוד שדיוק ההפעלות קשה יותר להוריד בלי לפגוע באיכות. המסגרת במאמר מראה איך להעריך, לכל מודל כזה, האם כדאי להוציא אנרגיה על דגימות נוספות במקום להעלות את רוחב הביטים.

דרך חדשה ל‑AI יעיל וגמיש

במילים פשוטות, המאמר מדגים שניתן לרתום יחידות נוירונים "רועשות" במקום להימנע מהן. על‑ידי התייחסות לכל מעברי קדימה כניחוש זול ומשוער ואז ממוצע של מספר קטן של ניחושים אלה, רשתות יכולות להגיע לביצועים קרובים־למלא־הדיוק עם חישובים מפושטות באופן דרמטי והכבדה אנרגטית מתונה. מאחר שהזיכרון שולט בחשבון הכוח, עלות הדגימה הנוספת קטנה, במיוחד כשקוראים את המשקלים פעם אחת ומשתמשים בהם שוב. זה מציע נתיב מבטיח לחומרת AI שהיא לא רק חסכונית יותר באנרגיה, אלא גם ניתנת להתאמה בזמן אמת — להגביר או להנמיך את הדגימה כדי להחליף בין דיוק לחיי סוללה או מהירות לפי הצורך.

ציטוט: Ghantasala, L.A., Li, MC., Jaiswal, R. et al. Improving deep neural network performance through sampling. npj Unconv. Comput. 3, 18 (2026). https://doi.org/10.1038/s44335-026-00063-7

מילות מפתח: רשתות עצביות הסתברותיות, בינה מלאכותית חסכונית באנרגיה, הסקת מסקנות מבוססת דגימה, מיחשוב ברזולוציה נמוכה, חומרה ללמידה עמוקה