תפיסה חזותית אולטרה-מהירה שמעבר ליכולות האדם – מאופשרת על-ידי ניתוח תנועה באמצעות טרנזיסטורים סינפטיים

מדוע ראיית רובוטים מהירה יותר חשובה

כשמערכת נהיגה אוטונומית או כלי טיס בלתי מאויש מגיבה אף ברבע שנייה באיחור, התוצאות עלולות להיות חמורות. אלגוריתמי הראייה הממוחשבת המתקדמים של היום עשויים להתחרות או להקדים בני אדם במבחנים סטנדרטיים, אך הם עדיין לוקחים יותר מדי זמן לעיבוד כל פריים בזמן אמת. מאמר זה מציג חומרה חדשה לראייה, בהשראת המוח, שמאפשרת למכונות לזהות תנועה מהר הרבה יותר מבני אדם, מבלי להתפשר על הדיוק.

איך בדרך-כלל מלמדים מכונות לראות תנועה

ניתוח תנועה קונבנציונלי נשען על טכניקה שנקראת זרימת אופטי (optical flow), שמעריכה כיצד כל נקודה בתמונה זזה מפריים לפריים. היא עובדת היטב אך היא כבדה חישובית: לתמונה ברזולוציית HD מלאה, כרטיס גרפי חזק עלול להזדקק ליותר מחצי שנייה לסיום החישוב. בתרחישים של תנועה מהירה, כמו נסיעה בכביש מהיר, ההשהיה הזו יכולה להתרגם לעשרות מטרים שנסעו לפני שהמערכת מזהה סכנה. בניגוד למערכת הראייה האנושית, שמתמקדת במהירות בחלקים הרלוונטיים בסצנה, האלגוריתמים הסטנדרטיים מעבדים את כל הפיקסלים, גם באזורים סטטיים של הרקע הנושאים מעט מידע שימושי.

לשדוד טריק משלבי הראייה המוקדמים במוח

הביולוגיה פותרת בעיה זו באמצעות שכבות סינון מוקדמות בעין ובתלמוס שמבליטות היכן מתרחש שינוי וממעיטות בחשיבות השאר. המחברים מחקים רעיון זה בסיליקון באמצעות מודול נוירו-מורפי של "תשומת לב זמנית". מצלמה סטנדרטית עדיין לוכדת את התמונות, אך גם השינויים בהירותם מוזנים לרשת קומפקטית של טרנזיסטורים סינפטיים — רכיבים אלקטרוניים שמתנהגים קצת כמו חיבורים מתכווננים במוח. כל רכיב צובר מקומית כמה האור באזור שהוקצה לו השתנה במהלך חלון זמן קצר. רצועות ברשת שרואות שינוי חזק נדלקות כאזורי עניין, בעוד אזורים שקטים נסוגים לרקע.

טרנזיסטורים חכמים שמזכירים תנועה

בלב המערכת נמצא טרנזיסטור סינפטי בעל שער צף, שנבנה מחומרים דקים בשכבות אטומיות ותוכנן במיוחד. על ידי מתן דחפי מתח קצרים ניתן לכוונן את מוליכותו ולשמור אותה לשעות, וכך לאחסן למעשה זיכרון של פעילות חזותית אחרונה. הטרנזיסטורים מגיבים בכ-100 מיקרו-שניות — מהיר מספיק לווידאו במהירות גבוהה — ועמידים לאלפי מחזורי עדכון ללא בירוד. הצוות הגדיל יחידה בודדת למערך 4×4 והראה כיצד שינויים בהירות המצלמה מומרצים לדחפי מתח שמדחפים בתבונה תאים מסוימים למצב מוליכות גבוה של "תנועה" בעוד דפיקות קלות ורעש מדוכאים.

להריץ חישובים כבדים רק במקום שבו זה חשוב

פלט המערך מומר למפת "חום" גסה של תנועה שמסמנת אזורי עניין קומפקטיים. במקום להריץ קוד זרימת אופטי יקר על כל התמונה, המערכת מנתחת רק את האזורים המודגשים, עם קצת מרווח מסביבם. המחברים מדגימים שגישה זו משתלבת ישירות עם מספר שיטות זרימת אופטי פופולריות, מאלגוריתמים קלאסיים כמו Farneback ועד מודלים מודרניים בלמידה עמוקה כגון RAFT ו-GMFlow. במבחנים עם מכוניות, רחפנים, זרועות רובוטיות וספורט מהיר כמו טניס שולחן, החזית הנוירו-מורפית חותכת באופן שגרתי את הזמן המוקדש לאמידת תנועה ומשימות המשך — כגון חיזוי לאן חפץ יזוז, מיון עצמים נעים מהרקע או מעקב יעד — בכדי-גדול של בערך פי ארבע.

להקדים את תגובת האדם בלי לאבד דיוק

מה שחשוב הוא שההאצה הזו איננה על חשבון מהימנות. על-ידי מתן מידע נוסף על המקומות הסבירים להתקיימות תנועה, הרמזים הזמניים משפרים לעתים קרובות את הדיוק, במיוחד במעקב אחרי עצמים ובמיון סצנות צפופות. בתרחישי כלי רכב ורחפנים קטנים, מדדי ביצועי המשימה יותר ממכפילים לעומת צינורות עיבוד מסורתיים, בעוד זמני העיבוד הכוללים צונחים לעשרות מילישניות — בקירוב לשעות התגובה האנושיות הטיפוסיות של כ-150 מילישניות או טובים מהן. המחברים טוענים כי חזית התנועה הנוירו-מורפית הזו ניתנת לזיווג עם אלגוריתמי ראייה רבים קיימים, ואף עם גלאי עצמים מעבר לזרימת אופטי, כדי להעניק לרובוטים, כלי רכב ומכונות אינטראקטיביות דרך מהירה וממוקדת יותר להבנת סביבות דינמיות.

ציטוט: Wang, S., Zhao, J., Pu, T. et al. Ultrafast visual perception beyond human capabilities enabled by motion analysis using synaptic transistors. Nat Commun 17, 1215 (2026). https://doi.org/10.1038/s41467-026-68659-y

מילות מפתח: ראייה נוירו-מורפית, זרימת אור, טרנזיסטורים סינפטיים, תפיסת רובוט, נהיגה אוטונומית