חישוב נתונים במקום באמצעות ארכיטקטורת פיקסל-אחד-רב-ממבריסטורים לראייה נוירומורפית סדרתית

מדוע ראייה מהירה חשובה

בכל פעם שמצלמה בטלפון, ברובוט או ברכב אוטונומי קולטת את העולם, עליה תחילה ללכוד תמונות ואז לשלוח אותן לשבב נפרד לניתוח. חילופי הנתונים הזה מבזבזים זמן ואנרגיה, במיוחד עבור זרמי וידאו. המחקר שמאחורי מאמר זה חוקר סוג חדש של "עין" אלקטרונית שיכולה גם לאחסן וגם לעבד מידע חזותי כמעט במקום שבו האור נופל בפעם הראשונה, בהשראת האופן שבו המוח האנושי מטפל בסצנות נעות.

איך העיניים והמוח שלנו מטפלים בתנועה

באנשים, העין ממירה אור לדחפים חשמליים זעירים הנעים לאורך עצבים אל המוח. שם, סוג של זיכרון חזותי לטווח קצר מחזיק תמונות אחרונות ומבצע מיון ראשוני מהיר לפני שמתרחשת הכרה עמוקה יותר. סינון מוקדם זה מצמצם כמה מידע צריך להיות מועבר, ומסייע למוח לשמור על מהירות ויעילות אנרגטית. העבודה החדשה שואבת רעיון זה, במטרה להעניק למערכות ראייה מלאכותיות זיכרון עבודה חזותי מקומי משלהן.

שותפות חדשה בין פיקסל וזיכרון

החוקרים בנו מערכת חומרה שבה כל פיקסל חיישן אור מקושר להרבה אלמנטים זיכרון זעירים על השבב. אלמנטים אלה, שנקראים ממבריסטורים, יכולים לאחסן טווח ערכים, לא רק מצב דלוק וכבוּי, מה שהופך אותם מתאימים לאחסון גווני בהירות. בעיצוב, מעגל אנלוגי פשוט ממיר את אות האור של הפיקסל למתח שמתכנת ישירות כמה ממבריסטורים בבת אחת. פריסת פיקסל-אחד לרבים יוצרת מפת סצנה קומפקטית ישירות ברשת הזיכרון, בדומה לאופן שבו סיבי עצב מהרשתית מפיצים מידע לתאים רבים במוח.

גלילה מהירה דרך תמונות

כדי ללכוד תמונות נעות ביעילות, הצוות הציג אסטרטגיית "חשיפה גלילית". במקום לתפוס פריים שלם ולשלוח אותו החוצה, המערכת כותבת עמודה אחת של פיקסלים למערך הממבריסטורים ואז עוברת במהירות לעמודה הבאה עד שהתמונה כולה מאוחסנת. שיטת דחיפה בודדת מיוחדת מתכנתת רבים מן הממבריסטורים במקביל, במחיר של מעט ירידה בדיוק בתמורה לרווח ענק במהירות. ניסויים עם צלליות של פעולות אנושיות פשוטות ותמונת דיוקן מראים שהתמונות המשוחזרות מהשבב שומרות על צורות ופנים עיקריות ברורות מספיק לזיהוי אמין, אף על פי שיש רעש קטן.

חישוב במקום שבו התמונה נמצאת

מרבית חומרת הראייה החכמה הנוכחית עדיין מפרידה בין חישה, אחסון וחישוב. לעומת זאת, מערכת זו מבצעת חלק מה"חשיבה" ישירות בתוך אותו מערך ממבריסטורים שמחזיק את התמונה. החוקרים מיישמים דפוסי מתח שנבחרו בקפידה על פני התמונה המאוחסנת, ומאפשרים לרשת עצמה לבצע את שלבי המתמטיקה הבסיסיים של רשת נוירונית. רק התוצאות המדודות מועברות לאחר מכן לבלוק ממבריסטורים שני שסוגר את תהליך הסיווג. במבחנים על מאגר נתונים ידוע של פעולות אנושיות, החומרה זיהתה תנועות כמו ריצה, קפיצה והליכה בדיוק של 95.7 אחוז, קרוב לדמויי מחשב.

מדוע גישה זו עשויה לעצב מחדש את עיני המכונה

מכיוון שחישה, אחסון לטווח קצר ועיבוד מוקדם משולבים זה בזה באופן הדוק, הארכיטקטורה החדשה מקטינה מאוד את הצורך להעביר נתונים בין שבבים נפרדים. המחברים מעריכים שעיצובם יכול להפחית את הזמן להקלטה ולאחסון התמונה בכ־שנתיים אלפי פעמים, ולהקטין את צריכת האנרגיה לעיבוד תמונה בכ־160 פעמים בהשוואה למערכת דיגיטלית טיפוסית המשתמשת בזיכרון סטנדרטי. עבור משתמשים יומיומיים, זה עשוי בעתיד להתרגם למצלמות ולמכשירים מונחי ראייה קטנים יותר, פחות חמים ויותר רגישים שצופים בעולם כמעט כמו אנחנו, ולוקחים רק את מה שצריך מכל רגע בזמן.

ציטוט: Sun, Y., Tong, P., Shen, J. et al. Data-In-situ Computing with One-Pixel-Multiple-Memristor Architecture for Neuromorphic Sequential Vision. Nat Commun 17, 4244 (2026). https://doi.org/10.1038/s41467-026-70860-y

מילות מפתח: ראייה נוירומורפית, ממבריסטור, חישוב בתוך הזיכרון, תמונות סדרתיות, בינה אנרגטית יעילה