מדידה מדויקת ומהירה של צורה מבוססת אירועים בסצנות עם רפלקטיביות מעורבת

לראות עולמות מבריקים וחסרי‑ברק יחד

מנעילת פנים בטלפון ועד רובוטים במפעל — מכשירים רבים כיום מסתמכים על מצלמות שמודדות עומק, לא רק צבע. יחד עם זאת, מערכות אלה נתקעות לעתים בעולם האמיתי, שבו קירות מטושטשים, פלסטיק מבריק ומתכות כהות יושבים זה לצד זה. המחקר הזה מציג שיטה חדשה ללכידת הצורה התלת‑ממדית של סצנות מעורבות כאלו במהירות ובדיוק גבוה, באמצעות מצלמת "מבוססת אירועים" ולייזר סורק, כך שניתן למדוד בפרטים גם עצמים מבריקים ונעים.

מדוע דברים מבריקים כל כך קשים למדידה

רוב מצלמות התלת‑ממד בנויות עבור סוג משטח אחד בכל פעם. טכניקות שמקרינות תבניות וצופות כיצד הן מעוותות עובדות טוב על עצמים דיפוזיים, כי האור מתפזר בכיוונים רבים וקל לראותו מהמצלמה. אך הן מוצגות כישלון מול מראות ומתכות מלוטשות, שבהן האור חוזר בכיוון יחיד, כאילו כדור ביליארד שפוגע ושוקע. לעומת זאת, שיטות שמצטיינות על מראות, כמו דפלקטומטריה שמשתמשת במסך גדול כמקור אור ידוע, מתקשות עם עצמים חלקית מבריקים ודורשות התקנה מגושמת וכיול מדויק. סצנות אמיתיות, כמו פנים של מכונית או סלון, משלבות את כל סוגי המשטחים האלה, מה שהופך את המערכות של היום לאיטיות, שבירות או לא שלמות.

מצלמות אירועים וקווי סריקה

המחברים בונים מערכת קומפקטית משני חלקים בלבד: מצלמת אירועים ולייזר שמחליק קווי קרן דקים על הסצנה. בשונה ממצלמה רגילה שנתופסת תמונות מלאות בזמנים קבועים, מצלמת אירועים מדווחת רק על פיקסלים שבהם הבהירות משתנה, והיא עושה זאת בזמני מיקרו‑שניות. כאשר קווים אנכיים ואופקיים של הלייזר מחליקים על הסצנה, המצלמה רושמת זרם מדויק של "אירועים" שמסמנים היכן ומתי האור נע. על ידי שילוב סריקות אלה, המערכת יכולה להסיק עומק באזורים דיפוזיים באמצעות תיאום משולש, בדומה לסורקי תאורה מובנית אך במהירות גבוהה יותר ובסבילות טובה יותר לנצנוץ ולשינויים בתאורת החדר.

להפוך כל קיר למסך וירטואלי

הרעיון המרכזי הוא להשתמש מחדש בחלקים הדיפוזיים של הסצנה כמעין תצוגה וירטואלית לניתוח עצמים מבריקים. קודם כל, המערכת משחזרת את הגאומטריה של כל המשטחים הדיפוזיים באמצעות ההחזרים הישירים של הלייזר. משטחים אלה משמשים אז כמקורות אור: כאשר הלייזר פוגע בהם, הם מפזרים אור לעבר מראות וחפצים מבריקים בסביבה, אשר בתורם מחזירים אור אל מצלמת האירועים. על‑ידי השוואת תזמון וגיאומטריה של מסלולי שתי‑החזרות אלה למה שכבר נלמד מהמשטחים הדיפוזיים, השיטה יכולה לאמוד שיפועים וצורות של עצמים ספקולריים בלי צורך במסך פיזי. למעשה, "הכל מסביב הופך למסך", וכיסוי המשטחים המבריקים יכול לגדול פשוט על‑ידי הוספה או הזזה של חפצים דיפוזיים יום‑יומיים.

למיין את דרכי ההגעה השונות של האור

כדי שזה יעבוד, המערכת חייבת להפריד בין מסלולי אור שונים שכולם נעטפים יחד בזרם האירועים. המחברים משתמשים בכלליים גיאומטריים, המכונים אילוצי אפיפולריות, כדי להכריע האם אירוע שנתפס הגיע כנראה מהחזרה חד‑החזרה שמתאימה לתיאום משולש, ממסלול שתי‑החזרות שייעיל לשחזור צורה ספקולרית, או ממסלול רב‑החזרות או תת‑משטח שמומלץ לדחות. הם גם מעצבים פרוצדורת מיטוב שמדייקת את צורת העצמים המבריקים כך שנורמליות המשטח המוערכות יואמו לכיווני האור הנצפים. ניסויים עם כדורים, מראות, בלונים וצעצועים מבריקים מראים ששגיאות העומק נשמרות מתחת ל‑0.6 מילימטר הן על משטחים דיפוזיים והן על משטחים ספקולריים, ושהמערכת יכולה לפעול בכ‑14 פריימים תלת‑ממדיים לשנייה בסצנות מעורבות ועד 250 פריימים לשנייה בסצנות מקום דיפוזי בלבד.

מה זה אומר למצלמות תלת‑ממד עתידיות

גישה זו מצביעה על מחלקה חדשה של חיישני עומק שיכולים להתמודד עם סביבות עמוסות, רפלקטיביות ואפילו נעות באמצעות מכשיר קומפקטי אחד. בשילוב חישה מבוססת אירועים עם סריקת לייזר מחוכמת ובכך שמשתמשים בקירות וחפצים סביב כמסכים וירטואליים, השיטה מגשרת על פער ותיק בין טכנולוגיות המכוונות או למשטחים דיפוזיים או למשטחים מראיים. למרות שיש עדיין מגבלות, כגון הצורך בכמה חומרים דיפוזיים בסצנה וטיפול בהחזרים מורכבים נדירים, התוצאות מציעות דרכים מעשיות לראייה תלת‑ממדית אמינה יותר ביישומים שמתחםים משקפי AR/VR ועד בדיקות רובוטיות של חלקים תעשייתיים מבריקים.

ציטוט: Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

מילות מפתח: דימות תלת‑ממדי, מצלמת אירועים, רפלקטיביות מעורבת, משטחים ספקולריים, תאורה מובנית