DVS-PedX: מאגר הולכי רגל מבוסס אירועים — מלאכותי ומציאותי

מדוע עיניים מהירות יותר על הכביש חשובות

כאשר אתה מתקרב למעבר חצייה כמוביל, שבריר שנייה יכול לקבוע האם תעצור בזמן. מערכות סיוע לנהג נפוצות כיום נשענות בדרך כלל על מצלמות וידאו רגילות שמצלמות תמונות מלאות פעמים רבות בשנייה. אך סוג חדש של "מצלמת אירוע" פועל יותר כמו רשתית אנושית: היא מגיבה רק לשינויים בבהירות בכל פיקסל. מאמר זה מציג את DVS‑PedX, מאגר גדול שנבנה כדי לעזור לחוקרים ללמד מצלמות כאלה — ולמכונות בהשראת המוח — לזהות מתי אנשים עומדים לחצות את הכביש, גם בגשם, בערפל או בלילה.

מוידאו רגיל לסוג חדש של חזון

מצלמות מסורתיות לוכדות תמונות מלאות בפרקי זמן קבועים, בין אם משהו זז ובין אם לא. במקביל, מצלמות אירוע מדווחות על ניצוצות מידע זעירים כאשר נקודה בסצנה מתבהרת או מתכהה. כל ניצוץ נושא מיקום, זמן, ואם הבהירות עלתה או ירדה, כשהזמנים נמדדים במיקרו‑שניות. זה עושה אותן בעלות יכולת טבעית לתפוס תנועה וקצוות תוך התעלמות מרקע סטטי ברובו. במשימות כגון זיהוי הולכי רגל וצפייה בכוונתם, פרספקטיבה של "רק מה שמשתנה" יכולה להיות יעילה יותר, מהירה יותר ועמידה יותר בפני סנוור, צללים או פנסי מכונית מאשר וידאו קונבנציונלי.

בניית עיר וירטואלית של מעברי חצייה

כדי לספק לחוקרים נתונים מבוקרים לעבוד עמם, המחברים השתמשו תחילה בסימולטור הנהיגה CARLA כדי ליצור מאות סצנות רחוב וירטואליות. רכב אוטונומי מתקרב למעבר חצייה בעוד הולך רגל דיגיטלי עשוי או לא עשוי לצאת אל הכביש. תאורה (יום, דמדומים, לילה) ומזג אוויר (בהיר, גשם, ערפל) משתנים מכל ריצה לריצה, כמו גם מראה ההולך רגל ותזמון החצייה. שני חיישנים וירטואליים, מצלמת צבע רגילה ומצלמת אירוע מדומה, מביטים מנקודת המבט של הנהג. המערכת מקליטה וידאו סטנדרטי ב‑30 פריימים לשנייה ובמקביל מדחסת את זרם האירועים ל"פריימי אירוע" כל 33 מילשניות כדי להתאים לכל פריים וידאו. כל פריים מתוייג בפשטות כ"חוצה" או "לא חוצה", מה שהופך את האימון והבדיקה של מערכות המודעות להולכי רגל לפשוטים.

הפיכת מצלמות לוח אמיתיות לזרמי אירועים

סצנות וירטואליות לבדן אינן מספקות: הרחובות האמיתיים מורכבים יותר. כדי ללכוד זאת, הצוות בנה רכיב שני מתוך אוסף מצלמות לוח פופולרי בשם JAAD, הכולל קטעים קצרים של נהיגה עירונית עם אנוטציות מדוייקות של התנהגות הולכי רגל. הם העבירו את כל 346 הקטעים דרך כלי הממיר המדמה כיצד מצלמת אירוע תגיב לכל פריים. כלי זה מדגם שינויים בבהירות בכל פיקסל ואפילו מבצע אינטרפולציה בין פריימים כדי לאמוד תנועה רציפה. התוצאה היא "תצוגת אירוע מלאכותית" של כבישים אמיתיים, עם קצוות תנועה חדים היכן שאנשים ומכוניות נעים והרבה מהרקע הסטטי נעלם. המחברים השוו את הזרמים המומרים לנתונים ממצלמות אירוע פיזיות שהשתמשו בהן במעבדות, והראו שהאירועים הסינתטיים תואמים לאמיתיים בפעילות הכוללת, במבנה ובתזמון.

מה המאגר מכיל וכיצד הוא מתפקד

DVS‑PedX משלב 198 רצפים מדומים מ‑CARLA ו‑346 קטעים ממירים מהעולם האמיתי מתוך JAAD. כל רצף מספק זוגות תואמים של תמונות צבע ופריימי אירוע, קבצי אירועים גולמיים לניתוח תזמוני מדויק ותוויות חצייה ברמת הפריים. החציות עצמן נדירות יחסית, משקפות את התנועה האמיתית, מה שהופך את בעיית הלמידה לריאליסטית ומאתגרת. כדי להראות שהמאגר שימושי אך לא טריוויאלי, המחברים אימנו רשתות עצביות מקפיצות — אלגוריתמים שמעבדים מידע בפולסים בדידים, בדומה לנוירונים ביולוגיים. מודלים אלה הציגו ביצועים חזקים ברצפים הסינתטיים אך איבדו דיוק כשנבדקו ישירות על הנתונים המומרים מהעולם האמיתי, ואז השתפרו שוב כאשר ערבבו מעט נתונים אמיתיים לאימון. פער זה בין סימולציה למציאות מאשר שהמאגר יכול להניע מחקר בהתאמת תחום ובמיזוג מולטימודלי.

כבישים בטוחים יותר באמצעות חישה חכמה

באופן פשוט, DVS‑PedX הוא ספרייה שנבנתה בקפידה של רגעים שבהם אנשים עלולים או לא עלולים לחצות את הכביש, כפי שנצפים דרך "עיניים" רגילות וגם מבוססות אירועים. בכך שהיא חוצת סימולציות נקיות וצילומי לוח גסים מהעולם האמיתי, ובכך שהיא כוללת תוויות ברורות וכלים עם קוד פתוח, היא מספקת לבוחנים קרקע משותפת לחקור כיצד לזהות הולכי רגל ולחזות את כוונתם בתנאים קשים. התקווה היא שלמידה מתוך מאגר זה תעזור שמערכות סיוע לנהג ורובוטיות בעתיד יגיבו מהר ובאמינות רבה יותר — צעד נוסף לעבר מכונות קשובות ובטוחות יותר על דרכינו.

ציטוט: Sakhai, M., Sithu, K., Oke, M.K.S. et al. DVS-PedX: Synthetic-and-Real Event-Based Pedestrian Dataset. Sci Data 13, 614 (2026). https://doi.org/10.1038/s41597-026-06969-y

מילות מפתח: מצלמות אירוע, בטיחות הולכי רגל, נהיגה אוטונומית, ראייה נירומורפית, מאגרי תנועה