DriveEmo-FL: חישה רדארית בתוך תא הנוסעים לזיהוי רגשות ברכבים אוטונומיים ומענה חכם

רכבים שמרגישים איך אתם מרגישים

ככל שרכבים אוטונומיים מתקרבים למציאות היומיומית, שאלה מרכזית נותרת: איך הם יידעו מהו מצב הרוח של הנוסעים? נסיעה שהיא בטיחותית מבחינה טכנית אך מותירה את הנוסעים במתח, בכעס או בסחרחורת לא תעורר אמון. מאמר זה מציג את DriveEmo-FL, מערכת שמאפשרת לרכבים אוטונומיים לחוש רגשות של נוסעים מתוך תנועות גוף עדינות — ללא מצלמות או מכשירים נלבשים — ואז להתאים את הנהיגה ואת הגדרות תא הנוסעים בתגובה.

לקרוא את ההרגשה בלי לצפות בפנים

מערכות רבות לזיהוי רגשות כיום נשענות על מצלמות שמנטרות הבעות פנים או על מכשירים נלבשים שמודדים קצב לב והולכת חשמל בעור. בתוך רכב לשתי הגישות הללו יש חסרונות: הפנים עלולות להיות מכוסות במשקפי שמש או בתאורה לקויה, ורוב הנוסעים אינם מעוניינים לחגור חיישנים נוספים. DriveEmo-FL משתמשת במקום זאת ברדאר מילימטר-גל (mmWave), מכשיר קטן שמשדר גלים רדיו ומודד כיצד הם נחזרים מהחלק העליון של גוף הנוסע. ההחזרות הללו נושאות שינויים זעירים בתנועה שמשנים את התדירות של הגלים המוחזרים, דפוס הידוע כמיקרו-דופלר. על ידי מיקוד בתנועות כתפיים, ידיים וראש, המערכת יכולה לקלוט הבדלים אופייניים בין, למשל, מחיאת כפיים נרגשת, התכווצות כתפיים מפחד או דומייה של עצב — וכל זאת תוך שמירה על פרטיות ויזואלית.

מההדים גולמיים של הרדאר לתבניות רגש

המחברים בונים צנרת מלאה שממירה הדים גולמיים של רדאר לאומדני רגש בתוך עשרות מילישניות. ראשית, האות מנוקה: ההחזרות החזקות ממושבים ולוח המחוונים מוסרות, ותהליך מתמטי מבודד תנועה הקשורה לנוסע במקום לתזוזת הרכב. הנתונים המנוקים מומרים לאחר מכן לתמונות זמן–תדירות — "חתימות" מיקרו-דופלר — שמראות כיצד אנרגיית התנועה מתפזרת על פני מהירויות שונות לאורך זמן. במקביל, המערכת מחלצת סטטיסטיקות תנועה פשוטות, כגון כמה פתאומית השינוי בתנועה של אדם (זריזות), התנועה המהירה ביותר שנצפתה (מהירות שיא) וסך אנרגיית התנועה בחלון זמן קצר. שני הזרמים הללו — תמונות תנועה עשירות וסיכומי תנועה קומפקטיים — קוטטים הן את הצורה והן את העוצמה של מחוות רגש.

מוח קל ומשקל לרכב

במרכז DriveEmo-FL נמצא EmoNet, מודל למידה עמוקה קומפקטי שתוכנן לפעול ביעילות על מחשבים קטנים ברכב. ענף אחד של EmoNet מעבד את תמונות המיקרו-דופלר בדומה לרשת חזותית, ולומד דפוסים חוזרים הקשורים למחוות כמו מחיאת כפיים, הנהון בראש או הסתכלות איטית מסביב. הענף השני מעבד את שלוש הסטטיסטיקות התנועתיות, ועוזר להבחין, למשל, בין שמחה אנרגטית לבין כעס באותה רמת אנרגיה. שני הזרמים מאוחדים ומוזנים לשכבות החלטה משותפות שמפיקות הן את הפעילות המזוהה והן את קבוצת הרגש הבסיסית (שמח, עצוב, כועס או מפחד). שלב סופי ממיר רמזים רגשיים אלה לציונים שמערכת נהיגה אוטונומית יכולה להשתמש בהם כדי להתאים מהירות, חלקות תנוחות, תאורה ואפילו את הטון של עוזרות קוליות ברכב.

ללמוד מרכבים רבים בלי לשתף סודות

כדי להפוך את המערכת לעמידה, עליה ללמוד מאנשים בגילאים, תרבויות וסוגי גוף שונים, הנוסעים ברכבים ותנאים מגוונים. עם זאת, שליחת נתוני התנועה הגולמיים של כולם לענן מעוררת חששות פרטיות. DriveEmo-FL פותרת זאת באמצעות למידה פדרטיבית: כל רכב מאמן את EmoNet באופן מקומי באמצעות נתוני הרדאר שלו בלבד, ואז משתף רק עדכוני מודל מוצפנים עם שרת מרכזי. השרת משלב עדכונים אלה למודל גלובלי חזק יותר ושולח אותו חזרה לכל הרכבים. במבחנים עם 50 משתתפים שביצעו 12 מחוות עליונות גוף שונות, המערכת הגיעה לדיוק של 94.5% תוך ריצה בזמן אמת, ונשארה אמינה בתרחישים מאתגרים כגון נהיגה בעיר, אור שמש חזק, תאורה נמוכה ומחוות חופפות.

מה זה אומר לנסיעות עתידיות

במצטבר, התוצאות מראות שרכבים אוטונומיים יכולים לחוש ולהגיב למצבים רגשיים של נוסעים באמצעות רדאר קטן הידידותי לפרטיות ומודל למידה יעיל. מבלי להקליט אף פעם פנים או קול, רכב אוטונומי יכול לשים לב אם נוסע נראה מתוח, מפוחד או במיוחד עליז ולהתאים בעדינות את סגנון הנהיגה וסביבת תא הנוסעים בתגובה. אם יעודנו וישולבו עם רמזים לא חודרניים נוספים, מערכות כמו DriveEmo-FL יכולות להפוך נסיעות עתידיות לא רק לבטוחות יותר בכביש, אלא גם לנוחות יותר, מובנות וממוקדות-אדם בתוך התא.

ציטוט: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

מילות מפתח: רכבים אוטונומיים, זיהוי רגשות, רדאר mmWave, חישה בתוך תא הנוסעים, למידה פדרטיבית