מסגרת מולטימודלית לגילוי נהיגה מתוך תשישות באמצעות מיזוג תכונות של מידע חזותי וטקטילי

מדוע חשוב להישאר ער מאחורי ההגה

נסיעות ארוכות, לילות מאוחרים ולוח זמנים עמוס גורמים להרבה אנשים לעלות על ההגה כשהם עייפים מדי. עייפות מאטה את זמן התגובה ומטשטשת את הקשב באופן שקט, ותורמת לחלק גדול מתאונות התנועה החמורות מדי שנה. במחקר זה מוצג מערכת ניטור חדשה בתוך הרכב שמפקחת הן על פני הנהג והן על שינויים עדינים בלחץ על העור, כדי לזהות נמנום מוקדם ובאופן אמין יותר מאשר פתרונות מבוססי מצלמה בלבד או חיישן בלבד.

שתי חושים טובות יותר מאחד

רוב המערכות הנוכחיות מנסות לזהות תשישות ממקור מידע יחיד. כלים מבוססי מצלמה מחפשים רמזים כמו עפעפיים כבדות, מצמוצים ארוכים והיתקפויות, אך הם מתקשים בלילה, נגד סינוור או כאשר הפנים מכוסות חלקית במשקפיים או במסכות. גישות אחרות נשענות על אותות חשמליים מהגוף או על ענידות מגושמות, שהן בלתי נוחות ורועשות. צוות המחקר לעומת זאת מחקה את הדרך שבה המוח האנושי משלב מישוש וראייה: המערכת שלהם משלבת וידאו של פני הנהג עם קריאות "טקטיליות" עדינות מטלאים רכים ידידותיים לעור המוצמדים באזור העיניים, הפה והצוואר, ואז מאפשרת למודל בינה מלאכותית לשפוט אם הנהג ער או נוטה להירדם.

חיישנים רכים שמרגישים מה שהמצלמות מפספסות

בלב המערכת נמצאים חיישני לחץ גמישים העשויים מפלסטיק קל משקל וספוגי המעורבב עם פולימר מוליך ומעוצב למבנים זעירים דמויי תולעת. חומר דמוי הספוג הזה נדחס בקלות ומשנה את התנהגותו החשמלית בתגובה ללחיצות ועיקולים זעירים מאוד. כאשר מדביקים טלאי אחד בעדינות על העור ליד העיניים הוא מגיב כשהעפעפיים נסגרים, טלאי אחר בצוואר חשים הכרעות ראש, וטלאי שלישי ליד הפה מזהה פתיחה והמתיחה הנרחבת שמלווה פיהוק. ניסויים הראו שחיישנים אלה מגיבים בתוך אלפי שניות של שנייה, יכולים לזהות לחצים עדינים מאוד, ושומרים על פעולה אמינה גם לאחר עשרות אלפי מחזורי כיפוף ולחיצה — תכונה חשובה עבור דבר שעשוי להיות נלבש מדי יום ברכב בתנועה.

ללמד את המערכת לקרוא תשישות

כדי ללמד את המערכת איך נראית תשישות, החוקרים בנו מאגר נתונים שמשלב קטעי וידאו קצרים של חמישה מתנדבים עם אותות תואמים מהשלוש טלאי עור. הם הקליטו ארבעה מצבים טיפוסיים: נהיגה רגילה, עיניים נסגרות, הנמכת ראש ופיהוק, תחת תאורה יום בהיר וגם בתאורת חניון עמומה. רשת מודרנית לזיהוי תמונה למדה לחלץ דפוסים מרכזיים מתמונות הפנים, בעוד רשת שנייה המרה את קריאות החיישנים לחתימות קומפקטיות. שתי זרמי המידע הללו מולגו לאחר מכן לייצוג משולב יחיד, שאפשר למודל לראות מתי המישוש והראייה מסכימים על סימני עייפות ולהסתמך יותר על החיישנים כשהווידאו חשוך או באיכות נמוכה.

מאותות רגעיים לאזהרות מעשיות

כאשר המערכת הצליחה לזהות את ארבעת המצבים הבסיסיים בדיוק של כ־98 אחוז בניסויים מבוקרים, הצוות עשה צעד נוסף: המרה של שיפוטים פר-מסגרת להמלצות מעשיות לנהגים. הם הגדירו כללים פשוטים המשתמשים בתדירות שבה מישהו מצמץ למשך זמן רב מדי, מהדם הראש או פיהוק בדקה, והמירו את הספירות הללו לציון תשישות בשלוש רמות: רגיל, מעט עייף או תשוש קשה. המערכת פועלת בזמן אמת על מחשב קומפקטי בתוך הרכב, מעדכנת ברציפות את ציון הנהג ומפעילה תזכורת עדינה להפסקה ברמות קלות או התראה חזקה לעצור עכשיו כאשר מזוהה תשישות חמורה. היא שמרה על ביצועים גבוהים בקרב גילאים שונים, גווני עור שונים, שיער פנים, מסכות ואפילו בתנאי תאורה לקויים או רעידות תנועה, מה שמראה שהגישה המשולבת של מצלמה ומישוש היא חסינה בתנאים מציאותיים.

מה משמעות הדבר לנהיגה היומיומית

ללא מומחיות טכנית, המסקנה פשוטה: על ידי שילוב מה שהמצלמה רואה עם מה שחיישני העור הרכים מרגישים, המחקר מספק "עוזר-נהג" חכם יותר שמבחין בסימני נמנום עדינים לפני שהם הופכים לאסונות. הטכנולוגיה מתחמקת מהרבה חולשות של מערכות מבוססות מצלמה בלבד בלילה ושל ענידות רפואיות לא נוחות, בעוד היא נשארת מהירה ויעילה מספיק כדי לפעול בתוך הרכב. אמנם עדיין נדרשים ניסויים גדולים יותר בעולם האמיתי, המסגרת המולטימודלית הזו מצביעה על כלי לעתיד שבו כלי הרכב עוקבים בעדינות אחר דריכות הנהג ברקע ומתערבים באזהרות בזמן, מה שיכול להקטין תאונות הקשורות בעייפות ולהפוך נסיעות ארוכות לבטוחות יותר לכל הנמצאים בכביש.

ציטוט: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

מילות מפתח: גילוי תשישות נהג, ניטור בטיחות בתוך הרכב, חיישני עור גמישים, בינה מלאכותית מולטימודלית, מניעת נהיגה רדומה