En multimodal ram för upptäckt av trött körning via fusionsfunktioner av syn- och taktil information

Varför det är viktigt att hålla sig vaken vid ratten

Långa körningar, sena nätter och fullspäckade scheman gör att många sätter sig bakom ratten trots att de är för trötta. Trötthet sänker tyst reaktionstider och urholkar uppmärksamheten, och bidrar till en stor andel allvarliga trafikolyckor varje år. Denna studie presenterar ett nytt system för övervakning i bilen som iakttar både förarens ansikte och subtila tryckförändringar i huden för att kunna upptäcka dåsighet tidigt och mer pålitligt än dagens enbart kamera- eller sensorbundna lösningar.

Två sinnen är bättre än ett

De flesta nuvarande system försöker upptäcka trötthet från en enda informationskälla. Kamerabaserade verktyg letar efter tecken som hängande ögonlock, långa blinkningar och gäspningar, men de har svårt på natten, i bländning eller när ansikten delvis döljs av glasögon eller masker. Andra metoder förlitar sig på elektriska signaler från kroppen eller skrymmande bärbara enheter, som kan vara obekväma och brusiga. Forskargruppen här efterliknar istället hur människans hjärna blandar känsel och syn: deras system kombinerar video av förarens ansikte med mjuka ”taktila” avläsningar från hudvänliga plattor placerade nära ögon, mun och nacke, och låter en artificiell intelligens bedöma om föraren är vaken eller glider mot sömn.

Mjuka sensorer som känner vad kameror missar

I systemets kärna finns flexibla trycksensorer gjorda av en lätt, porös plast blandad med en ledande polymer formad till små maskliknande strukturer. Detta svampiga material komprimeras lätt och ändrar sitt elektriska beteende vid mycket små tryck och böjningar. När en patch fästs lätt på huden reagerar en vid ögonen när ögonlocken sluts, en vid nacken känner när huvudet nickar och en tredje vid munnen registrerar den stora öppningen och uttänjningen vid gäspning. Tester visade att dessa sensorer reagerar på några tusendels sekund, kan upptäcka extremt lätta tryck och fortsätter fungera pålitligt även efter tiotusentals böj- och tryckcykler — viktigt för något som kan bäras dagligen i en rörlig bil.

Att lära systemet att läsa trötthet

För att lära systemet vad trötthet ser ut som byggde forskarna en datamängd som parade korta videoklipp av fem frivilliga med matchande signaler från de tre hudplattorna. De spelade in fyra typiska tillstånd: normal körning, ögon som sluts, huvudnickningar och gäspningar, både i starkt dagsljus och i svagt ljus i ett parkeringsgarage. Ett modernt bildigenkänningsnätverk lärde sig att extrahera nyckelmönster från ansiktsbilderna, medan ett annat nätverk omvandlade sensorsignalerna till kompakta signaturer. Dessa två informationsströmmar fogades sedan samman till en enda samlad representation, vilket gjorde det möjligt för modellen att upptäcka när känsel och syn överensstämde om tecken på trötthet och att lita mer på sensorerna när videon var mörk eller degraderad.

Från ögonblickssignaler till användbara varningar

När systemet kunde känna igen de fyra grundläggande tillstånden med omkring 98 procent noggrannhet i kontrollerade tester gick teamet ett steg längre: de omvandlade bild-för-bild-bedömningar till praktiska råd för förare. De definierade enkla regler baserat på hur ofta någon blinkade för länge, nickade eller gäspade per minut och konverterade dessa räkningar till en trestegs trötthetsskala: normal, lätt trött eller gravt trött. Systemet körs i realtid på en kompakt dator i bilen, uppdaterar kontinuerligt förarens poäng och utlöser en mild uppmaning om paus vid lindriga nivåer eller en kraftig stopp-nu-varning när allvarlig trötthet upptäcks. Det bibehöll hög prestanda över olika åldrar, hudtoner, ansiktshår, masker och även under svagt ljus eller rörelseoskärpa, vilket visar att den kombinerade kamera-och-känsel-metoden är robust i realistiska förhållanden.

Vad detta betyder för vardagskörning

För icke-specialister är slutsatsen enkel: genom att blanda vad en kamera ser med vad mjuka hudsensorer känner levererar denna studie en smartare ”co-pilot” som märker subtila tecken på dåsighet innan de blir till katastrofer. Tekniken undviker många svagheter hos enbart kamerabaserade system på natten och obekväma medicinska wearables, samtidigt som den är tillräckligt snabb och effektiv för att köras i en bil. Även om större verkliga fälttester fortfarande krävs pekar denna multimodala ram mot framtida fordon som tyst övervakar förarens vakenhet i bakgrunden och ingriper med tidsenliga varningar, vilket hjälper till att minska trötthetsrelaterade kollisioner och göra långa resor säkrare för alla i trafiken.

Citering: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

Nyckelord: detektering av förartrötthet, övervakning av säkerhet i bilen, flexibla hudsensorer, multimodal AI, förebyggande av dåsig körning