Een multimodaal raamwerk voor detectie van vermoeidheid bij het rijden via feature-fusie van visuele en tactiele informatie

Waarom wakker blijven achter het stuur ertoe doet

Lange ritten, late avonden en volle agenda’s zorgen ervoor dat veel mensen achter het stuur kruipen terwijl ze te moe zijn. Vermoeidheid vertraagt geruisloos de reactietijd en vertroebelt de aandacht, en draagt jaarlijks substantieel bij aan ernstige verkeersongelukken. Deze studie introduceert een nieuw systeem voor monitoring in de auto dat zowel het gezicht van de bestuurder als subtiele drukveranderingen op de huid bewaakt om slaperigheid vroegtijdiger en betrouwbaarder te detecteren dan de huidige oplossingen die alleen camera’s of alleen sensoren gebruiken.

Twee zintuigen zijn beter dan één

De meeste huidige systemen proberen vermoeidheid te signaleren op basis van één informatiestroom. Camera-gebaseerde hulpmiddelen zoeken naar tekenen zoals hangende oogleden, lange knipperingen en geeuwen, maar ze hebben moeite ’s nachts, bij tegenlicht of wanneer gezichten deels verborgen zijn door een bril of mondkapje. Andere benaderingen vertrouwen op elektrische lichaamsignalen of lompe wearables, die oncomfortabel kunnen zijn en ruisgevoelig. Het onderzoeksteam imiteert in plaats daarvan hoe het menselijk brein tast en zicht combineert: hun systeem combineert videobeelden van het gezicht van de bestuurder met zachte "tactiele" metingen van huidvriendelijke patchjes die bij de ogen, mond en nek zijn geplaatst, en laat vervolgens een kunstmatig intelligentiemodel beoordelen of de bestuurder alert is of naar slaap neigt.

Zachte sensoren die opvangen wat camera’s missen

In het hart van het systeem zitten flexibele druksensoren gemaakt van een lichtgewicht, poreuze kunststof gemengd met een geleidende polymeer, gevormd tot kleine wormachtige structuren. Dit sponsachtige materiaal drukt gemakkelijk samen en verandert zijn elektrische eigenschappen als reactie op zeer lichte drukken en buigingen. Wanneer een patch licht op de huid wordt gelijmd, reageert er een nabij de ogen bij het sluiten van de oogleden, een bij de nek voelt het knikken van het hoofd en een bij de mond detecteert het wijd openen en rekken dat bij geeuwen hoort. Tests toonden aan dat deze sensoren binnen enkele duizendsten van een seconde reageren, extreem zachte drukken kunnen waarnemen en betrouwbaar blijven werken zelfs na tienduizenden buig- en drukkingscycli—belangrijk voor iets dat dagelijks in een bewegende auto gedragen kan worden.

Het systeem leren vermoeidheid te lezen

Om het systeem te leren wat vermoeidheid is, bouwden de onderzoekers een dataset die korte videoclips van vijf vrijwilligers koppelde aan bijbehorende signalen van de drie huidpatches. Ze namen vier typische toestanden op: normaal rijden, oogsluiting, hoofdknikken en geeuwen, zowel bij fel daglicht als in schemerige parkeergarageverlichting. Een modern beeldherkenningsnetwerk leerde sleutelpatronen uit de gezichtsbeelden te halen, terwijl een tweede netwerk de sensorlezingen omzet in compacte signaturen. Deze twee informatiestromen werden vervolgens samengevoegd tot één gecombineerde representatie, waardoor het model kon zien wanneer aanraking en zicht het eens waren over tekenen van vermoeidheid en meer op de sensoren kon vertrouwen wanneer de video donker of van mindere kwaliteit was.

Van momentopnamen naar bruikbare waarschuwingen

Zodra het systeem de vier basistoestanden met ongeveer 98 procent nauwkeurigheid in gecontroleerde tests kon herkennen, ging het team een stap verder: de frame-voor-frame oordelen omzetten in praktische adviezen voor bestuurders. Ze gedefinieerden eenvoudige regels gebaseerd op hoe vaak iemand te lang knipperde, knikte of per minuut geeuwde en zetten die tellingen om in een driestapsvermoeidheidsscore: normaal, licht vermoeid of ernstig vermoeid. Het systeem draait in realtime op een compacte boordcomputer en werkt de score van de bestuurder continu bij, en activeert bij lichte vermoeidheid een zacht advies om pauze te nemen of bij ernstige vermoeidheid een krachtige directe waarschuwing om te stoppen. Het handhaafde hoge prestaties over verschillende leeftijden, huidtinten, gezichtsbeharing, maskers en zelfs bij slechte belichting of bewegingsschudden, wat aantoont dat de gecombineerde camera-en-aanraaksbenadering robuust is onder realistische omstandigheden.

Wat dit betekent voor dagelijks rijden

Voor leken is de conclusie helder: door te combineren wat een camera ziet met wat zachte huidsensoren voelen, levert deze studie een slimmer "co-piloot" op die subtiele tekenen van slaperigheid opmerkt voordat ze in rampen veranderen. De technologie vermijdt veel zwaktes van alleen-camera systemen ’s nachts en van oncomfortabele medische wearables, en blijft snel en efficiënt genoeg om in de auto te draaien. Hoewel grotere tests op echte wegen nog nodig zijn, wijst dit multimodale raamwerk in de richting van toekomstige voertuigen die stilletjes de alertheid van de bestuurder op de achtergrond monitoren en met tijdige waarschuwingen ingrijpen, wat kan helpen vermoeidheid-gerelateerde ongevallen te verminderen en lange ritten veiliger te maken voor iedereen op de weg.

Bronvermelding: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

Trefwoorden: detectie van rijdervermoeidheid, monitoring van veiligheid in de auto, flexibele huidsensoren, multimodale AI, preventie van slaperig rijden