DriveEmo-FL: in-cabin radar-gebaseerde emotiedetectie voor autonome voertuigen en slimme reacties

Auto's die kunnen aanvoelen hoe u zich voelt

Nu zelfrijdende auto’s steeds dichter bij de dagelijkse realiteit komen, blijft een belangrijke vraag: hoe weten ze wat hun passagiers voelen? Een rit die technisch veilig is maar mensen angstig, boos of wagenziek achterlaat, wekt geen vertrouwen. Dit artikel introduceert DriveEmo-FL, een systeem waarmee autonome voertuigen de emoties van passagiers kunnen herkennen op basis van subtiele lichaamsbewegingen—zonder camera’s of draagbare apparaten—en vervolgens rijgedrag en cabine-instellingen kunnen aanpassen.

Stemming lezen zonder naar uw gezicht te kijken

Veel emotiesystemen van vandaag vertrouwen op camera’s die gezichtsuitdrukkingen volgen of op wearables die hartslag en huidgeleiding meten. In een auto hebben beide benaderingen nadelen: gezichten kunnen verborgen zijn door zonnebrillen of slechte verlichting, en de meeste passagiers willen geen extra sensoren dragen. DriveEmo-FL gebruikt in plaats daarvan millimetergolfradar, een klein apparaat dat radiogolven uitzendt en meet hoe ze terugkaatsen op het bovenlichaam van een passagier. Die reflecties bevatten zeer kleine bewegingsveranderingen die de frequentie van de teruggekeerde golven verschuiven, een patroon dat bekendstaat als micro-Doppler. Door zich te concentreren op schouders, armen en hoofdbewegingen kan het systeem onderscheidende patronen oppikken tussen bijvoorbeeld enthousiast klappen, het angstige in elkaar kruipen van de schouders of de stilstand van verdriet—terwijl visuele privacy behouden blijft.

Van ruwe radarecho’s naar emotionele patronen

De auteurs bouwen een volledige pijplijn die ruwe radarecho’s binnen enkele tientallen milliseconden omzet in emotieschattingen. Eerst wordt het signaal opgeschoond: sterke reflecties van stoelen en het dashboard worden verwijderd en een wiskundig proces isoleert bewegingen die bij de passagier horen in plaats van aan de bewegende auto gerelateerd te zijn. De opgeschoonde gegevens worden vervolgens omgezet in tijd–frequentiebeelden—micro-Doppler “handtekeningen”—die laten zien hoe bewegingsenergie zich over verschillende snelheden in de tijd verspreidt. Tegelijkertijd extraheert het systeem eenvoudige bewegingsstatistieken, zoals hoe abrupt iemands beweging verandert (wendbaarheid), de snelste waargenomen beweging (piekvelocity) en de totale bewegingsenergie over een korte periode. Deze twee stromen—rijke bewegingsbeelden en compacte bewegingssamenvattingen—vangen zowel de vorm als de intensiteit van emotionele gebaren.

Een lichtgewicht brein voor de auto

Centraal in DriveEmo-FL staat EmoNet, een compact deep-learningmodel dat efficiënt draait op kleine boordcomputers. De ene tak van EmoNet verwerkt de micro-Dopplerbeelden vergelijkbaar met een vision-netwerk en leert terugkerende patronen die verbonden zijn met gebaren zoals klappen, hoofdschudden of langzaam rondkijken. De andere tak verwerkt de drie bewegingsstatistieken en helpt bijvoorbeeld energieke blijdschap te onderscheiden van even energieke woede. De twee stromen worden samengevoegd en gevoed naar gedeelde beslissingslagen die zowel de gedetecteerde activiteit als de onderliggende emotiegroep (blij, verdrietig, boos of angstig) uitgeven. Een laatste stap zet deze emotionele signalen om in scores die een autonoom rijsysteem kan gebruiken om snelheid, soepelheid van manoeuvres, verlichting en zelfs de toon van in-car spraakassistenten aan te passen.

Leren van veel auto’s zonder geheimen te delen

Om het systeem robuust te maken, moet het leren van mensen van verschillende leeftijden, culturen en lichaamstypen, die in verschillende auto’s en omstandigheden meerijden. Het versturen van ruwe bewegingsgegevens naar de cloud zou echter privacykwesties oproepen. DriveEmo-FL lost dit op met federated learning: elk voertuig traint EmoNet lokaal met alleen zijn eigen radargegevens en deelt alleen versleutelde modelupdates met een centrale server. De server combineert deze updates tot een sterker globaal model en stuurt dat terug naar alle auto’s. In tests met 50 deelnemers die 12 verschillende bovenlichaamgebaren uitvoerden, haalde het systeem 94,5% nauwkeurigheid terwijl het in realtime draaide, en bleef het betrouwbaar in uitdagende scenario’s zoals stadsverkeer, fel zonlicht, weinig licht en overlappende gebaren.

Wat dit betekent voor toekomstige ritten

Gezamenlijk tonen de resultaten aan dat zelfrijdende auto’s de emotionele toestand van passagiers kunnen waarnemen en erop kunnen reageren met een kleine, privacyvriendelijke radar en een efficiënt leermodel. Zonder ooit een gezicht of stem op te nemen, zou een autonoom voertuig kunnen opmerken of een passagier gespannen, angstig of juist buitengewoon vrolijk lijkt en zijn rijstijl en cabineomgeving daar zachtjes op aanpassen. Als dit wordt verfijnd en gecombineerd met andere niet-opdringerige signalen, zouden systemen zoals DriveEmo-FL toekomstige ritten niet alleen veiliger op de weg, maar ook comfortabeler, meer begrepen en mensgerichter in de cabine kunnen maken.

Bronvermelding: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

Trefwoorden: autonome voertuigen, emotieherkenning, mmWave radar, in-cabin sensing, federated learning