DriveEmo-FL: in-cabin radarbaserad känsloavkänning för autonoma fordon med smart respons

Bilar som kan känna hur du mår

När självkörande bilar närmar sig vardagsverkligheten kvarstår en viktig fråga: hur ska de veta hur deras passagerare känner sig? En resa som är tekniskt säker men lämnar människor oroliga, arga eller åksjuka kommer inte att skapa förtroende. Denna artikel presenterar DriveEmo-FL, ett system som gör det möjligt för autonoma fordon att avläsa passagerarnas känslor från subtila kroppsrörelser—utan kameror eller bärbara prylar—och sedan anpassa körning och kupéinställningar som svar.

Läsa humör utan att titta på ansiktet

Många dagens känsloavkänningssystem förlitar sig på kameror som följer ansiktsuttryck eller bärbara enheter som mäter hjärtfrekvens och hudledningsförmåga. I en bil har båda tillvägagångssätten nackdelar: ansikten kan döljas av solglasögon eller dålig belysning, och de flesta resenärer vill inte fästa extra sensorer på sig. DriveEmo-FL använder istället millimetervågsradar, en liten enhet som sänder ut radiovågor och mäter hur de reflekteras från en passagerares överkropp. Dessa reflektioner bär på små rörelseförändringar som skiftar frekvensen i de returnerade vågorna, ett mönster känt som mikro-Doppler. Genom att fokusera på axlar, armar och huvudrörelser kan systemet plocka upp avslöjande skillnader mellan till exempel ett glatt applåderande, en rädd krympning av axlarna eller sorgens stillhet—samtidigt som visuell integritet bevaras.

Från råa radarekon till känslomönster

Författarna bygger en komplett pipeline som förvandlar råa radarekon till känsloestimater på några tiotals millisekunder. Först rengörs signalen: starka reflektioner från säten och instrumentpaneler tas bort, och en matematisk process isolerar rörelser kopplade till passageraren snarare än till den rörliga bilen. Den rensade datan omvandlas sedan till tid–frekvensbilder—mikro-Doppler "signaturer"—som visar hur rörelseenergi fördelas över olika hastigheter över tid. Parallellt extraherar systemet enkla rörelsestatistik, såsom hur abrupt en persons rörelse förändras (smidighet), den snabbaste observerade rörelsen (topp-hastighet) och den totala rörelseenergin över ett kort fönster. Dessa två strömmar—rika rörelsebilder och kompakta rörelsesummeringar—fångar både formen och intensiteten i känslomässiga gester.

En lättviktig hjärna för bilen

I kärnan av DriveEmo-FL finns EmoNet, en kompakt djupinlärningsmodell utformad för att köras effektivt på små omborddatorer. En gren av EmoNet bearbetar mikro-Doppler-bilderna mycket likt ett visionsnätverk och lär sig återkommande mönster kopplade till gester som applåder, huvudskakningar eller att långsamt titta runt. Den andra grenen bearbetar de tre rörelsestatistikerna och hjälper till att skilja till exempel energisk glädje från lika energisk ilska. De två strömmarna slås ihop och matas till delade beslutslager som ger både den detekterade aktiviteten och den underliggande känslogruppen (glad, ledsen, arg eller rädd). Ett slutligt steg omvandlar dessa känsloindikationer till poäng som ett autonomt körsystem kan använda för att anpassa hastighet, manövrars jämnhet, belysning och till och med tonen hos röstassistenter i bilen.

Lära från många bilar utan att dela hemligheter

För att göra systemet robust måste det lära sig från människor i olika åldrar, kulturer och kroppstyper, som åker i olika bilar och förhållanden. Att skicka allas råa rörelsedata till molnet skulle dock väcka integritetsskäl. DriveEmo-FL löser detta med federerat lärande: varje fordon tränar EmoNet lokalt med endast sin egen radardata och delar sedan endast krypterade modelluppdateringar med en central server. Servern kombinerar dessa uppdateringar till en starkare global modell och skickar tillbaka den till alla bilar. I tester med 50 deltagare som utförde 12 distinkta överkroppsgester nådde systemet 94,5 % noggrannhet samtidigt som det körde i realtid, och det förblev pålitligt i utmanande scenarier som stadskörning, starkt solljus, svagt ljus och överlappande gester.

Vad det här betyder för framtida resor

Sammantaget visar resultaten att självkörande bilar kan uppfatta och reagera på passagerarnas känslotillstånd med hjälp av en liten, integritetsvänlig radar och en effektiv inlärningsmodell. Utan att någonsin spela in ett ansikte eller en röst skulle ett autonomt fordon kunna märka om en resenär verkar spänd, rädd eller särskilt munter och varsamt anpassa sin körstil och kupémiljö som svar. Om det förfinas och kombineras med andra icke-invasiva ledtrådar kan system som DriveEmo-FL göra framtida resor inte bara säkrare på vägen, utan också mer bekväma, förstådda och människocentrerade inne i kupén.

Citering: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

Nyckelord: självkörande fordon, känsloigenkänning, mmWave-radar, in-cabin avkänning, federerat lärande