DriveEmo-FL: radarbasierte Emotionserkennung im Fahrzeuginneren für autonome Fahrzeuge mit intelligenter Reaktion

Autos, die spüren, wie Sie sich fühlen

Während selbstfahrende Autos der Alltagsrealität näherkommen, bleibt eine zentrale Frage: Wie erkennen sie, wie ihre Insassen sich fühlen? Eine Fahrt, die technisch sicher ist, aber Passagiere ängstlich, verärgert oder fahrübel macht, wird kein Vertrauen schaffen. Dieser Artikel stellt DriveEmo-FL vor, ein System, das autonomen Fahrzeugen ermöglicht, die Emotionen von Fahrgästen aus subtilen Körperbewegungen zu erfassen – ohne Kameras oder Wearables – und anschließend Fahrverhalten und Kabineneinstellungen entsprechend anzupassen.

Stimmung lesen, ohne ins Gesicht zu schauen

Viele heutige Emotionalerkennungssysteme verlassen sich auf Kameras, die Gesichtsausdrücke verfolgen, oder auf Wearables, die Herzfrequenz und Hautleitfähigkeit messen. Im Auto haben beide Ansätze Nachteile: Gesichter können durch Sonnenbrillen oder schlechte Beleuchtung verdeckt sein, und die meisten Mitfahrenden wollen keine zusätzlichen Sensoren tragen. DriveEmo-FL nutzt stattdessen Millimeterwellenradar, ein kleines Gerät, das Radiowellen aussendet und misst, wie sie vom Oberkörper eines Fahrgastes zurückgeworfen werden. Diese Reflexionen enthalten winzige Bewegungsänderungen, die die Frequenz der zurückkehrenden Wellen verschieben – ein Muster, das als Micro-Doppler bekannt ist. Indem sich das System auf Schultern, Arme und Kopfbewegungen konzentriert, kann es charakteristische Unterschiede erfassen, etwa ein begeistertes Klatschen, zusammengezogene Schultern aus Angst oder die Regungslosigkeit von Traurigkeit – und das bei Wahrung der visuellen Privatsphäre.

Von rohen Radar-Echos zu emotionalen Mustern

Die Autorinnen und Autoren entwickeln eine vollständige Pipeline, die rohe Radarechos in wenigen Dutzend Millisekunden in Emotionsschätzungen umwandelt. Zuerst wird das Signal bereinigt: starke Reflexionen von Sitzen und Armaturenbrett werden entfernt, und ein mathematischer Prozess isoliert Bewegungen, die mit der Person und nicht mit dem fahrenden Fahrzeug zusammenhängen. Die bereinigten Daten werden dann in Zeit-Frequenz-Bilder transformiert – Micro-Doppler‑„Signaturen“, die zeigen, wie sich Bewegungsenergie über verschiedene Geschwindigkeiten und Zeiten verteilt. Parallel dazu extrahiert das System einfache Bewegungsstatistiken, wie etwa wie abrupt sich eine Bewegung ändert (Agilität), die höchste beobachtete Bewegungsgeschwindigkeit (Spitzengeschwindigkeit) und die gesamte Bewegungsenergie über ein kurzes Fenster. Diese beiden Datenströme – reichhaltige Bewegungsbilder und kompakte Bewegungszusammenfassungen – erfassen sowohl die Form als auch die Intensität emotionaler Gesten.

Ein leichter Verstand fürs Auto

Im Kern von DriveEmo-FL steht EmoNet, ein kompaktes Deep‑Learning‑Modell, das effizient auf kleinen Bordcomputern läuft. Ein Zweig von EmoNet verarbeitet die Micro‑Doppler‑Bilder ähnlich wie ein Vision‑Netzwerk und lernt wiederkehrende Muster, die mit Gesten wie Klatschen, Kopfschütteln oder langsamem Umsehen verknüpft sind. Der andere Zweig verarbeitet die drei Bewegungsstatistiken und hilft zum Beispiel, energetische Freude von ebenso energetischem Zorn zu unterscheiden. Die beiden Ströme werden fusioniert und an gemeinsame Entscheidungsschichten übergeben, die sowohl die erkannte Aktivität als auch die zugrundeliegende Emotionsgruppe (glücklich, traurig, wütend oder ängstlich) ausgeben. Ein letzter Schritt wandelt diese emotionalen Hinweise in Scores um, die ein autonomes Fahrsystem nutzen könnte, um Geschwindigkeit, Sanftheit der Manöver, Beleuchtung und sogar den Ton von Sprachassistenten im Fahrzeug anzupassen.

Von vielen Autos lernen, ohne Geheimnisse zu teilen

Damit das System robust wird, muss es von Menschen unterschiedlicher Altersgruppen, Kulturen und Körperformen lernen, die in verschiedenen Autos und Bedingungen unterwegs sind. Rohdaten aller Bewegungen an die Cloud zu senden, würde jedoch Datenschutzbedenken aufwerfen. DriveEmo-FL löst dieses Problem mit föderiertem Lernen: Jedes Fahrzeug trainiert EmoNet lokal nur mit seinen eigenen Radardaten und teilt anschließend nur verschlüsselte Modell‑Updates mit einem zentralen Server. Der Server kombiniert diese Updates zu einem stärkeren globalen Modell und sendet es an alle Fahrzeuge zurück. In Tests mit 50 Teilnehmenden, die 12 unterschiedliche Oberkörpergesten ausführten, erreichte das System eine Genauigkeit von 94,5 % bei Echtzeitausführung und blieb auch in herausfordernden Szenarien wie Stadtverkehr, hellem Sonnenlicht, schlechter Beleuchtung und überlappenden Gesten zuverlässig.

Was das für zukünftige Fahrten bedeutet

In der Summe zeigen die Ergebnisse, dass selbstfahrende Autos die emotionalen Zustände von Passagieren mit einem kleinen, datenschutzfreundlichen Radar und einem effizienten Lernmodell erkennen und darauf reagieren können. Ohne jemals Gesicht oder Stimme aufzuzeichnen, könnte ein autonomes Fahrzeug bemerken, wenn ein Fahrgast angespannt, ängstlich oder besonders fröhlich wirkt, und sanft Fahrstil und Kabinenumgebung anpassen. Wenn solche Systeme verfeinert und mit weiteren nicht-intrusiven Hinweisen kombiniert werden, könnten sie künftige Fahrten nicht nur sicherer machen, sondern auch komfortabler, verständnisvoller und menschorientierter im Innenraum wirken lassen.

Zitation: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

Schlüsselwörter: autonome Fahrzeuge, Emotionserkennung, mmWave-Radar, In-Cabin-Sensorik, federiertes Lernen