DriveEmo-FL: wykrywanie emocji w kabinie na podstawie radaru dla autonomicznych pojazdów — inteligentna reakcja

Samochody, które potrafią wyczuć, co czujesz

W miarę jak autonomiczne samochody zbliżają się do codziennej rzeczywistości, pozostaje kluczowe pytanie: jak będą rozumieć, co czują ich pasażerowie? Przejazd technicznie bezpieczny, ale powodujący niepokój, złość czy chorobę lokomocyjną nie wzbudzi zaufania. W artykule przedstawiono DriveEmo-FL — system, który pozwala autonomicznym pojazdom rozpoznawać emocje pasażerów na podstawie subtelnych ruchów ciała — bez kamer czy urządzeń noszonych — i odpowiednio dostosowywać sposób prowadzenia oraz ustawienia kabiny.

Odczytywanie nastroju bez obserwowania twarzy

Wiele współczesnych systemów wykrywania emocji opiera się na kamerach śledzących mimikę lub na urządzeniach noszonych mierzących tętno i przewodnictwo skóry. W samochodzie obie metody mają wady: twarz może być zasłonięta okularami przeciwsłonecznymi lub słabym oświetleniem, a większość pasażerów nie chce zakładać dodatkowych sensorów. DriveEmo-FL wykorzystuje zamiast tego radar milimetrowy — niewielkie urządzenie, które wysyła fale radiowe i mierzy, jak odbijają się one od górnej części ciała pasażera. Te echo niosą drobne zmiany ruchu, które przesuwają częstotliwość powracających fal — wzorzec znany jako mikro-Doppler. Skupiając się na ruchach barków, ramion i głowy, system rozróżnia charakterystyczne różnice, na przykład energiczne klaśnięcie, cofnięcie się ramion ze strachu czy bezruch smutku — jednocześnie zachowując prywatność wizualną.

Od surowych echa radaru do wzorców emocjonalnych

Autorzy opracowali pełen proces przetwarzania, który zamienia surowe echo radaru w estymacje emocji w ciągu kilkudziesięciu milisekund. Najpierw sygnał jest oczyszczany: usuwane są silne odbicia od siedzeń i deski rozdzielczej, a matematyczna procedura izoluje ruch związany z pasażerem, a nie ruchem pojazdu. Oczyszczone dane są następnie przekształcane w obrazy czasu–częstotliwości — mikro-Dopplerowe „podpisy”, które pokazują, jak energia ruchu rozkłada się po różnych prędkościach w czasie. Równolegle system wyciąga proste statystyki ruchu, takie jak gwałtowność zmiany ruchu (zręczność), najszybsze zaobserwowane przemieszczenie (prędkość szczytowa) oraz całkowita energia ruchu w krótkim oknie czasowym. Te dwa strumienie — bogate obrazy ruchu i zwarte podsumowania statystyczne — uchwytują zarówno kształt, jak i intensywność emocjonalnych gestów.

Lekki „mózg” dla samochodu

W sercu DriveEmo-FL znajduje się EmoNet — kompaktowy model głębokiego uczenia zaprojektowany do efektywnej pracy na małych komputerach pokładowych. Jeden nurt EmoNet przetwarza obrazy mikro-Dopplera podobnie jak sieć wizualna, ucząc się powtarzalnych wzorców związanych z gestami takimi jak klasnięcie, potrząsanie głową czy powolne rozglądanie się. Drugi nurt przetwarza trzy statystyki ruchu, pomagając rozróżnić na przykład energetyczną radość od równie energetycznej złości. Oba strumienie są łączone i przekazywane do wspólnych warstw decyzyjnych, które wypuszczają zarówno wykrytą aktywność, jak i przyporządkowaną grupę emocjonalną (szczęśliwy, smutny, zły lub przestraszony). Ostatni krok przekształca te wskazówki emocjonalne w oceny, które system autonomicznego sterowania mógłby wykorzystać do dostosowania prędkości, płynności manewrów, oświetlenia, a nawet tonu asystentów głosowych w samochodzie.

Uczenie od wielu samochodów bez ujawniania tajemnic

Aby system był odporny, musi uczyć się od osób w różnym wieku, różnych kultur i typów sylwetki, przewożonych w różnych samochodach i warunkach. Jednak wysyłanie surowych danych ruchu wszystkich do chmury rodzi problemy prywatności. DriveEmo-FL rozwiązuje to za pomocą uczenia federacyjnego: każdy pojazd trenuje EmoNet lokalnie, używając tylko własnych danych radarowych, a następnie przesyła jedynie zaszyfrowane aktualizacje modelu do serwera centralnego. Serwer łączy te aktualizacje w silniejszy model globalny i odsyła go do wszystkich samochodów. W testach z udziałem 50 uczestników wykonujących 12 odrębnych gestów górnej części ciała system osiągnął 94,5% dokładności działając w czasie rzeczywistym i pozostał niezawodny w trudnych scenariuszach, takich jak jazda miejska, jasne światło słoneczne, słabe oświetlenie czy nakładające się gesty.

Co to oznacza dla przyszłych przejazdów

Wyniki pokazują, że autonomiczne samochody mogą wyczuwać i reagować na stany emocjonalne pasażerów, używając niewielkiego, przyjaznego prywatności radaru i wydajnego modelu uczenia. Bez zapisywania twarzy czy głosu pojazd mógłby zauważyć, że pasażer jest spięty, przestraszony lub wyjątkowo radosny, i delikatnie dostosować styl jazdy oraz warunki w kabinie. Jeśli technologie takie jak DriveEmo-FL zostaną dopracowane i połączone z innymi nieinwazyjnymi wskazówkami, przyszłe przejazdy mogłyby być nie tylko bezpieczniejsze na drodze, ale też bardziej komfortowe, zrozumiałe i zorientowane na człowieka wewnątrz kabiny.

Cytowanie: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

Słowa kluczowe: Pojazdy autonomiczne, rozpoznawanie emocji, radar mmWave, detekcja w kabinie, uczenie federacyjne