DriveEmo-FL : détection des émotions à l’intérieur du véhicule par radar in-cabin pour une réponse intelligente des véhicules autonomes

Des voitures qui peuvent percevoir votre état d’esprit

À mesure que les voitures autonomes se rapprochent d’une réalité quotidienne, une question clé demeure : comment sauront-elles ce que ressentent leurs passagers ? Un trajet techniquement sûr mais qui laisse les personnes anxieuses, en colère ou sujettes au mal des transports n’inspirera pas confiance. Cet article présente DriveEmo-FL, un système qui permet aux véhicules autonomes de détecter les émotions des passagers à partir de mouvements corporels subtils — sans caméras ni dispositifs portables — puis d’ajuster la conduite et les paramètres de l’habitacle en conséquence.

Lire l’humeur sans regarder votre visage

De nombreux systèmes de détection d’émotions s’appuient aujourd’hui sur des caméras analysant les expressions faciales ou sur des capteurs portables mesurant la fréquence cardiaque et la conductance cutanée. Dans une voiture, ces approches présentent des limites : le visage peut être dissimulé par des lunettes de soleil ou un éclairage défavorable, et la plupart des passagers ne souhaitent pas porter de capteurs supplémentaires. DriveEmo-FL utilise à la place un radar millimétrique, un petit appareil qui émet des ondes radio et mesure leur renvoi sur le haut du corps du passager. Ces réflexions portent des variations minimes de mouvement qui modifient la fréquence des ondes renvoyées, un motif connu sous le nom de micro-Doppler. En se concentrant sur les épaules, les bras et la tête, le système peut repérer des différences caractéristiques entre, par exemple, un applaudissement enthousiaste, le repli craintif des épaules ou l’immobilité de la tristesse — tout en préservant la confidentialité visuelle.

Des échos radar bruts aux motifs émotionnels

Les auteurs construisent une chaîne complète qui transforme les échos radar bruts en estimations émotionnelles en quelques dizaines de millisecondes. D’abord, le signal est nettoyé : les fortes réflexions provenant des sièges et du tableau de bord sont supprimées, et un traitement mathématique isole les mouvements liés au passager plutôt qu’au véhicule en mouvement. Les données épurées sont ensuite transformées en images temps–fréquence — des « signatures » micro-Doppler — qui montrent comment l’énergie du mouvement se répartit sur différentes vitesses au fil du temps. En parallèle, le système extrait des statistiques de mouvement simples, telles que la rapidité des changements de mouvement (agilité), la vitesse de mouvement maximale observée (vitesse de pointe) et l’énergie de mouvement totale sur une courte fenêtre. Ces deux flux — images de mouvement riches et résumés compacts du mouvement — capturent à la fois la forme et l’intensité des gestes émotionnels.

Un cerveau léger pour la voiture

Au cœur de DriveEmo-FL se trouve EmoNet, un modèle de deep learning compact conçu pour fonctionner efficacement sur de petits ordinateurs embarqués. Une branche d’EmoNet traite les images micro-Doppler à la manière d’un réseau de vision, apprenant des motifs récurrents associés à des gestes tels que les applaudissements, le mouvement de tête ou le balayage lent du regard. L’autre branche traite les trois statistiques de mouvement, aidant à distinguer, par exemple, une joie énergique d’une colère tout aussi énergique. Les deux flux sont fusionnés puis envoyés vers des couches décisionnelles partagées qui produisent à la fois l’activité détectée et le groupe émotionnel sous-jacent (heureux, triste, en colère ou apeuré). Une étape finale convertit ces indices émotionnels en scores qu’un système de conduite autonome pourrait utiliser pour adapter la vitesse, la douceur des manœuvres, l’éclairage, voire le ton des assistants vocaux embarqués.

Apprendre depuis de nombreux véhicules sans partager les données sensibles

Pour rendre le système robuste, il doit apprendre à partir de personnes d’âges, de cultures et de morphologies variés, voyageant dans différents véhicules et conditions. Cependant, envoyer les données brutes de mouvement de chacun vers le cloud soulèverait des problèmes de confidentialité. DriveEmo-FL résout cela par l’apprentissage fédéré : chaque véhicule entraîne EmoNet localement en n’utilisant que ses propres données radar, puis partage uniquement des mises à jour de modèle chiffrées avec un serveur central. Le serveur combine ces mises à jour en un modèle global renforcé et le renvoie à tous les véhicules. Lors d’essais avec 50 participants exécutant 12 gestes distincts du haut du corps, le système a atteint 94,5 % de précision tout en fonctionnant en temps réel, et il est resté fiable dans des scénarios difficiles tels que la conduite en ville, la forte luminosité, la faible luminosité et les gestes qui se chevauchent.

Ce que cela signifie pour les trajets de demain

Dans l’ensemble, les résultats montrent que les voitures autonomes peuvent percevoir et répondre aux états émotionnels des passagers en utilisant un radar compact respectueux de la vie privée et un modèle d’apprentissage efficace. Sans jamais enregistrer un visage ou une voix, un véhicule autonome pourrait remarquer si un passager semble tendu, apeuré ou particulièrement joyeux et adapter en douceur son style de conduite et l’environnement de l’habitacle. Si ces systèmes sont affinés et combinés à d’autres indices non intrusifs, des dispositifs comme DriveEmo-FL pourraient rendre les trajets futurs non seulement plus sûrs sur la route, mais aussi plus confortables, compris et centrés sur l’humain à l’intérieur de l’habitacle.

Citation: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

Mots-clés: véhicules autonomes, reconnaissance des émotions, radar mmWave, détection in-cabin, apprentissage fédéré