Un cadre multimodal pour la détection de la fatigue au volant via la fusion des caractéristiques visuelles et tactiles

Pourquoi rester éveillé au volant compte

Les longs trajets, les nuits tardives et les emplois du temps surchargés poussent souvent des personnes à prendre le volant alors qu’elles sont trop fatiguées. La fatigue ralentit discrètement les temps de réaction et trouble l’attention, contribuant chaque année à une part importante des accidents graves de la route. Cette étude présente un nouveau système de surveillance embarqué qui observe à la fois le visage du conducteur et de subtiles variations de pression sur la peau pour détecter la somnolence précocement et de manière plus fiable que les solutions actuelles basées uniquement sur la caméra ou sur un seul type de capteur.

Deux sens valent mieux qu’un

La plupart des systèmes actuels cherchent la fatigue à partir d’une seule source d’information. Les outils à base de caméra recherchent des indices comme les paupières tombantes, les clignements longs et les bâillements, mais ils peinent la nuit, face aux éblouissements ou lorsque le visage est partiellement masqué par des lunettes ou un masque. D’autres approches s’appuient sur des signaux électriques du corps ou des dispositifs encombrants portés sur soi, qui peuvent être inconfortables et bruités. L’équipe de recherche imite plutôt la façon dont le cerveau humain combine le toucher et la vision : son système fusionne la vidéo du visage du conducteur avec des mesures « tactiles » douces provenant de patchs souples placés près des yeux, de la bouche et du cou, puis laisse un modèle d’intelligence artificielle décider si le conducteur est alerte ou en train de sombrer dans le sommeil.

Des capteurs souples qui perçoivent ce que les caméras manquent

Au cœur du système se trouvent des capteurs de pression flexibles fabriqués à partir d’un plastique poreux léger mélangé à un polymère conducteur, façonné en minuscules structures en forme de ver. Ce matériau semblable à une éponge se comprime facilement et modifie son comportement électrique en réponse à de très faibles pressions et flexions. Lorsqu’un patch est collé légèrement sur la peau, un capteur près des yeux réagit à la fermeture des paupières, un autre au niveau du cou ressent les nods de la tête, et un troisième près de la bouche détecte l’ouverture large et l’étirement associés aux bâillements. Les tests ont montré que ces capteurs réagissent en quelques millièmes de seconde, peuvent détecter des pressions extrêmement légères et continuent de fonctionner de manière fiable même après des dizaines de milliers de cycles de flexion et de pression — un critère important pour un dispositif susceptible d’être porté quotidiennement dans une voiture en mouvement.

Apprendre au système à lire la fatigue

Pour apprendre au système à reconnaître la fatigue, les chercheurs ont constitué un jeu de données associant de courts extraits vidéo de cinq volontaires aux signaux correspondants des trois patchs cutanés. Ils ont enregistré quatre états typiques : conduite normale, yeux se fermant, tête qui hoche et bâillement, sous un éclairage de jour lumineux et dans des conditions plus sombres de type parking. Un réseau moderne de reconnaissance d’images a appris à extraire des motifs clés des images du visage, tandis qu’un second réseau a converti les lectures des capteurs en signatures compactes. Ces deux flux d’information ont ensuite été fusionnés en une représentation combinée, permettant au modèle de détecter les cas où le toucher et la vision confirment la fatigue et de s’appuyer davantage sur les capteurs lorsque la vidéo est sombre ou dégradée.

Des signaux momentanés à des alertes exploitables

Une fois que le système a pu reconnaître les quatre états de base avec environ 98 % de précision lors d’essais contrôlés, l’équipe est allée plus loin : transformer les jugements image par image en conseils pratiques pour le conducteur. Ils ont défini des règles simples basées sur la fréquence des clignements trop longs, des hochements de tête ou des bâillements par minute, et ont converti ces comptes en un score de fatigue à trois niveaux : normal, légèrement fatigué ou sévèrement fatigué. Le système fonctionne en temps réel sur un ordinateur embarqué compact, mettant à jour en continu le score du conducteur et déclenchant une invite discrète à faire une pause en cas de fatigue légère ou une alerte urgente en cas de fatigue sévère. Il a maintenu de bonnes performances à travers différentes tranches d’âge, teints de peau, pilosités faciales, masques et même en présence de faible éclairage ou de secousses, montrant que l’approche combinant caméra et toucher est robuste en conditions réalistes.

Ce que cela signifie pour la conduite quotidienne

Pour un public non spécialiste, la conclusion est claire : en mêlant ce que voit une caméra à ce que ressentent des capteurs cutanés souples, cette étude propose un « copilote » plus intelligent qui repère des signes subtils de somnolence avant qu’ils ne deviennent catastrophiques. La technologie évite de nombreuses faiblesses des systèmes uniquement basés sur la caméra la nuit et des wearables médicaux inconfortables, tout en restant suffisamment rapide et efficace pour s’exécuter à bord d’un véhicule. Bien que des essais routiers plus vastes et en conditions réelles restent nécessaires, ce cadre multimodal ouvre la voie à des véhicules capables de surveiller discrètement l’éveil du conducteur en arrière-plan et d’intervenir par des avertissements opportuns, contribuant à réduire les accidents liés à la fatigue et à rendre les longs trajets plus sûrs pour tous les usagers de la route.

Citation: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

Mots-clés: détection de la fatigue du conducteur, surveillance de la sécurité à bord, capteurs cutanés flexibles, IA multimodale, prévention de la somnolence au volant