Un jeu de données multimodal sur la somnolence utilisant vidéo, biométrie et données comportementales

Pourquoi rester éveillé au volant compte

La conduite en état de somnolence est une menace cachée sur la route, contribuant à des milliers d’accidents chaque année. On imagine souvent s’assoupir d’un coup, mais en réalité la fatigue s’installe progressivement : le rythme cardiaque ralentit, la prise se relâche, la posture s’affaisse et les yeux s’alourdissent bien avant le véritable endormissement. Cet article décrit un nouveau jeu de données public conçu pour capturer ces signes subtils et précoces en détail, fournissant aux chercheurs la matière première nécessaire pour construire des systèmes plus intelligents susceptibles, un jour, d’avertir les conducteurs avant qu’un drame ne survienne.

Un nouveau regard sur les conducteurs fatigués

La plupart des collections existantes sur la somnolence des conducteurs se concentrent sur un seul type de signal, comme la vidéo du visage ou les enregistrements d’activité cérébrale. Le nouveau jeu de données Drowsiness Dataset de l’Université de Louisiane (UL-DD) adopte une perspective plus large. Dix-neuf volontaires ont conduit sur un simulateur de camion en laboratoire pendant qu’un réseau dense de caméras et de capteurs portables enregistrait leur comportement et leurs signaux corporels. Chaque personne a effectué une session en état d’éveil complet et une autre lorsqu’elle se sentait déjà somnolente, produisant des enregistrements continus d’environ 40 minutes par session et totalisant environ 1 400 minutes de données de conduite. Plutôt que d’étiqueter les conducteurs comme simplement « alertes » ou « somnolents », l’étude leur demandait toutes les quatre minutes d’évaluer leur somnolence sur une échelle en neuf niveaux, capturant la glissade lente de l’éveil complet vers la lutte contre le sommeil.

Ce que les capteurs ont vu et ressenti

Le dispositif observait les conducteurs sous plusieurs angles tout en « écoutant » leur corps. Une caméra infrarouge suivait les détails du visage, performante même en faible luminosité ; une caméra de profondeur 3D capturait la forme et la distance de la tête et du haut du corps ; et une caméra couleur se concentrait sur la posture. À partir de ces vidéos, l’équipe a extrait des repères faciaux — des points précis autour des yeux, de la bouche et des sourcils — et des « unités d’action » faciales décrivant des expressions telles que la fermeture des yeux, le mouvement des sourcils et le bâillement. Un autre algorithme a tracé des repères de pose du corps pour révéler l’affaissement, l’inclinaison de la tête et d’autres changements posturaux liés à la fatigue.

Lire les signaux discrets du corps

Parallèlement, des appareils portés au poignet et un oxymètre de pouls mesuraient les signes internes de la fatigue. L’activité cardiaque et la fréquence du pouls, la saturation en oxygène du sang, la température cutanée, l’activité électrique liée à la transpiration, le mouvement et l’accélération du poignet ont tous été enregistrés à leurs propres fréquences d’échantillonnage. Des capteurs de pression sur les deux côtés du volant ont suivi la force de prise de chaque main, tandis que des logiciels connectés au simulateur enregistraient la vitesse, le comportement de braquage et les changements de rapport des dizaines de fois par seconde. Tous ces flux ont été soigneusement synchronisés afin que, à tout instant de la conduite, les chercheurs puissent voir la combinaison exacte d’expression faciale, de posture, de rythme cardiaque, d’indices respiratoires, de force de la main et de style de conduite.

Vérifier la qualité des signaux

Collecter des données n’est utile que si elles sont fiables ; les auteurs ont donc consacré beaucoup d’efforts à valider les enregistrements. Ils ont examiné comment les signaux corporels variaient selon des niveaux de somnolence faibles, moyens et élevés, en utilisant des tests statistiques adaptés à la variabilité interindividuelle. Des mesures telles que la température cutanée, l’activité de transpiration, la saturation en oxygène et la fréquence cardiaque ont toutes évolué de façon significative à mesure que les conducteurs se fatiguaient, tandis que d’autres, comme une mesure du flux sanguin, se sont révélées moins informatives. L’équipe a également vérifié la cohérence des scores d’auto-évaluation de la somnolence en les comparant aux évaluations d’un expert sur un sous-ensemble des vidéos, constatant un fort accord. Une analyse signal/bruit a montré que la plupart des capteurs, en particulier ceux liés au cœur, produisaient des données propres, et des contrôles vidéo ont confirmé qu’aucune image n’était perdue.

Dans quelle mesure les signaux combinés détectent-ils la somnolence ?

Pour vérifier si ce riche mélange d’informations pouvait réellement aider à détecter la somnolence, les auteurs ont entraîné plusieurs modèles d’apprentissage automatique sur différentes combinaisons de signaux. Lorsqu’ils n’utilisaient qu’un seul type de données — par exemple la biométrie, la pression de prise ou les caractéristiques faciales — les résultats étaient modestes. Mais en combinant informations biométriques, comportementales et faciales, les performances ont fortement augmenté. Une approche moderne de fusion, qui apprend comment interagissent les différents types de données, a atteint une précision d’environ 88 % pour classer les conducteurs en « alertes », « modérément somnolents » ou « très somnolents ». Cela suggère qu’aucun indice unique ne suffit ; la fatigue se révèle plus clairement lorsque de nombreux petits signes sont tissés ensemble.

Ce que cela signifie pour des routes plus sûres

Le jeu de données UL-DD ne fournit pas un détecteur de somnolence prêt à l’emploi, et il présente des limites : les volontaires étaient relativement peu nombreux, majoritairement masculins, et ont conduit sur un simulateur plutôt que sur de véritables autoroutes, et l’étude n’a pas inclus d’enregistrements cérébraux directs. Néanmoins, en rendant disponible une collection détaillée, bien étiquetée et entièrement synchronisée de signaux faciaux, corporels et de conduite, les auteurs offrent aux scientifiques et ingénieurs un banc d’essai puissant. Grâce à lui, ils peuvent explorer à quel point notre corps commence tôt à signaler un danger, affiner des algorithmes qui combinent plusieurs indices et se rapprocher de systèmes embarqués qui interviennent en douceur avant qu’un moment de somnolence ne tourne au drame.

Citation: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

Mots-clés: somnolence du conducteur, détection multimodale, biométrie portable, simulateur de conduite, sécurité routière