Un dataset multimodale sulla sonnolenza che utilizza video, dati biometrici e comportamentali

Perché restare svegli al volante è importante

La guida in stato di sonnolenza è una minaccia nascosta sulle strade, che contribuisce a migliaia di incidenti ogni anno. Tendiamo a immaginare di addormentarci all'improvviso, ma nella realtà la stanchezza avanza gradualmente: il battito rallenta, la presa sul volante si allenta, la postura si incurva e gli occhi si fanno pesanti molto prima di un vero e proprio cenno di assopimento. Questo articolo descrive un nuovo dataset pubblico pensato per catturare quei segnali sottili e precoci in grande dettaglio, fornendo ai ricercatori il materiale grezzo necessario per costruire sistemi più intelligenti in grado, un giorno, di avvertire il conducente prima che avvenga un disastro.

Uno sguardo nuovo ai conducenti assonnati

La maggior parte delle raccolte esistenti sui dati di sonnolenza del conducente si concentra su un solo tipo di segnale, come il video del volto o le registrazioni delle onde cerebrali. Il nuovo University of Louisiana Drowsiness Dataset (UL-DD) adotta una prospettiva più ampia. Diciannove volontari hanno guidato un simulatore di camion in laboratorio mentre una fitta rete di telecamere e sensori indossabili registrava il loro comportamento e i segnali corporei. Ogni persona ha effettuato una sessione in stato di piena vigilanza e un'altra quando già si sentiva assonnata, producendo registrazioni continue di circa 40 minuti per sessione e totalizzando approssimativamente 1.400 minuti di dati di guida. Invece di etichettare i conducenti semplicemente come “vigili” o “assonnati”, lo studio ha chiesto loro ogni quattro minuti di valutare la propria sonnolenza su una scala a nove livelli, catturando la lenta scivolata da piena sveglia a lotta contro il sonno.

Cosa hanno visto e rilevato i sensori

L’allestimento sorvegliava i conducenti da più angolazioni pur “ascoltando” i segnali del corpo. Una telecamera a infrarossi tracciava i dettagli del volto, funzionando bene anche in condizioni di luce fioca; una telecamera di profondità 3D catturava forma e distanza della testa e della parte superiore del corpo; una telecamera a colori si concentrava sulla postura. Da questi video il team ha estratto punti di riferimento facciali — punti precisi intorno agli occhi, alla bocca e alle sopracciglia — e “unità d’azione” facciali che descrivono espressioni come la chiusura degli occhi, il movimento delle sopracciglia e lo sbadiglio. Un altro algoritmo ha tracciato i punti di riferimento della posa corporea per rivelare incurvamento, inclinazione della testa e altri cambiamenti posturali legati all’affaticamento.

Leggere i segnali silenziosi del corpo

Parallelamente, dispositivi indossati al polso e un pulsossimetro hanno misurato i segni interni della fatica. L’attività cardiaca e la frequenza del polso, i livelli di ossigeno nel sangue, la temperatura della pelle, l’attività elettrica legata al sudore, il movimento e l’accelerazione del polso sono stati tutti registrati alle loro rispettive frequenze di campionamento. Sensori di pressione su entrambi i lati del volante hanno monitorato quanto forte ciascuna mano premeva, mentre il software ha estratto dal simulatore dati su velocità, comportamento nello sterzo e cambi di marcia decine di volte al secondo. Tutti questi flussi sono stati accuratamente sincronizzati in modo che, in ogni istante della guida, i ricercatori possano vedere la combinazione esatta di espressione facciale, postura, ritmo cardiaco, indizi respiratori, forza della mano e stile di guida.

Verificare la qualità dei segnali

Raccogliere dati è utile solo se sono affidabili, quindi gli autori hanno dedicato notevoli sforzi alla validazione delle registrazioni. Hanno esaminato come i segnali corporei cambiassero con livelli di sonnolenza bassi, medi e alti, utilizzando test statistici adatti a dati che variano da persona a persona. Misure come la temperatura della pelle, l’attività sudorale, la saturazione dell’ossigeno nel sangue e la frequenza del polso sono mutate in modo significativo con l’aumentare della stanchezza, mentre altre, come una misura del flusso sanguigno, si sono rivelate meno informative. Il team ha inoltre verificato la coerenza delle valutazioni soggettive di sonnolenza confrontandole con le valutazioni di un esperto su un sottoinsieme dei video, trovando un forte accordo. L’analisi segnale-rumore ha mostrato che la maggior parte dei sensori, in particolare quelli legati al cuore, ha prodotto dati puliti, e i controlli sui video hanno confermato che non venivano perse immagini.

Quanto bene i segnali combinati riconoscono la sonnolenza?

Per verificare se questa ricca mescolanza di informazioni potesse effettivamente aiutare a rilevare la sonnolenza, gli autori hanno addestrato diversi modelli di machine learning su combinazioni differenti di segnali. Quando hanno usato un solo tipo di dato — per esempio biometria, pressione di presa o caratteristiche facciali — i risultati sono stati modesti. Ma combinando informazioni biometriche, comportamentali e facciali, le prestazioni sono aumentate nettamente. Un approccio di fusione moderno che apprende come interagiscono i diversi tipi di dati ha raggiunto un’accuratezza di circa l’88 percento nella classificazione dei conducenti come vigili, moderatamente assonnati o fortemente assonnati. Questo suggerisce che nessun segnale singolo è sufficiente; la fatica si rivela più chiaramente quando molti piccoli indizi vengono intrecciati tra loro.

Cosa significa questo per strade più sicure

Il dataset UL-DD non fornisce un rilevatore di sonnolenza pronto all’uso e ha dei limiti: i volontari sono stati relativamente pochi, per lo più uomini, hanno guidato in un simulatore anziché su autostrade reali e lo studio non ha incluso registrazioni cerebrali dirette. Tuttavia, rendendo disponibile una raccolta dettagliata, ben etichettata e completamente sincronizzata di segnali facciali, corporei e di guida, gli autori offrono a scienziati e ingegneri un banco di prova potente. Con esso possono esplorare quanto precocemente il corpo inizi a segnalare problemi, perfezionare algoritmi che combinano indizi multipli e avvicinarsi a sistemi in-auto che intervengono delicatamente prima che un momento di sonnolenza si trasformi in una tragedia.

Citazione: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

Parole chiave: sonnolenza del conducente, rilevamento multimodale, biometria indossabile, simulatore di guida, sicurezza stradale