En multimodal trötthetsdatamängd med video, biometriska och beteendemässiga data

Varför det är viktigt att hålla sig vaken bakom ratten

Att köra sömnig är ett dolt hot på vägarna och bidrar till tusentals olyckor varje år. Vi föreställer oss ofta att man plötsligt nickar till, men i verkligheten smyger sömnigheten fram gradvis: hjärtfrekvensen sjunker, greppet slappnar av, hållningen sjunker ihop och ögonen blir tunga långt innan vi faktiskt faller i sömn. Denna artikel beskriver en ny offentlig datamängd som är utformad för att fånga dessa subtila, tidiga varningstecken i detalj och ge forskare det råmaterial som behövs för att utveckla smartare system som en dag kan varna förare innan en olycka inträffar.

En ny inblick i sömniga förare

De flesta befintliga samlingar av data om förartrötthet fokuserar på bara en typ av signal, till exempel ansiktsvideo eller inspelningar av hjärnvågor. Den nya University of Louisiana Drowsiness Dataset (UL-DD) har en bredare ansats. Nitton frivilliga körde en lastbilssimulator i ett laboratorium medan ett tätt nät av kameror och bärbara sensorer spelade in deras beteende och kroppssignaler. Varje person genomgick en session medan de var fullt alerta och en annan när de redan kände sig trötta, vilket gav kontinuerliga inspelningar på cirka 40 minuter per session och totalt ungefär 1 400 minuters kördata. Istället för att kategorisera förare som helt enkelt "alerta" eller "sömniga" bad studien dem var fjärde minut att betygsätta sin sömnighet på en niogradig skala, vilket fångade den långsamma övergången från helt vaken till att kämpa mot sömnen.

Vad sensorerna såg och kände

Uppsättningen övervakade förarna från flera vinklar samtidigt som den också "lyssnade" på deras kroppar. En infraröd kamera följde ansiktsdetaljer och fungerade bra även i svagt ljus; en 3D-djupkamera fångade form och avstånd för huvud och överkropp; och en färgkamera fokuserade på hållning. Från dessa videor extraherade teamet ansiktslandmärken—exakta punkter runt ögon, mun och ögonbryn—och ansikts"aktionsenheter" som beskriver uttryck som ögonlockens slutning, ögonbrynsrörelser och gäspningar. En annan algoritm spårade kroppens pose-landmärken för att avslöja ihopslackning, huvudlutning och andra hållningsförändringar kopplade till trötthet.

Att läsa kroppens tysta signaler

Samtidigt mätte handledsburna enheter och en pulsoximeter kroppens inre tecken på trötthet. Hjärtaktivitet och pulsfrekvens, blodets syremättnad, kroppstemperatur vid huden, svettrelaterad elektrisk aktivitet, rörelse och handledsåkerelerationsdata spelades alla in med sina respektive samplingshastigheter. Trycksensorer på båda sidor av ratten registrerade hur hårt varje hand greppade, medan mjukvara kopplad till simulatorn loggade hastighet, rattbeteende och växelbyten flera gånger per sekund. Alla dessa strömmar synkroniserades noggrant så att forskare vid varje ögonblick i körningen kan se den exakta kombinationen av ansiktsuttryck, hållning, hjärtrytm, andningshintar, handkraft och körstil.

Kontroll av signalernas kvalitet

Att samla in data är bara användbart om de är pålitliga, så författarna ägnade stor möda åt att validera inspelningarna. De undersökte hur kroppssignalerna förändrades vid låg, medel och hög sömnighet, och använde statistiska tester som lämpar sig för data som varierar mellan individer. Mått som hudtemperatur, svettaktivitet, blodets syremättnad och pulsfrekvens ändrade sig alla på meningsfulla sätt när förarna blev tröttare, medan andra mått, som ett visst blodflödesmått, visade sig vara mindre informativa. Teamet kontrollerade också att de självskattade sömnighetspoängen var konsekventa genom att jämföra dem med en experts bedömningar av en delmängd av videorna, och fann god överensstämmelse. Signal-till-brus-analys visade att de flesta sensorer, särskilt hjärtrelaterade sådana, producerade rena data, och videokontroller bekräftade att ramar inte tappades bort.

Hur bra kan kombinerade signaler upptäcka sömnighet?

För att avgöra om denna rika informationsblandning faktiskt kunde hjälpa till att upptäcka trötthet tränade författarna flera maskininlärningsmodeller på olika kombinationer av signaler. När de använde endast en datatyp—till exempel biometriska data, grepptryck eller ansiktsdrag—var resultaten måttliga. Men när de kombinerade biometrisk, beteendemässig och ansiktsinformation ökade prestandan markant. En modern fusionsmetod som lär sig hur olika datatyper samverkar nådde en noggrannhet på omkring 88 procent vid klassificering av förare som alerta, måttligt sömniga eller starkt sömniga. Detta tyder på att ingen enskild ledtråd räcker; i stället avslöjar trötthet sig tydligast när många små signaler vävs samman.

Vad detta innebär för säkrare vägar

UL-DD-datamängden levererar inte en färdig detektor för förartrötthet och har begränsningar: frivilliga var relativt få, övervägande män, och körde i en simulator snarare än på riktiga motorvägar, och studien inkluderade inga direkta hjärnregistreringar. Ändå ger författarna genom att göra en detaljerad, välmärkt och fullt synkroniserad samling av ansikts-, kroppsliga- och körsignaler fritt tillgänglig forskare och ingenjörer en kraftfull testmiljö. Med den kan de utforska hur tidigt våra kroppar börjar signalera fara, förfina algoritmer som kombinerar flera ledtrådar och komma närmare system i bilen som mjukt ingriper innan ett sömnigt ögonblick förvandlas till en tragedi.

Citering: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

Nyckelord: förares trötthet, multimodal sensning, bärbara biometriska enheter, trafiksimulator, vägsäkerhet