Wielomodalny zbiór danych zmęczenia z wykorzystaniem wideo, biometriki i zachowań

Dlaczego pozostawanie przytomnym za kierownicą ma znaczenie

Jazda po zmęczeniu to ukryte zagrożenie na drodze, przyczyniające się do tysięcy wypadków każdego roku. Wyobrażamy sobie często nagłe zaśnięcie, lecz w rzeczywistości senność wkrada się stopniowo: serce zwalnia, chwyt słabnie, sylwetka się zapada, a oczy robią się ciężkie długo przed tym, jak naprawdę przymykamy powieki. Ten artykuł opisuje nowy publiczny zbiór danych zaprojektowany tak, by uchwycić te subtelne, wczesne sygnały ze szczegółami, dostarczając badaczom surowego materiału potrzebnego do tworzenia mądrzejszych systemów, które mogłyby pewnego dnia ostrzec kierowcę, zanim wydarzy się tragedia.

Nowe spojrzenie na śpiących kierowców

Większość istniejących zbiorów danych dotyczących senności kierowców koncentruje się na jednym rodzaju sygnału, na przykład nagraniach twarzy lub zapisie fal mózgowych. Nowy University of Louisiana Drowsiness Dataset (UL-DD) stosuje szerszą perspektywę. Dziewiętnaście osób prowadziło symulator ciężarówki w laboratorium, podczas gdy gęsta sieć kamer i noszonych sensorów rejestrowała ich zachowanie i sygnały ciała. Każda osoba wykonała jedną sesję będąc w pełni trzeźwa i drugą, gdy już czuła senność, uzyskując ciągłe nagrania trwające około 40 minut na sesję, co dawało w sumie około 1 400 minut danych z jazdy. Zamiast oznaczać kierowców jedynie jako „czujny” lub „senny”, badanie pytało ich co cztery minuty o ocenę senności na dziewięciostopniowej skali, uchwytując powolne przejście od pełnej czujności do walki ze snem.

Co zauważyły i wyczuły sensory

Ustawienie obserwowało kierowców z wielu kątów, a jednocześnie „nasłuchiwało” ich ciał. Jedna kamera na podczerwień śledziła detale twarzy, dobrze działając nawet przy słabym oświetleniu; kamera głębi 3D rejestrowała kształt i odległość głowy oraz górnej części ciała; a kamera kolorowa skupiała się na postawie. Z tych nagrań zespół wyodrębnił punkty orientacyjne twarzy — precyzyjne punkty wokół oczu, ust i brwi — oraz jednostki akcji twarzy opisujące mimikę, taką jak zamykanie oczu, ruch brwi i ziewanie. Inny algorytm śledził punkty postawy ciała, ujawniając garbienie się, odchylenie głowy i inne zmiany postawy związane z zmęczeniem.

Odczytywanie cichych sygnałów ciała

Równolegle urządzenia noszone na nadgarstku i pulsoksymetr mierzyły wewnętrzne oznaki zmęczenia. Aktywność serca i częstość pulsu, poziom natlenienia krwi, temperatura skóry, elektryczna aktywność związana z potem, ruch i przyspieszenie nadgarstka były rejestrowane z własnymi częstotliwościami próbkowania. Czujniki ciśnienia po obu stronach kierownicy śledziły, jak mocno każda ręka trzymała drążek, podczas gdy oprogramowanie odczytywało z symulatora prędkość, zachowanie kierownicy i zmiany biegów dziesiątki razy na sekundę. Wszystkie te strumienie zostały starannie zsynchronizowane, tak że w dowolnym momencie jazdy badacze mogą zobaczyć dokładne zestawienie wyrazu twarzy, postawy, rytmu serca, wskazówek oddechowych, siły chwytu i stylu prowadzenia.

Weryfikacja jakości sygnałów

Gromadzenie danych ma sens tylko wtedy, gdy są one wiarygodne, dlatego autorzy włożyli znaczący wysiłek w walidację nagrań. Analizowali, jak sygnały ciała zmieniały się przy niskiej, średniej i wysokiej senności, stosując testy statystyczne odpowiednie do danych różniących się między osobami. Miary takie jak temperatura skóry, aktywność potowa, saturacja krwi tlenem i częstość pulsu zmieniały się w istotny sposób wraz ze wzrostem zmęczenia kierowców, podczas gdy niektóre inne, jak jedna miara przepływu krwi, okazały się mniej informacyjne. Zespół sprawdził również spójność samoocen senności, porównując je z ocenami eksperta na wybranym podzbiorze wideo i stwierdził silną zgodność. Analiza stosunku sygnału do szumu wykazała, że większość sensorów, zwłaszcza związanych z sercem, dostarczała czystych danych, a kontrole wideo potwierdziły, że klatki nie były pomijane.

Na ile skuteczne są połączone sygnały w wykrywaniu senności?

Aby sprawdzić, czy ta bogata mieszanka informacji może rzeczywiście pomóc wykrywać senność, autorzy wytrenowali kilka modeli uczenia maszynowego na różnych kombinacjach sygnałów. Gdy używano tylko jednego rodzaju danych — na przykład biometria, ciśnienie chwytu czy cechy twarzy — wyniki były umiarkowane. Jednak przy połączeniu informacji biometrycznych, behawioralnych i twarzowych osiągi wyraźnie wzrosły. Nowoczesne podejście fuzji, które uczy się interakcji między różnymi typami danych, osiągnęło dokładność około 88 procent w klasyfikacji kierowców jako czujnych, umiarkowanie sennych lub silnie sennych. Sugeruje to, że pojedynczy sygnał nie wystarcza; zmęczenie ujawnia się najpewniej, gdy splecione są liczne, drobne wskazówki.

Co to oznacza dla bezpieczniejszych dróg

Zbiór UL-DD nie dostarcza gotowego detektora senności i ma swoje ograniczenia: wolontariuszy było stosunkowo niewielu, przeważnie mężczyźni, badanie przeprowadzono w symulatorze zamiast na autostradach, a projekt nie obejmował bezpośrednich zapisów mózgowych. Mimo to, udostępniając szczegółowy, dobrze oznakowany i w pełni zsynchronizowany zestaw sygnałów twarzy, ciała i jazdy, autorzy dają naukowcom i inżynierom potężne pole do testów. Dzięki temu można badać, jak wcześnie nasze ciała zaczynają sygnalizować problemy, dopracowywać algorytmy łączące wiele wskazówek i przybliżać się do systemów w samochodzie, które delikatnie interweniują, zanim senny moment przerodzi się w tragedię.

Cytowanie: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

Słowa kluczowe: senność kierowcy, wielomodalne sensory, biometria noszona, symulator jazdy, bezpieczeństwo drogowe