Wielomodalne ramy wykrywania zmęczenia kierowcy poprzez fuzję cech wizualnych i dotykowych

Dlaczego pozostawanie przytomnym za kierownicą ma znaczenie

Długie trasy, późne noce i napięty harmonogram sprawiają, że wiele osób siada za kierownicą, gdy jest zbyt zmęczonych. Zmęczenie po cichu spowalnia czas reakcji i rozmywa uwagę, przyczyniając się co roku do znacznej liczby poważnych wypadków drogowych. W tym badaniu wprowadzono nowy system monitorowania w samochodzie, który obserwuje zarówno twarz kierowcy, jak i subtelne zmiany ciśnienia na skórze, aby wcześnie i bardziej niezawodnie wykrywać senność niż obecne rozwiązania oparte wyłącznie na kamerze lub samych czujnikach.

Dwa zmysły są lepsze niż jeden

Większość obecnych systemów próbuje wychwycić zmęczenie z jednego źródła informacji. Narzędzia oparte na kamerach szukają wskazówek, takich jak opadające powieki, długie mrugnięcia czy ziewanie, ale mają trudności w nocy, przy oślepiającym świetle lub gdy twarze są częściowo zasłonięte okularami czy maseczkami. Inne podejścia polegają na sygnałach elektrycznych z ciała lub masywnych urządzeniach do noszenia, które mogą być niewygodne i generować zakłócenia. Zespół badawczy zamiast tego naśladuje sposób, w jaki ludzki mózg łączy dotyk i wzrok: ich system łączy obraz twarzy kierowcy z delikatnymi odczytami „dotykowymi” z miękkich, przyjaznych skórze płatek umieszczonych w okolicach oczu, ust i szyi, a następnie pozwala modelowi sztucznej inteligencji ocenić, czy kierowca jest czujny, czy zbliża się do zaśnięcia.

Miękkie sensory, które wyczuwają to, co omijają kamery

W sercu systemu znajdują się elastyczne czujniki ciśnienia wykonane z lekkiego, porowatego plastiku zmieszanego z przewodzącym polimerem uformowanym w maleńkie, przypominające robaki struktury. Ten gąbczasty materiał łatwo się kompresuje i zmienia swoje właściwości elektryczne w odpowiedzi na bardzo niewielkie naciski i zgięcia. Po przyklejeniu delikatnie do skóry jeden płatek w pobliżu oczu reaguje na zamykanie powiek, inny przy szyi wyczuwa kiwanie głową, a trzeci przy ustach wykrywa szerokie otwieranie i rozciąganie związane z ziewaniem. Testy wykazały, że te sensory reagują w kilka tysięcznych sekundy, potrafią wykryć niezwykle delikatne naciski i pozostają niezawodne nawet po dziesiątkach tysięcy cykli zginania i ściskania — co jest istotne dla urządzenia mogącego być noszonym codziennie w poruszającym się samochodzie.

Nauczanie systemu rozpoznawania zmęczenia

Aby nauczyć system, jak wygląda zmęczenie, badacze zbudowali zestaw danych łączący krótkie klipy wideo pięciu ochotników z odpowiadającymi im sygnałami z trzech płatków skórnych. Nagrywali cztery typowe stany: normalne prowadzenie, zamykanie oczu, kiwanie głową i ziewanie, zarówno przy jasnym świetle dziennym, jak i w przyćmionym oświetleniu parkingowym. Nowoczesna sieć rozpoznawania obrazów nauczyła się wydobywać kluczowe wzorce z obrazów twarzy, podczas gdy druga sieć przekształcała odczyty sensorów w zwarte sygnatury. Te dwa strumienie informacji zostały następnie zintegrowane w jedno wspólne przedstawienie, co pozwoliło modelowi dostrzegać, kiedy dotyk i widok zgadzały się co do oznak zmęczenia i polegać bardziej na sensorach, gdy obraz był ciemny lub zdegradowany.

Od chwilowych sygnałów do praktycznych ostrzeżeń

Gdy system osiągnął rozpoznawanie czterech podstawowych stanów z około 98-procentową dokładnością w testach kontrolowanych, zespół poszedł o krok dalej: przekształcił oceny klatka po klatce w praktyczne zalecenia dla kierowców. Zdefiniowali proste reguły oparte na tym, jak często ktoś mrugał zbyt długo, kiwał głową lub ziewał na minutę i zamienili te liczniki na trzystopniową skalę zmęczenia: normalne, lekko zmęczony lub poważnie zmęczony. System działa w czasie rzeczywistym na kompaktowym komputerze pokładowym, ciągle aktualizując wynik kierowcy i wywołując delikatne przypomnienie o przerwie przy łagodnych oznakach lub silne ostrzeżenie „zatrzymaj się teraz” w przypadku wykrycia ciężkiego zmęczenia. Utrzymywał wysoką skuteczność w różnych grupach wiekowych, odcieniach skóry, przy zarostach, maseczkach, a nawet w warunkach słabego oświetlenia czy drgań, wykazując, że połączone podejście kamera-plus-dotyk jest odporne w realistycznych warunkach.

Co to oznacza dla codziennej jazdy

Dla osób niebędących specjalistami wniosek jest prosty: łącząc to, co widzi kamera, z tym, co czują miękkie sensory skórne, to badanie dostarcza mądrzejszego „wspólnika” drogowego, który zauważa subtelne oznaki senności, zanim przerodzą się w katastrofę. Technologia unika wielu słabości systemów tylko z kamerą nocą i niewygodnych medycznych urządzeń do noszenia, przy jednoczesnym zachowaniu szybkości i efektywności wystarczającej do pracy wewnątrz samochodu. Chociaż potrzebne są większe testy drogowe w rzeczywistych warunkach, te wielomodalne ramy wskazują przyszłość pojazdów, które dyskretnie monitorują czujność kierowcy w tle i w porę interweniują ostrzeżeniami, pomagając zmniejszyć liczbę wypadków związanych ze zmęczeniem i czyniąc długie podróże bezpieczniejszymi dla wszystkich na drodze.

Cytowanie: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

Słowa kluczowe: wykrywanie zmęczenia kierowcy, monitorowanie bezpieczeństwa w samochodzie, elastyczne sensory skórne, wielomodalna SI, zapobieganie prowadzeniu w stanie senności