Metoda wykrywania zmęczenia oparta na analizie postawy kierowcy i stanu twarzy

Dlaczego zmęczeni kierowcy mają znaczenie dla wszystkich

Wielu z nas poczuło ciężkość powiek podczas długiej podróży, ale niewielu uświadamia sobie, jak często ten ospały moment kończy się wypadkiem. Artykuł opisuje system oparty na kamerze, który obserwuje twarz, postawę i dłonie kierowcy, aby wykrywać wczesne oznaki zmęczenia i wydawać terminowe ostrzeżenia, bez przytwierdzania sensorów do ciała czy zmiany sposobu prowadzenia.

Obserwowanie kierowcy, a nie tylko samochodu

Agencje ruchu drogowego szacują, że zmęczenie ma udział w dużej części poważnych wypadków na świecie. Tradycyjne systemy ostrzegawcze koncentrowały się na sygnałach z samochodu, takich jak korekty kierownicy czy zjeżdżanie z pasa, albo na medycznych czujnikach śledzących aktywność mózgu czy serca. Metody te mogą być kosztowne, niewygodne lub zawodowe, gdy kierowcy albo warunki na drodze się różnią. W badaniu zamiast tego wykorzystano zwykły obraz wideo z małych kamer wewnątrz auta, aby bezpośrednio odczytywać zachowanie kierowcy, używając nowoczesnej sztucznej inteligencji do interpretacji tego, co widać.

Odczytywanie oczu, ust, głowy i dłoni

Naukowcy najpierw rozkładają na części, jak wygląda prowadzenie pojazdu pod wpływem zmęczenia w codziennych terminach. Znaki ostrzegawcze obejmują wolniejsze, dłuższe mrugnięcia, powtarzające się ziewanie, opadającą lub przechyloną głowę oraz dłonie odsuwające się od kierownicy. Korzystając z metody estymacji pozy o nazwie AlphaPose, system śledzi 119 punktów kluczowych na ciele kierowcy, szczególnie wokół oczu, ust, głowy i nadgarstków. Z tych punktów oblicza proste miary, takie jak szerokość otwarcia oczu i ust oraz stopień pochylenia lub opadania głowy względem szyi i oczu. Sprawdza też, czy nadgarstki pozostają blisko kierownicy w czasie, czy odsuwają się, co sugeruje, że kierowca nie trzyma już pewnie kontroli.

Widzenie z kilku kątów w czasie

Pojedyncze zdjęcie może być mylące, dlatego system analizuje krótkie klipy wideo, a nie izolowane klatki. Na przykład jedno normalne mrugnięcie może przypominać zamknięcie oka z powodu senności, a szybkie spojrzenie na deskę rozdzielczą może wyglądać jak przygasanie głowy, jeśli oceniane jest samo. Aby uniknąć takich pomyłek, metoda analizuje zmiany na co najmniej 20 kolejnych klatkach, śledząc, czy wskazówki zmęczenia utrzymują się. Wykorzystuje też trzy widoki kamer zgromadzone w Driving Monitoring Dataset: widok frontalny twarzy, widok boczny górnej części ciała oraz zbliżenie dłoni. Razem te kąty sprawiają, że system jest bardziej odporny, gdy twarz jest częściowo zasłonięta okularami, silnym światłem słonecznym, rozmyciem ruchu lub obróceniem głowy.

Mądrzejsza detekcja pod maską

Za kulisami system ma dwie główne części. Najpierw szybki detektor obiektów nazwany YOLOv11n* znajduje kierowcę w każdej klatce, tak aby AlphaPose mógł dokładnie zaznaczyć punkty na ciele. Autorzy ulepszyli ten detektor specjalnym hybrydowym blokiem poolingowym, który pomaga sieci rozumieć zarówno szeroki kontekst, jak i drobne detale, takie jak oczy i palce. Następnie pozycje i wartości ufności wszystkich śledzonych punktów są przekazywane do sieci Long Short-Term Memory (LSTM), typu modelu dobrze nadającego się do sekwencji. LSTM uczy się, jak kombinacje zmian w oczach, ustach, głowie i dłoniach rozwijają się w czasie, gdy kierowca jest czujny, lekko zmęczony lub silnie przemęczony, i zwraca prawdopodobieństwo każdego poziomu zmęczenia dla analizowanego okna czasowego.

Jak system sprawdza się w praktyce

Zespół przetestował podejście na dużym publicznym zbiorze danych wideo z wnętrza samochodu, trenując i oceniając modele na tysiącach oznaczonych obrazów i klipów. W porównaniu z kilkoma wiodącymi metodami głębokiego uczenia, w tym innymi kombinacjami sieci konwolucyjnych, transformatorów i LSTM, proponowana rama AlphaPose*–LSTM osiągnęła najwyższe zgłaszane wartości dokładności, precyzji i F1-score w klasyfikacji poziomów zmęczenia. Działała też wystarczająco szybko do niemal rzeczywistego użycia: po przetworzeniu pierwszych 20 klatek nowe estymaty zmęczenia mogą być aktualizowane mniej więcej co 48 milisekund, co nadaje się do ciągłego monitorowania w ruchomych pojazdach.

Co to oznacza dla codziennej jazdy

Mówiąc prościej, badanie pokazuje, że samochód może używać kamer i inteligentnego oprogramowania do wykrywania charakterystycznych oznak zmęczonego kierowcy, łącząc niewielkie zmiany w oczach, ustach, głowie i dłoniach w wiarygodny obraz czujności. Choć obecny system jest dostrojony do warunków dziennych i wymagałby dostosowania na noc czy inne środowiska, wyniki sugerują, że niewpływowe monitorowanie oparte na obrazie może stać się praktyczną funkcją bezpieczeństwa. Rozpoznając zmęczenie wcześnie i skłaniając kierowców do przerwy, taka technologia mogłaby pomóc zapobiegać wielu wypadkom, które teraz zdarzają się, ponieważ ktoś był zbyt zmęczony, by pozostać w pełni przytomny za kierownicą.

Cytowanie: Hao, Y., Sun, X., Liu, H. et al. A fatigue driving detection method based on driver posture and facial state analysis. Sci Rep 16, 15159 (2026). https://doi.org/10.1038/s41598-026-44994-4

Słowa kluczowe: zmęczenie kierowcy, prowadzenie po zaśnięciu, monitorowanie kierowcy, widzenie komputerowe, bezpieczeństwo na drodze