Ein multimodales Müdigkeitsdatensatz mit Video-, biometrischen und Verhaltensdaten

Warum es wichtig ist, am Steuer wach zu bleiben

Schläfriges Fahren ist eine unterschätzte Gefahr im Straßenverkehr und trägt jährlich zu Tausenden von Unfällen bei. Wir stellen uns oft ein plötzliches Einschlafen vor, doch in Wirklichkeit schleicht sich Müdigkeit allmählich ein: der Herzschlag verlangsamt sich, der Griff lockert, die Haltung sackt zusammen und die Augen werden schwer, lange bevor wir tatsächlich einnicken. Dieser Artikel beschreibt einen neuen öffentlichen Datensatz, der genau diese subtilen Frühsignale detailliert erfasst und Forschern das Rohmaterial liefert, um künftig intelligente Systeme zu entwickeln, die Fahrer noch vor einer Katastrophe warnen könnten.

Ein neuer Blick auf müde Fahrer

Die meisten bestehenden Sammlungen zur Fahrermüdigkeit konzentrieren sich auf nur eine Art von Signalen, etwa Videoaufnahmen des Gesichts oder Aufzeichnungen der Hirnströme. Der neue University of Louisiana Drowsiness Dataset (UL-DD) nimmt eine breitere Perspektive ein. Neunzehn Freiwillige fuhren in einem Truck-Simulator im Labor, während ein dichtes Netz aus Kameras und tragbaren Sensoren ihr Verhalten und Körperdaten aufzeichnete. Jede Person absolvierte eine Sitzung in vollem Wachzustand und eine weitere, in der sie sich bereits müde fühlte, wodurch kontinuierliche Aufnahmen von etwa 40 Minuten pro Sitzung entstanden und sich insgesamt rund 1.400 Minuten Fahrdaten summierten. Anstatt Fahrer einfach als „wach“ oder „müde“ zu kennzeichnen, wurden sie alle vier Minuten gebeten, ihre Schläfrigkeit auf einer neunstufigen Skala zu bewerten, wodurch der langsame Übergang vom hellwachen Zustand zum Kampf gegen den Schlaf erfasst wurde.

Was die Sensoren sahen und spürten

Die Ausstattung beobachtete die Fahrer aus mehreren Blickwinkeln und „hörte“ gleichzeitig in ihre Körper hinein. Eine Infrarotkamera verfolgte Gesichtsdetails und funktionierte gut auch bei schwachem Licht; eine 3D-Tiefenkamera erfasste Form und Abstand von Kopf und Oberkörper; und eine Farbkamera konzentrierte sich auf die Sitzhaltung. Aus diesen Videos extrahierte das Team Gesichtslandmarks — präzise Punkte um Augen, Mund und Augenbrauen — sowie sogenannte Facial Action Units, die Ausdrücke wie Augen-Schließen, Brauenbewegung und Gähnen beschreiben. Ein weiteres Verfahren verfolgte Körperhaltungslandmarks, um Hinweise auf Zusammen­sacken, Kopfneigung und andere mit Müdigkeit verbundene Haltungsänderungen zu zeigen.

Die leisen Signale des Körpers lesen

Parallel dazu maßen Armbandgeräte und ein Pulsoximeter die inneren Zeichen von Ermüdung. Herzaktivität und Pulsfrequenz, Blut­sauerstoffsättigung, Hauttemperatur, schwitzungsbasierte elektrische Aktivität, Bewegung und Beschleunigung am Handgelenk wurden jeweils mit eigenen Abtastraten aufgezeichnet. Drucksensoren an beiden Seiten des Lenkrads zeichneten die Festigkeit des Handgriffs auf, während Software auf den Simulator zugriff, um Geschwindigkeit, Lenkverhalten und Gangwechsel dutzende Male pro Sekunde zu protokollieren. All diese Datenströme wurden sorgfältig synchronisiert, sodass Forschende zu jedem Zeitpunkt der Fahrt die exakte Kombination aus Gesichtsausdruck, Körperhaltung, Herzrhythmus, Atemhinweisen, Handkraft und Fahrstil sehen können.

Prüfung der Signalqualität

Daten zu sammeln ist nur nützlich, wenn sie verlässlich sind, daher investierten die Autorinnen und Autoren erhebliche Mühe in die Validierung der Aufnahmen. Sie untersuchten, wie sich die Körpersignale bei niedriger, mittlerer und hoher Schläfrigkeit veränderten und verwendeten statistische Tests, die für personübergreifend unterschiedliche Daten geeignet sind. Messgrößen wie Hauttemperatur, Schweißaktivität, Blut­sauerstoffsättigung und Pulsfrequenz veränderten sich auf sinnvolle Weise, als die Fahrer müder wurden, während andere Messungen, etwa eine Blutflussgröße, weniger informativ waren. Das Team prüfte außerdem die Konsistenz der selbstberichteten Schläfrigkeitswerte, indem es diese mit der Bewertung eines Experten für einen Unter­satz der Videos verglich und starke Übereinstimmung fand. Signal‑zu‑Rausch‑Analysen zeigten, dass die meisten Sensoren, besonders die herzbezogenen, saubere Daten lieferten, und Video‑Checks bestätigten, dass keine Frames verloren gingen.

Wie gut erkennen kombinierte Signale Müdigkeit?

Um zu testen, ob diese reiche Informationsmischung tatsächlich bei der Erkennung von Schläfrigkeit helfen kann, trainierten die Autorinnen und Autoren mehrere Machine‑Learning‑Modelle mit verschiedenen Signal­kombinationen. Verwendete man nur eine Datenart — etwa Biometrie, Griffdruck oder Gesichtszüge — waren die Ergebnisse mäßig. Kombinierte man jedoch biometrische, verhaltensbezogene und gesichtsbezogene Informationen, stieg die Leistung deutlich an. Ein moderner Fusionsansatz, der lernt, wie verschiedene Datentypen interagieren, erreichte eine Genauigkeit von etwa 88 Prozent bei der Klassifikation von Fahrern in wach, mäßig schläfrig oder stark schläfrig. Das legt nahe, dass kein einzelner Hinweis ausreicht; Müdigkeit zeigt sich am deutlichsten, wenn viele kleine Signale zusammenwirken.

Was das für sicherere Straßen bedeutet

Der UL‑DD‑Datensatz liefert keinen schlüsselfertigen Müdigkeitssensor und hat Grenzen: Die Anzahl der Teilnehmenden war relativ klein, überwiegend männlich, die Messungen erfolgten im Simulator statt auf echten Autobahnen und es wurden keine direkten Gehirnaufzeichnungen gemacht. Dennoch bieten die Autorinnen und Autoren mit der Veröffentlichung einer detaillierten, gut etikettierten und vollständig synchronisierten Sammlung von Gesichts-, Körper‑ und Fahrdaten eine leistungsfähige Testumgebung. Damit können Forschende untersuchen, wie früh unser Körper Gefahr signalisiert, Algorithmen verfeinern, die mehrere Hinweise kombinieren, und sich Fahrzeugsysteme nähern, die sanft eingreifen, bevor ein schläfriger Moment in eine Tragödie umschlägt.

Zitation: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

Schlüsselwörter: Müdigkeit des Fahrers, multimodale Sensorik, tragbare Biometrie, Fahrsimulator, Verkehrssicherheit