Мультимодальный набор данных сонливости с использованием видео, биометрии и поведенческих данных

Почему важно не засыпать за рулем

Сонный водитель — скрытая угроза на дороге, способствующая тысячам аварий каждый год. Мы часто представляем себе внезапное засыпание, но на практике усталость подкрадывается постепенно: сердечный ритм замедляется, хвата ослабевает, осанка прогибается, а глаза становятся тяжелыми задолго до того, как человек действительно клюнет носом. В этой статье описан новый публичный набор данных, призванный зафиксировать эти тонкие ранние сигналы с высокой детализацией, предоставляя исследователям исходный материал для создания более умных систем, которые в будущем смогут предупреждать водителей до того, как случится беда.

Новый взгляд на сонных водителей

Большинство существующих коллекций данных о сонливости водителей фокусируются только на одном типе сигнала, например на видео лица или записях мозговой активности. Новый набор данных Университета Луизианы по сонливости (UL-DD) использует более широкий подход. Девятнадцать добровольцев управляли грузовым симулятором в лаборатории, пока плотная сеть камер и носимых датчиков записывала их поведение и физиологические сигналы. Каждый участник выполнил одну сессию в полностью бодром состоянии и другую — когда он уже чувствовал сонливость, получив непрерывные записи длительностью около 40 минут на сессию и суммарно примерно 1400 минут вождения. Вместо простых меток «бодр» или «сонлив», участникам каждые четыре минуты предлагали оценить свою сонливость по девятибалльной шкале, фиксируя постепенное скольжение от полной бодрости к борьбе со сном.

Что видели и чувствовали датчики

Установка наблюдала водителей с разных углов и одновременно «слушала» их тела. Инфракрасная камера отслеживала детали лица, работая даже при слабом освещении; 3D-камера глубины фиксировала форму и расстояние головы и верхней части тела; цветная камера была сосредоточена на позе. Из этих видеозаписей команда извлекала лицевые маркеры — точные точки вокруг глаз, рта и бровей — и «единицы лицевых действий», описывающие выражения, такие как закрывание глаз, движение бровей и зевота. Другой алгоритм отслеживал маркеры позы тела, выявляя сутулость, наклон головы и другие изменения осанки, связанные с усталостью.

Чтение тихих сигналов тела

Одновременно наручные устройства и пульсоксиметр измеряли внутренние признаки усталости. Фиксировались активность сердца и пульс, уровень кислорода в крови, температура кожи, электрическая активность, связанная с потоотделением, движение и ускорение запястья — каждый параметр с собственной частотой дискретизации. Датчики давления с обеих сторон руля отслеживали, с какой силой каждая рука держит руль, а программное обеспечение симулятора регистрировало скорость, поведение при рулении и переключения передач десятки раз в секунду. Все эти потоки были тщательно синхронизированы так, что в любой момент поездки исследователи могут увидеть точную комбинацию мимики, позы, ритма сердца, признаков дыхания, силы рук и стиля вождения.

Проверка качества сигналов

Сбор данных полезен только тогда, когда он надежен, поэтому авторы уделили значительные усилия валидации записей. Они изучали, как физиологические сигналы меняются при низкой, средней и высокой сонливости, используя статистические тесты, подходящие для данных, которые отличаются от человека к человеку. Показатели такие, как температура кожи, активность потоотделения, насыщение кислородом крови и частота пульса, значительно изменялись по мере нарастания усталости, тогда как некоторые другие, например одна мера кровотока, оказались менее информативными. Команда также проверила согласованность самооценок сонливости, сравнив их с оценками эксперта по подмножеству видео и обнаружив сильное совпадение. Анализ сигнал/шум показал, что большинство датчиков, особенно связанные с сердцем, давали чистые данные, а проверка видео подтвердила, что кадры не терялись.

Насколько хорошо объединённые сигналы распознают сонливость?

Чтобы понять, поможет ли это богатство информации обнаруживать сонливость, авторы обучили несколько моделей машинного обучения на разных комбинациях сигналов. Когда использовался только один тип данных — например биометрия, давление хвата или лицевые признаки — результаты были умеренными. Но при объединении биометрической, поведенческой и лицевой информации производительность резко возросла. Современный метод слияния, изучающий взаимодействие разных типов данных, достиг примерно 88-процентной точности при классификации водителей как бодрых, умеренно сонных или сильно сонных. Это говорит о том, что ни один отдельный сигнал недостаточен; усталость становится наиболее заметной тогда, когда многие маленькие подсказки складываются вместе.

Что это значит для безопасности на дорогах

Набор данных UL-DD сам по себе не является готовым детектором сонливости и имеет ограничения: добровольцев было относительно немного, они в основном были мужчинами, данные собирались в симуляторе, а не на реальных трассах, и исследование не включало прямых записей мозговой активности. Тем не менее, предоставив детализированную, хорошо размеченную и полностью синхронизированную коллекцию лицевых, телесных и водительских сигналов в свободный доступ, авторы дают учёным и инженерам мощную площадку для исследований. С её помощью можно изучать, как рано наше тело начинает подавать тревожные сигналы, оттачивать алгоритмы, которые объединяют множество подсказок, и приблизиться к системам в автомобиле, которые мягко вмешаются прежде, чем сонный момент превратится в трагедию.

Цитирование: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

Ключевые слова: сонливость водителя, мультимодальное наблюдение, носимая биометрия, автосимулятор, безопасность на дорогах