Мультимодальная система обнаружения усталости за рулем через объединение визуальной и тактильной информации

Почему важно не уснуть за рулем

Долгие поездки, ночные смены и плотный график заставляют многих садиться за руль, когда они слишком устали. Усталость незаметно замедляет реакцию и снижает внимание, внося значительный вклад в число серьёзных дорожных происшествий каждый год. В этом исследовании представлена новая бортовая система мониторинга, которая одновременно отслеживает лицо водителя и едва заметные изменения давления на коже, чтобы выявлять сонливость раньше и надёжнее, чем существующие решения, основанные только на камере или только на сенсорах.

Два чувства лучше, чем одно

Большинство современных систем пытаются обнаружить усталость по одному источнику информации. Камеры ищут такие признаки, как опускающиеся веки, продолжительные моргания и зевки, но они плохо работают ночью, при ярких бликах или если лицо частично скрыто очками или маской. Другие подходы опираются на электрические сигналы тела или громоздкие носимые устройства, которые могут быть неудобными и шумными. Команда исследователей вместо этого подражает тому, как человеческий мозг сочетает осязание и зрение: их система объединяет видеозапись лица водителя с деликатными «тактильными» показателями от мягких пластырей, размещённых у глаз, рта и шеи, а затем искусственный интеллект оценивает, бодрствует ли водитель или начинает засыпать.

Мягкие сенсоры, которые улавливают то, что не видят камеры

В основе системы лежат гибкие датчики давления из лёгкого пористого пластика, смешанного с проводящим полимером и сформированного в мелкие червеподобные структуры. Этот губчатый материал легко сжимается и меняет электрические свойства при очень небольших нажатиях и сгибаниях. Если аккуратно приклеить пластырь к коже, один у глаза реагирует на закрытие век, другой на шее фиксирует кивок головы, а третий у рта улавливает широко раскрытие и растяжение при зевании. Тесты показали, что эти сенсоры реагируют за несколько тысячных долей секунды, способны фиксировать крайне слабые давления и сохраняют работоспособность даже после десятков тысяч циклов сгибания и нажатия — что важно для устройства, которое могут носить ежедневно в движущемся автомобиле.

Обучение системы распознаванию усталости

Чтобы научить систему, как выглядит усталость, исследователи создали датасет, сопоставив короткие видеоклипы пяти добровольцев с соответствующими сигналами от трёх кожных пластырей. Они записывали четыре типичных состояния: нормальное вождение, закрытие глаз, кивание головой и зевота при ярком дневном свете и в тусклом освещении паркинга. Современная сеть распознавания изображений научилась извлекать ключевые паттерны из лицевых снимков, в то время как вторая сеть переводила показания сенсоров в компактные сигнатуры. Эти два потока информации затем объединялись в единое представление, позволяя модели учитывать совпадение тактильных и визуальных признаков усталости и больше полагаться на сенсоры, когда видео темное или искажено.

От мгновенных сигналов к практическим предупреждениям

Когда система научилась распознавать четыре базовых состояния с примерно 98-процентной точностью в контролируемых тестах, команда пошла дальше: превратила покадровые решения в практические рекомендации для водителей. Они определили простые правила на основе частоты длительных морганий, кивков и зевков в минуту и преобразовали эти счёты в трёхуровневую шкалу усталости: нормально, слегка уставший или сильно уставший. Система работает в реальном времени на компактном бортовом компьютере, непрерывно обновляя оценку водителя и выдавая деликатное напоминание о перерыве на лёгком уровне или настоятельное оповещение «прекратить сейчас» при тяжёлом уровне усталости. Она показала высокую эффективность для людей разного возраста, оттенка кожи, с лицевыми волосами, в масках и даже при плохом освещении или тряске, демонстрируя, что комбинированный подход камера+осязание надёжен в реалистичных условиях.

Что это значит для повседневного вождения

Для неспециалистов главный вывод прост: объединяя то, что видит камера, и то, что ощущают мягкие кожные сенсоры, это исследование создаёт более умного «ко-пилота», который замечает тонкие признаки сонливости прежде, чем они превратятся в катастрофу. Технология избегает многих слабых сторон систем, основанных только на камерах ночью, и неудобных медицинских носимых устройств, оставаясь при этом достаточно быстрой и энергоэффективной для работы в автомобиле. Хотя необходимы более масштабные полевые испытания, эта мультимодальная платформа указывает путь к будущим автомобилям, которые незаметно отслеживают бдительность водителя в фоновом режиме и вовремя вмешиваются с предупреждениями, помогая снизить число аварий, связанных с усталостью, и делая дальние поездки безопаснее для всех на дороге.

Цитирование: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

Ключевые слова: обнаружение усталости водителя, мониторинг безопасности в автомобиле, гибкие кожные сенсоры, мультимодальный ИИ, предотвращение вождения в сонном состоянии