DriveEmo-FL: определение эмоций внутри салона на основе радара для умных реакций автономных автомобилей

Автомобили, которые ощущают ваше состояние

По мере того как беспилотные автомобили становятся реальностью повседневной жизни, остаётся важный вопрос: как они будут понимать эмоциональное состояние пассажиров? Поездка, которая формально безопасна, но оставляет людей тревожными, раздражёнными или укачанными, не внушит доверия. В этой статье представлена DriveEmo-FL — система, позволяющая автономным автомобилям выявлять эмоции пассажиров по тонким движениям тела без камер и носимых датчиков, а затем адаптировать стиль вождения и настройки салона в ответ на них.

Определять настроение, не глядя в лицо

Многие современные системы распознавания эмоций опираются на камеры, отслеживающие выражение лица, или на носимые устройства, измеряющие частоту сердцебиения и проводимость кожи. В салоне автомобиля оба подхода имеют недостатки: лицо может быть закрыто солнцезащитными очками или плохо освещено, а большинство пассажиров не захотят надевать дополнительные сенсоры. DriveEmo-FL вместо этого использует миллиметроволновой радар — компактное устройство, испускающее радиоволны и измеряющее их отражения от верхней части тела пассажира. Эти отражения несут крошечные изменения движения, вызывающие сдвиги частоты возвращённых волн — паттерн, известный как микродоплер. Фокусируясь на движениях плеч, рук и головы, система может фиксировать характерные отличия, например, между хлопком в ладоши от возбуждения, испуганным сжатием плеч или неподвижностью при печали — при этом сохраняется визуальная приватность.

От сырых эхо-радарных сигналов к эмоциональным паттернам

Авторы создают полный конвейер, превращающий сырые радарные сигналы в оценки эмоций за несколько десятков миллисекунд. Сначала сигнал очищается: удаляются сильные отражения от сидений и приборной панели, а математические методы выделяют движения, связанные с пассажиром, а не с движением автомобиля. Очищенные данные затем преобразуют в временно-частотные изображения — микродоплерные «подписи», показывающие, как энергия движения распределяется по разным скоростям во времени. Параллельно система извлекает простые статистики движения, такие как резкость смены движения (проворство), максимальная наблюдаемая скорость (пиковая скорость) и общая энергия движения за короткое окно. Эти два потока — насыщенные изображения движения и компактные сводные характеристики — захватывают и форму, и интенсивность эмоциональных жестов.

Лёгкий «мозг» для автомобиля

В центре DriveEmo-FL находится EmoNet — компактная модель глубокого обучения, разработанная для эффективной работы на небольших бортовых компьютерах. Одна ветвь EmoNet обрабатывает микродоплерные изображения подобно визуальной сети, выучивая повторяющиеся паттерны, связанные с жестами, такими как хлопки, покачивание головы или медленное оглядывание. Другая ветвь работает с тремя статистиками движения, помогая, например, отличать энергичную радость от столь же энергичного гнева. Два потока объединяются и подаются в общие слой принятия решений, которые выдают и обнаруженную активность, и принадлежность к группе эмоций (радость, грусть, гнев или страх). Финальный шаг преобразует эти эмоциональные сигналы в оценки, которые система автономного вождения могла бы использовать для адаптации скорости, плавности манёвров, освещения и даже интонации голосовых помощников в салоне.

Учиться на многих автомобилях, не раскрывая секретов

Чтобы система была надёжной, ей нужно обучаться на людях разного возраста, культур и типов телосложения, находящихся в разных автомобилях и условиях. Однако отправка всех сырых данных о движении в облако вызвала бы проблемы с приватностью. DriveEmo-FL решает это с помощью федеративного обучения: каждый автомобиль обучает EmoNet локально, используя только собственные радарные данные, а затем отправляет на сервер лишь зашифрованные обновления модели. Сервер объединяет эти обновления в более сильную глобальную модель и рассылает её обратно по всем автомобилям. В испытаниях с 50 участниками, выполнявшими 12 различных жестов верхней части тела, система достигла точности 94,5% при реальном времени работы и оставалась надёжной в сложных сценариях: городское движение, яркое солнце, слабое освещение и перекрывающиеся жесты.

Что это значит для будущих поездок

В целом полученные результаты показывают, что беспилотные автомобили могут чувствовать и реагировать на эмоциональные состояния пассажиров, используя компактный и конфиденциальный радар и эффективную модель обучения. Не записывая ни лица, ни голоса, автономный автомобиль мог бы заметить, что пассажир напряжён, напуган или особенно радостен, и мягко адаптировать стиль вождения и окружение в салоне. После доработки и в сочетании с другими ненавязчивыми сигналами такие системы, как DriveEmo-FL, могут сделать будущие поездки не только безопаснее на дороге, но и комфортнее, понятнее и более ориентированными на человека внутри салона.

Цитирование: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

Ключевые слова: автономные автомобили, распознавание эмоций, ммВолновой радар, сенсоры в салоне, федеративное обучение