Двухветвевой фреймворк глубокого обучения для распознавания эмоций по сигналам ЭЭГ

Почему считывание мозговых волн может помочь вашему настроению

Проблемы с психическим здоровьем, такие как стресс, тревога и депрессия, нередко накапливаются незаметно для нас и окружающих. А что если повседневные устройства могли бы тихо отслеживать наше эмоциональное состояние и сигнализировать, когда нужен перерыв или поддержка? В этой работе рассматривается новый способ чтения закономерностей в активности мозга с помощью наушной установки, фиксирующей электрические сигналы с кожи головы, в сочетании с современными методами искусственного интеллекта для быстрого, точного и мало требовательного к ручной настройке распознавания эмоций.

Преобразование мозговых сигналов в подсказки о настроении

Наш мозг постоянно генерирует крошечные электрические импульсы, которые можно измерить с помощью технологии ЭЭГ — электроэнцефалографии. Эти сигналы тонко меняются, когда мы спокойны, напряжены или развеселены. Традиционные методы интерпретации данных ЭЭГ сильно зависят от вручную сконструированных экспертами математических признаков — медленного и часто хрупкого процесса, плохо переносящегося между исследованиями. Авторы стремятся заменить эту ручную работу сквозной системой, которая учится напрямую на данных, чтобы распознавание эмоций стало более надежным и проще внедрялось в реальный мониторинг психического здоровья.

Два подхода к пониманию одного и того же сигнала

В основе исследования лежит двухветвевой модель глубокого обучения, которая рассматривает один и тот же сигнал ЭЭГ с двух взаимодополняющих точек зрения. Одна ветвь сосредоточена на том, как сигнал развивается во времени, подавая последовательности мозговых волн в тип нейронной сети LSTM, хорошо подходящей для отслеживания паттернов и ритмов. Другая ветвь преобразует тот же сигнал в карту частот, по духу близкую к тому, как звукоинженеры визуализируют аудиоданные, и пропускает эту карту через сверточную сеть, умеющую выделять локальные структуры. Позволяя одной ветви специализироваться на временных аспектах, а другой — на частотных, система фиксирует более богатую информацию о том, как разные эмоции проявляются в мозгу.

Когда два взгляда обучают друг друга

Вместо того чтобы рассматривать эти две ветви как отдельных экспертов, встречающихся только в конце, авторы проектируют их для двунаправленного взаимодействия. Частотные признаки преобразуются обратно в сигналоподобную форму и проходят через дополнительную временную сеть, побуждая модель проверять, имеют ли спектральные паттерны смысл во временной динамике. Аналогично, сводка, произведенная временной ветвью, преобразуется в синтетический сигнал, конвертируется в частотную карту и снова анализируется спектральной ветвью. Этот обмен туда‑обратно помогает модели сойтись во мнении о том, какие аспекты сигнала действительно важны для различения эмоциональных состояний. Наконец, модель объединяет эти представления с помощью простых математических операций, выделяя области сильного совпадения обеих ветвей, прежде чем передать результат компактному классификатору, выдающему категорию эмоции.

Тестирование в разных реальных условиях

Чтобы проверить, выдерживает ли подход испытание не одной аккуратно контролируемой эксперимента, авторы тестируют его на трех публичных наборах данных, фиксирующих эмоции и стресс в очень разных ситуациях. Один использует потребительскую повязку для записи положительных, нейтральных и негативных чувств во время просмотра кинофрагментов. Второй отслеживает добровольцев с грудными и ручными сенсорами во время стрессовых интервью, спокойных базовых состояний и забавных видеороликов. Третий наблюдает за офисными сотрудниками, сталкивающимися с дефицитом времени и прерываниями в длительных сессиях. В этих разнообразных сценариях, с разными устройствами и участниками, двухветвевой модель показывает впечатляюще высокую точность — более 96 процентов на наборе данных с мозговыми волнами и практически идеальные результаты на двух других — при этом оставаясь достаточно эффективной для использования в режиме, близком к реальному времени.

Что это значит для повседневной жизни

Проще говоря, исследование демонстрирует, что сочетание двух простых, но дополняющих друг друга представлений об активности мозга и их взаимное постоянное уточнение может дать систему распознавания эмоций, одновременно мощную и практичную. Вместо опоры на хрупкие вручную созданные признаки, фреймворк учится напрямую на данных и остается устойчивым при встрече с новыми людьми и условиями записи. Хотя предстоит ещё работа по адаптации между наборами данных, уменьшению размера для носимых устройств и включению дополнительных сигналов тела, этот двухветвевой подход указывает путь к будущим инструментам, которые могли бы незаметно отслеживать наше эмоциональное благополучие, предлагая ранние предупреждения и персонализированную поддержку задолго до наступления кризиса.

Цитирование: Saha, D., Ali, A., Gulvanskii, V. et al. A dual-branch deep learning framework for emotion recognition from EEG signals. Sci Rep 16, 13076 (2026). https://doi.org/10.1038/s41598-026-42998-8

Ключевые слова: распознавание эмоций по ЭЭГ, глубокое обучение, мониторинг психического здоровья, интерфейсы «мозг‑компьютер», обнаружение стресса