Многомодальная глубокая нейросеть с механизмом внимания, объединяющая ЭЭГ и ЭКГ для улучшенного обнаружения стресса

Почему важно объективно отслеживать стресс

Стресс влияет на мышление, чувства и здоровье, но большинство из нас замечают его лишь тогда, когда он начинает приносить вред. В этой работе предложен новый подход к отслеживанию стресса в реальном времени с использованием сигналов мозга и сердца вместе, вместо опросов о самочувствии или анализа только одного сигнала. Цель — превратить невидимую нагрузку в понятную и надежную информацию, которая в будущем может поддержать здравоохранение, благополучие на работе и личные инструменты ментального здоровья.

Ограничения простых опросов о самочувствии

Сегодня стресс часто оценивают с помощью опросников, где просят вспомнить, насколько напряженным человек был за последние дни или недели. Такие самоотчеты искажаются памятью, культурой или желанием выглядеть «в порядке» и не позволяют зафиксировать быстрые изменения в организме в момент стресса. Между тем носимые устройства собирают детальные биологические данные, что даёт возможность считывать сигналы стресса прямо с тела. Задача — интерпретировать эти богатые потоки данных так, чтобы они отражали и ум, и тело, а не сводили стресс к единой числовой оценке.

Что показывают мозговые волны и сердечные ритмы

Исследователи сосредоточились на двух типах сигналов. Электроэнцефалограмма (ЭЭГ) отслеживает мозговые волны и может обнаруживать сдвиги, связанные с концентрацией, тревогой и эмоциональной нагрузкой. Электрокардиограмма (ЭКГ) фиксирует сердцебиение и даёт показатели вариабельности сердечного ритма — тонкую меру гибкости реакции сердца на требования. При стрессе мозговые ритмы меняются, а вариабельность сердечного ритма обычно снижается, но не всегда одинаково для каждого человека или ситуации. Объединяя эти два взгляда, работа стремится дать более полную картину того, как стресс проявляется в нервной системе — от мыслей и чувств до сердца.

Умная система, объединяющая сигналы мозга и сердца

Команда разработала framework глубокого обучения, который рассматривает ЭЭГ и ЭКГ как две дополняющие друг друга каналы. Сначала сырые сигналы аккуратно очищают и перерабатывают. Активность мозга фильтруют, разрезают на короткие временные окна и преобразуют в изображения, показывающие, как меняется мощность в разных диапазонах мозговых волн со временем. Сердечные данные проходят собственную обработку, захватывая как исходный ритм сердцебиения, так и классические показатели вариабельности. Три мощные сети распознавания изображений, изначально обученные на больших наборах картинок, адаптируют для извлечения шаблонов из этих преобразованных сигналов. Слой с механизмом внимания затем учится взвешивать вклад мозга и сердца, а также вклад каждой сети, в зависимости от того, что наиболее информативно в конкретный момент.

Тестирование системы на разных видах стресса

Чтобы оценить эффективность подхода, авторы обучали и тестировали его на двух независимых публичных наборах данных. Один, называемый WESAD, содержит записи мозга и сердца добровольцев, проходивших нейтральные состояния, напряжённые социальные задания и развлекательные активности. Другой, CASE, добавляет больше участников и смесь умственных задач и эмоциональных сцен, создавая более жесткое испытание для общей пригодности. В обоих наборах объединённая система ЭЭГ+ЭКГ смогла различать нейтральные, стрессовые и позитивные состояния с примерно 95,7-процентной точностью. Это значительно превосходило версии, опиравшиеся только на данные мозга, только на данные сердца или более простые способы слияния сигналов, и сохраняло работоспособность даже при обучении на одном наборе и тестировании на другом.

От лабораторных результатов к повседневной поддержке при стрессе

Помимо высокой точности, модель создана с прицелом на практическое применение. Она может работать достаточно быстро для почти реального времени и быть упрощена для устройств с ограниченными вычислительными ресурсами. Веса механизма внимания также дают представление о наиболее значимых признаках, подчёркивая связанные со стрессом паттерны, такие как повышенная фронтальная активность мозга и снижение вариабельности сердечного ритма. Проще говоря, исследование показывает, что прослушивание как мозга, так и сердца и позволение интеллектуальной системе решать, как объединить их «голоса», дает более точное представление о стрессе. Хотя для внедрения в клиники, на рабочие места и в потребительские устройства требуется ещё работа, это конкретный шаг к объективным, ненавязчивым инструментам, помогающим людям понять и управлять своей умственной нагрузкой.

Цитирование: Kumar, R., Krishnan, S.B., Yadav, R.K. et al. An attention-based multimodal deep learning framework integrating EEG and ECG for enhanced stress detection. Sci Rep 16, 15188 (2026). https://doi.org/10.1038/s41598-026-44499-0

Ключевые слова: обнаружение стресса, ЭЭГ, ЭКГ, многомодальное глубокое обучение, физиологические сигналы