Подход глубокого обучения для эмоционально интеллектуального ИИ с целью улучшения результатов обучения

Почему чувства важны для обучения

Тот, кто пытался учиться в состоянии стресса или скуки, знает: эмоции могут как помочь, так и помешать освоению материала. Тем не менее большинство образовательного ПО до сих пор относится к учащимся как к отвлечённым мозгам, реагируя лишь на правильные или неправильные ответы. В этой статье рассматривается новый тип эмоционально интеллектуального репетитора на основе ИИ — такого, который может распознавать чувства ученика по лицу, голосу и словам и использовать эту информацию, чтобы поддерживать мотивацию, обеспечивать помощь и держать процесс обучения в нужном русле.

От оценок к реальным чувствам

Традиционные образовательные системы ИИ почти полностью опираются на когнитивные данные: сколько вопросов студент ответил правильно, как быстро он отвечает или какие темы вызывает затруднения. Однако исследования показывают, что любознательность, фрустрация, тревога и удовлетворение сильно влияют на внимание, запоминание и упорство. Игнорирование этих чувств может привести к тому, что система повысит сложность как раз в момент, когда студент готов сдаться, или станет давать бодрые поощрения, хотя учащийся на самом деле сбит с толку. Авторы утверждают, что эффективное обучающее ПО должно учитывать и то, что студент знает, и то, что он чувствует.

Обучение компьютера читать лица, голоса и слова

Чтобы создать репетитора, учитывающего эмоции, исследователи объединили три потока информации. Во‑первых, они использовали большую коллекцию изображений лиц людей с метками эмоций, чтобы обучить визуальную модель распознавать сигналы, такие как улыбки, хмурые брови и поднятые брови. Во‑вторых, опирались на аудиобазу с озвученными диалогами, помеченными чувствами вроде гнева, радости и разочарования, что позволило аудиомодели уловить подсказки в тоне, высоте и скорости речи. В‑третьих, они обучили языковую модель на текстовых расшифровках, чтобы она могла распознавать, звучат ли письменные комментарии или ответы уверенно, расстроенно или нейтрально. Каждый из этих компонентов преобразует сырые визуальные, звуковые или текстовые данные в компактный «эмоциональный отпечаток».

Как система объединяет сигналы в одно настроение

Понимая, что ни один канал не расскажет всю историю целиком, команда применила графовую модель глубокого обучения для слияния трёх отпечатков. Проще говоря, система рассматривает каждую модальность — лицо, голос и текст — как связанный узел в сети. В процессе обучения сеть изучает, как эти элементы обычно соотносятся: например, сопровождает ли напряжённый голос серьёзное выражение лица или может ли бодрый язык компенсировать усталый вид. Пропуская сообщения по этим связям, модель формирует объединённое предположение о эмоциональном состоянии ученика, даже если один источник информации шумный или отсутствует. Это объединённое суждение затем задаёт реакции репетитора — замедлить темп, предложить подсказки или дать поддержку.

Действительно ли ИИ, учитывающий эмоции, помогает ученикам?

Исследователи оценили свою систему на стандартных наборах данных по эмоциям и сравнили её с более традиционными моделями, использующими только изображения, только аудио или простые методы объединения. По таким эмоциям, как радость, печаль, гнев и нейтральность, новая архитектура оказалась более точной и лучше сбалансированной — особенно по позитивным и нейтральным состояниям, важным для стабильного обучения. В пользовательских исследованиях, имитировавших учебные сессии, студенты отмечали, что система, учитывающая эмоции, казалась более поддерживающей и отзывчивой. Это подтвердилось и объективными показателями: учащиеся дольше оставались вовлечёнными, лучше регулировали негативные эмоции и выполняли больше заданий по сравнению с теми, кто использовал ИИ, ориентированный только на когницию.

Перспективы, риски и дальнейшие шаги

Поскольку эмоциональные данные чувствительны, авторы уделяют большое внимание этике. Они подчёркивают необходимость информированного согласия, строгих мер по защите конфиденциальности и предохранителей от предвзятости в разных культурах и возрастных группах. В перспективе они представляют системы для классов, способные улавливать тонкие эмоции, работать в реальном времени и интегрироваться с инструментами вроде интеллектуальных репетиторов или уроков в виртуальной реальности. Для неспециалистов ключевой вывод прост: обращая внимание не только на ответы, но и на выражения, интонацию и формулировки, ИИ‑репетиторы могут вести себя меньше как машины для оценивания и больше как вдумчивые человеческие учителя — помогая учиться эффективнее, понимая, что ученики чувствуют во время обучения.

Цитирование: Wu, X., Lee, T., Lilhore, U.K. et al. A deep learning approach to emotionally intelligent AI for improved learning outcomes. Sci Rep 16, 7431 (2026). https://doi.org/10.1038/s41598-026-37750-1

Ключевые слова: обучение с учётом эмоций, системы обучения на базе ИИ, вовлечённость студентов, мультимодальное распознавание эмоций, образовательные технологии