Предсказание, синтаксис и семантическое заякоривание в мозге и больших языковых моделях

Как ваш мозг угадывает следующее слово

Когда вы слушаете рассказ, зачастую кажется, что следить за ним легко — но под поверхностью ваш мозг постоянно угадывает, что последует дальше. В то же время современные системы ИИ, такие как большие языковые модели (LLM), тоже предсказывают предстоящие слова, чтобы генерировать связный текст. В этом исследовании эти два мира сопоставляются: авторы задаются вопросом, как человеческий мозг предвосхищает слова в реальном времени и как эти процессы сравнимы с работой продвинутой модели ИИ.

Прослушивание рассказа в лаборатории

Чтобы изучить понимание естественного языка, исследователи ушли от искусственных списков слов и коротких изолированных предложений. Вместо этого 29 молодых взрослых добровольцев слушали около 50 минут немецкого научно-фантастического аудиокниги, пока регистрировалась их мозговая активность. Параллельно применялись две взаимодополняющие методики: электроэнцефалография (ЭЭГ), измеряющая крошечные изменения напряжения на поверхности головы, и магнитноэнцефалография (МЭГ), фиксирующая магнитные поля, создаваемые активностью мозга. В совокупности эти методы позволяют с миллисекундной точностью отслеживать реакции мозга на каждое слово, пока человек следует за непрерывным сюжетом.

Отслеживание разных типов слов

Аудиокнига была автоматически разбита на отдельные слова и помечена по грамматическому типу: существительные (например, «планета»), глаголы (например, «бежать»), прилагательные (например, «тёмный») и собственные имена. Для каждого слова в рассказе учёные вырезали короткое временное окно сигналов ЭЭГ и МЭГ до и после произнесения слова и затем усредняли эти фрагменты в пределах каждого класса слов. Это выявило надёжные электрические и магнитные «отпечатки» для разных типов слов, включая хорошо известные компоненты, связанные со значением и структурой предложения. Важно, что активность, связанная с существительными, начинала накапливаться ещё до фактического начала слова, что указывает на то, что мозг особенно «готов» к этому типу слова в данном контексте.

Где значение встречается с движением

Чтобы выяснить, в каких областях мозга возникали эти сигналы, исследователи использовали компьютерные модели для оценки вероятных источников паттернов МЭГ и ЭЭГ внутри головы. Существительные активировали не только классические языковые области в височных долях; они также вовлекали участки, совместимые с частями сенсомоторной системы, рядом с зонами, связанными с движением и телесной ощущаемостью. Глаголы, напротив, показали другой и более ограниченный паттерн. Это поддерживает идею «воплощённого» языка, согласно которой понимание слова — особенно конкретного существительного — частично реактивирует сети, связанные с восприятием и действием, закрепляя значение в прошлых сенсорных переживаниях, а не только в абстрактных правилах.

Сравнение мозга и больших языковых моделей

Затем команда обратилась к языковой модели Llama 3.2 от Meta в качестве вычислительной точки отсчёта. Сначала они проверили «семантическое предсказание», подавая модели предшествующий контекст из аудиокниги и спрашивая, насколько вероятной модель считала фактическое следующее слово. Оказалось, что существительные модели предсказывать было легче всего, что соответствует их центральной роли в построении сюжета. Далее исследователи изучили «синтаксическое предсказание», анализируя внутренние активации, или встраивания, внутри Llama. Даже без дополнительного обучения скрытые слои модели естественно группировали слова в соответствии с грамматическим типом следующего слова, и простая пробная сеть часто могла определить, какой класс слова последует. По слоям внутренняя структура для собственных имён и существительных становилась более отчётливой, перекликаясь с возрастающим разделением ролей, наблюдаемым в паттернах мозговой активности.

Два типа готовности к словам

В совокупности результаты указывают на то, что мозг подготавливается к предстоящему языку по крайней мере на двух уровнях. В темпоральных областях активность до начала слова, по-видимому, отражает некую грамматическую или «синтаксическую» готовность — знание о том, где в предложении склонны появляться те или иные типы слов. В более лобных и сенсомоторных областях паттерны готовности, по-видимому, несут более богатые «семантические» ожидания, связанные со значением и опытом, особенно для существительных и имён. Большие языковые модели, обученные лишь предсказывать следующее слово, развивают собственные многоуровневые внутренние структуры, которые частично отражают эти различия, но им не хватает непосредственного заякоривания в физическом мире. Сочетая высокоскоростные записи активности мозга с анализом современных систем ИИ, эта работа помогает прояснить, как люди предвосхищают слова в повседневном слушании и насколько близки современные машины к приближению этой ключевой особенности человеческого понимания языка.

Цитирование: Kölbl, N., Rampp, S., Kaltenhäuser, M. et al. Prediction, syntax and semantic grounding in the brain and large language models. Sci Rep 16, 8728 (2026). https://doi.org/10.1038/s41598-026-41532-0

Ключевые слова: предсказание языка, мозг и ИИ, большие языковые модели, семантическое заякоривание, ЭЭГ МЭГ язык