Predykcja, składnia i ugruntowanie semantyczne w mózgu i dużych modelach językowych

Jak twój mózg zgaduje kolejne słowo

Kiedy słuchasz opowieści, często wydaje się to bezwysiłkowe — ale pod powierzchnią twój mózg nieustannie przewiduje, co pojawi się dalej. Równocześnie nowoczesne systemy AI, takie jak duże modele językowe (LLM), również przewidują nadchodzące słowa, aby generować płynny tekst. To badanie łączy te dwa światy, pytając, jak ludzki mózg przewiduje słowa w czasie rzeczywistym i jak te procesy wypadają w porównaniu ze sposobem działania zaawansowanego modelu AI.

Słuchanie opowieści w laboratorium

Aby badać rozumienie języka w warunkach naturalnych, badacze wyszli poza sztuczne listy słów czy krótkie, odizolowane zdania. Zamiast tego 29 młodych dorosłych ochotników słuchało około 50 minut niemieckiej powieści science-fiction, podczas gdy rejestrowano ich aktywność mózgową. Równolegle zastosowano dwie komplementarne techniki: elektroencefalografię (EEG), mierzącą niewielkie zmiany napięcia na skórze głowy, oraz magnetoencefalografię (MEG), wykrywającą pola magnetyczne generowane przez aktywność mózgu. Razem te metody pozwalają śledzić reakcje mózgu na każde słowo z precyzją rzędu milisekund, gdy uczestnicy śledzą ciągłą fabułę.

Śledzenie różnych typów słów

Audiobook został automatycznie podzielony na pojedyncze słowa i oznaczony pod względem kategorii gramatycznej: rzeczowniki (np. „planet”), czasowniki (np. „biegać”), przymiotniki (np. „ciemny”) oraz nazwy własne. Dla każdego słowa w opowieści naukowcy wycięli krótki przedział czasowy sygnałów EEG i MEG przed i po wypowiedzeniu słowa, a następnie uśrednili te fragmenty w ramach każdej klasy słów. To ujawniło stabilne elektryczne i magnetyczne „sygnatury” dla różnych typów słów, w tym dobrze znane komponenty związane ze znaczeniem i strukturą zdań. Co istotne, zespół zauważył, że aktywność związana z rzeczownikami zaczynała narastać jeszcze zanim słowo faktycznie się zaczęło, co sugeruje, że mózg był szczególnie przygotowany na ten rodzaj słowa w danym kontekście.

Gdzie znaczenie spotyka ruch

Aby ustalić, gdzie w mózgu pojawiały się te sygnały, badacze użyli modeli komputerowych do oszacowania prawdopodobnych źródeł wzorców MEG i EEG wewnątrz głowy. Rzeczowniki nie aktywowały jedynie klasycznych obszarów językowych w płatach skroniowych; angażowały także rejony odpowiadające częściom systemu sensoromotorycznego, w pobliżu obszarów związanych z ruchem i odczuciami ciała. Czasowniki, w przeciwieństwie do tego, okazały się wykazywać inny i bardziej ograniczony wzorzec. Wspiera to ideę „ucieleśnionego” języka, w której zrozumienie słowa — szczególnie konkretnego rzeczownika — częściowo reaktywuje sieci powiązane z percepcją i działaniem, ugruntowując znaczenie w przeszłych doświadczeniach zmysłowych, a nie wyłącznie w abstrakcyjnych regułach.

Porównanie mózgów i dużych modeli językowych

Zespół zwrócił się następnie do modelu językowego Llama 3.2 firmy Meta jako punktu odniesienia obliczeniowego. Najpierw przetestowali „predykcję semantyczną”, podając modelowi poprzedzający kontekst z audiobooka i pytając, jak prawdopodobne model ocenia rzeczywiste następne słowo. Rzeczowniki okazały się dla modelu najłatwiejsze do przewidzenia, co odpowiada ich kluczowej roli w rozwijaniu opowieści. Następnie badacze zbadali „predykcję syntaktyczną” analizując wewnętrzne aktywacje, czyli osadzenia (embeddings) w Llamie. Nawet bez dodatkowego treningu ukryte warstwy modelu naturalnie grupowały słowa zgodnie z kategorią gramatyczną następnego słowa, a prosty sieciowy detektor często potrafił wskazać, jaka klasa słów pojawi się dalej. W kolejnych warstwach wewnętrzna struktura dla nazw własnych i rzeczowników stawała się bardziej wyrazista, co przypomina rosnące rozróżnienie ról widoczne w wzorcach aktywności mózgu.

Dwa rodzaje gotowości na słowa

W całości wyniki sugerują, że mózg przygotowuje się na nadchodzący język co najmniej na dwóch poziomach. W obszarach skroniowych aktywność przed początkiem słowa wydaje się odzwierciedlać rodzaj gramatycznej lub „składniowej” gotowości — wiedzy o tym, gdzie pewne typy słów zwykle występują w zdaniu. W bardziej czołowych i sensoromotorycznych rejonach wzorce gotowości wydają się nieść bogatsze oczekiwania „semantyczne” powiązane ze znaczeniem i doświadczeniem, szczególnie w przypadku rzeczowników i nazw. Duże modele językowe, trenowane wyłącznie do przewidywania następnego słowa, rozwijają własne warstwowe struktury wewnętrzne, które częściowo odzwierciedlają te rozróżnienia, lecz brakuje im bezpośredniego ugruntowania w świecie fizycznym. Łącząc szybkie nagrania aktywności mózgu z analizami najnowszych systemów AI, praca ta pomaga wyjaśnić, jak ludzie przewidują słowa podczas codziennego słuchania i jak daleko współczesne maszyny doszły w przybliżaniu tej podstawowej cechy ludzkiego rozumienia języka.

Cytowanie: Kölbl, N., Rampp, S., Kaltenhäuser, M. et al. Prediction, syntax and semantic grounding in the brain and large language models. Sci Rep 16, 8728 (2026). https://doi.org/10.1038/s41598-026-41532-0

Słowa kluczowe: predykcja językowa, mózg i AI, duże modele językowe, ugruntowanie semantyczne, EEG MEG język