Beyinde ve büyük dil modellerinde öngörü, sözdizimi ve anlamın temellendirilmesi

Beyniniz Nasıl Bir Sonraki Kelimeyi Tahmin Eder

Bir hikâyeyi dinlerken genellikle takip etmek zahmetsizmiş gibi gelir—ancak yüzeyin altında beyniniz sürekli olarak bir sonraki adımı tahmin eder. Aynı zamanda, LLM (büyük dil modelleri) gibi modern yapay zeka sistemleri de akıcı metin üretmek için gelecek kelimeleri tahmin eder. Bu çalışma, insan beyninin gerçek zamanlı olarak kelimeleri nasıl öngördüğünü ve bu süreçlerin gelişmiş bir yapay zeka modelinin işleyişiyle nasıl karşılaştırılabileceğini ele alıyor.

Laboratuvarda Bir Hikâyeyi Dinlemek

Doğal dil anlayışını incelemek için araştırmacılar yapay kelime listeleri veya kısa, izole cümlelerin ötesine geçti. Bunun yerine, 29 genç yetişkin gönüllü yaklaşık 50 dakika süren Almanca bir bilim kurgu sesli kitabı dinlerken beyin aktiviteleri kaydedildi. Aynı anda iki tamamlayıcı teknik bir arada kullanıldı: saç derisindeki küçük voltaj değişimlerini ölçen elektroensefalografi (EEG) ve beyin aktivitesi tarafından üretilen manyetik alanları tespit eden magnetoensefalografi (MEG). Bu yöntemler bir arada, insanlar sürekli bir hikâyeyi takip ederken her kelimeye karşı beynin tepkilerini milisaniye hassasiyetiyle izleyebiliyor.

Farklı Kelime Türlerini İzlemek

Sesli kitap otomatik olarak bireysel kelimelere ayrıldı ve sözdizimsel türe göre etiketlendi: isimler (örneğin “gezegen”), fiiller (örneğin “koşmak”), sıfatlar (örneğin “karanlık”) ve özel adlar. Hikâyedeki her kelime için bilim insanları, kelime söylenmeden önce ve sonra EEG ve MEG sinyallerinin kısa bir zaman penceresini kesip bu parçaları her kelime sınıfı içinde ortaladı. Bu, anlam ve cümle yapısıyla ilişkilendirilen iyi bilinen bileşenler de dahil olmak üzere farklı kelime türleri için güvenilir elektriksel ve manyetik “imzalar” ortaya çıkardı. Önemli olarak, isimlere ilişkin aktivitenin kelime gerçekte başlamadan önce bile artmaya başladığı bulundu; bu da beynin bağlam içinde özellikle bu tür bir kelimeye hazırlandığını düşündürüyor.

Anlamın Hareketle Buluştuğu Yer

Bu sinyallerin beyinde nereden kaynaklandığını görmek için araştırmacılar, MEG ve EEG desenlerinin olası kaynaklarını kafatası içinde tahmin etmek amacıyla bilgisayar modelleri kullandı. İsimler sadece temporal loblardaki klasik dil bölgelerini aktifleştirmekle kalmadı; aynı zamanda hareket ve bedensel duyumla ilişkili bölgelerin yakınındaki sensörimotor sistem parçalarıyla uyumlu alanları da devreye soktu. Buna karşın fiiller farklı ve daha sınırlı bir desen gösterdi. Bu bulgu, özellikle somut bir isim söz konusu olduğunda, bir kelimeyi anlamanın kısmen algı ve eyleme bağlı ağları yeniden aktifleştirdiğini ve anlamı yalnızca soyut kurallarda değil önceki duyusal deneyimlerde de temellendirdiğini savunan “bedenselleştirilmiş” dil fikrini destekliyor.

Beyinleri ve Büyük Dil Modellerini Karşılaştırmak

Araştırma ekibi daha sonra hesaplamalı bir kıyas noktası sağlamak için Meta’nın Llama 3.2 dil modeline döndü. Önce, sesli kitaptaki önceki bağlamı modele verip gerçek bir sonraki kelimeyi ne kadar olası gördüğünü sorarak “anlamsal öngörü”yü test ettiler. İsimlerin model için en kolay tahmin edilenler olduğu, hikâyeyi kurmadaki merkezi rollerine karşılık geldiği bulundu. Sonra araştırmacılar, Llama içindeki gizli etkinlikler veya gömülere bakarak “sözdizimsel öngörü”yü incelediler. Ek eğitim olmadan bile, modelin gizli katmanları doğal olarak kelimeleri takip edecek sözdizimsel türe göre gruplayıp hangi kelime sınıfının geleceğini basit bir prob ağıyla sıkça söyleyebiliyordu. Katmanlar boyunca, özel adlar ve isimler için içsel yapı daha belirgin hale geldi; bu, beynin aktivite desenlerinde görülen rollerin artan ayrışmasını yansıtıyor.

Kelimelere Karşı İki Tür Hazırlık

Bir arada ele alındığında, bulgular beynin yaklaşan dile en az iki düzeyde hazırlandığını öne sürüyor. Temporal bölgelerde, kelime başlangıcından önceki aktivite belirli kelime türlerinin cümlede nerede görünme eğiliminde oldukları hakkında bir tür sözdizimsel hazırlığı yansıtıyor gibi görünüyor. Daha frontal ve sensörimotor bölgelerde ise, özellikle isimler ve adlar için, anlam ve deneyime bağlı daha zengin “anlamsal” beklentileri taşıyan hazırlık desenleri görülüyor. Sadece bir sonraki kelimeyi tahmin etmek üzere eğitilmiş büyük dil modelleri, bu ayrımları kısmen yansıtan katmanlı içsel yapılar geliştiriyor, ancak fiziksel dünya ile doğrudan bir temellendirmeleri yok. Yüksek hızda beyin kayıtlarını son teknoloji yapay zeka analizleriyle birleştirerek bu çalışma, insanların günlük dinleme sırasında kelimeleri nasıl öngördüğünü ve bugünkü makinelerin insan dil anlayışının bu temel özelliğini ne kadar yakalayabildiğini açıklamaya yardımcı oluyor.

Atıf: Kölbl, N., Rampp, S., Kaltenhäuser, M. et al. Prediction, syntax and semantic grounding in the brain and large language models. Sci Rep 16, 8728 (2026). https://doi.org/10.1038/s41598-026-41532-0

Anahtar kelimeler: dil öngörüsü, beyin ve yapay zeka, büyük dil modelleri, anlamın temellendirilmesi, EEG MEG dil