İnsan EEG temsili hizalanması yoluyla daha insan beyni-benzeri görme elde etmek

Bu araştırma neden önemli

Modern yapay zeka fotoğraflardaki nesneleri neredeyse insan doğruluğuyla tanıyabiliyor, ancak yine de dünyayı beynimizin gördüğü şekilde “görmüyor”. Bu çalışma, gönüllülerden kaydedilen beyin sinyallerini kullanarak bilgisayarla görme sistemlerini ayarlamanın yeni bir yolunu tanıtıyor ve YZ’yi insan-benzeri görsel anlayışa bir adım daha yaklaştırıyor. Bir görsel modeli doğrudan insan beyin aktivitesiyle şekillendirerek, iş güçlü olmasının ötesinde zihnimize daha yakın bir düzenlemeye sahip olabilecek geleceğin yapay zekâsına işaret ediyor.

Makinelere beyin dalgalarıyla öğretmek

Yazarlar basit ama cesur bir fikre odaklanıyor: görsel modelleri yalnızca görüntüler ve etiketler üzerinde eğitmek yerine, onlara bu görüntülere insan beyninin nasıl yanıt verdiğini de göstermemek neden olmasın? Bunun için insanlar resimlere bakarken saç derisindeki küçük voltaj değişimlerini ölçen elektroensefalografi (EEG) kullanılıyor. EEG invazif olmayan, nispeten ucuz ve çok sayıda deneme boyunca hızla toplanabilir. On gönüllüden oluşan ekip, her kişinin on binlerce doğal nesne görüntüsüne bakarken EEG sinyallerinin her görüntü ortaya çıktıktan sonraki ilk 0,2 saniye içinde kaydedildiği büyük açık bir veri kümesini kullandı.

Beyin-hizalı bir görsel ağ inşa etmek

Mevcut bir derin görsel model olan CORnet-S’den başlayarak araştırmacılar ekstra bir “görüntüden-beyne” modülü eklediler. Bir görüntü ağın içine girdiğinde model artık aynı anda iki görev yapıyor: hangi nesnenin bulunduğunu tahmin etmek ve aynı görüntü için gerçek bir insanın gösterdiği EEG desenini öngörmeye çalışmak. Bunu yapmak için ağın birkaç iç katmanından gelen sinyaller EEG modülüne yönlendiriliyor ve bu modül insan verisine uyan kısa bir zaman serisi üretmeyi öğreniyor. Eğitim sırasında model hem doğru nesne tanıma hem de EEG-benzeri aktivite üretme için ödüllendiriliyor; bu da iç özelliklerini insan görsel sistemiyle daha çok benzeyecek şekilde itiyor.

Yöntemler genelinde beyinsel aktiviteye daha yakın

Her bir denek için on tane böyle “ReAlnet” (ReAlnet’ler) eğittikten sonra ekip, bu modellerin gerçekten daha beyin-benzeri olup olmadığını sordu. Model içindeki görüntüler arasındaki ilişki örüntüsünü insan EEG’sinde görülen örüntüyle, temsil benzerliği analizi (representational similarity analysis) adlı bir teknik kullanarak karşılaştırdılar. 50 ila 200 milisaniye arasındaki tüm ana katmanlar ve zaman noktalarında ReAlnet’ler, orijinal CORnet-S ve diğer standart modellere kıyasla tutarlı şekilde insan EEG’sine daha benziyordu; zirve kazançları yaklaşık %6’ya kadar ve göreli iyileşmeler %40’a kadar çıkıyordu. Önemli olarak, bu artış eğitim sırasında asla kullanılmamış yeni nesne kategorileri için de korundu; bu da hizalanmanın eğitim setinin ötesine genelleştiğini gösterdi.

Beyin taramaları ve davranışa uzanmak

Ana soru, modellerin yalnızca EEG’nin tuhaflıklarını mı öğrendiği yoksa insan görme hakkında daha genel bir şeyi mi yakaladığıydı. Bunu test etmek için yazarlar, farklı gönüllülerin manyetik rezonans görüntüleyici (MRI) içinde doğal görüntüler, soyut şekiller ve harfler görüntülediği ayrı bir beyin görüntüleme veri kümesine yöneldi. ReAlnet’ler bu veriyi hiç görmemiş olmalarına rağmen, içsel örüntüleri orijinal modele göre birkaç görsel beyin bölgesinden gelen sinyallerle daha yakından eşleşiyordu. Dahası, EEG ve MRI için görülen iyileşme derecesi modeller arasında güçlü bir şekilde korelasyon gösteriyordu; bu, paylaşılan bir çekirdek temsiliyetin güçlendiğini düşündürüyor. Araştırmacılar ayrıca zorlayıcı nesne tanıma görevlerinde modeller ile insanların benzer hatalar yapma sıklığını da değerlendirdi. Burada da ReAlnet’ler, temel modellerden daha iyi insan davranışıyla hizalandı.

Kişiselleştirilmiş ve genel beyin-benzeri görme

Her ReAlnet bir kişinin EEG’sine göre ayarlandığı için yazarlar bireysel farklılıkları inceleyebildi. Kişiselleştirilmiş modellerin daha derin katmanlarda birbirinden daha fazla ayrıştığını buldular; bu, kişiler arasındaki farklılıkların erken görsel alanlardan daha yüksek görsel beyin alanlarına doğru büyümesini yansıtıyor. Yine de her kişinin modeli, hizalanmamış temel modele göre diğer insanların EEG’sine daha iyi genelleşti; bu da hem paylaşılan hem de deneye özgü yapıyı yakaladığını gösteriyor. Ekip ayrıca çerçevelerini farklı bir mimariye, ResNet18’e genişletti ve yine EEG, MRI ve (daha sınırlı ölçüde) davranışla iyileşmiş hizalanma gördü; bu da yaklaşımın tek bir model tasarımına bağlı kalmayıp esnek olduğunu işaret ediyor.

Günlük anlayış için bunun anlamı

Uzman olmayan birine çıkarılacak mesaj şudur: artık insan beyninden invazif olmayan kayıtlarla doğrudan görme algoritmalarını ayarlamak mümkün. Ortaya çıkan ReAlnet’ler yalnızca nesneleri tanımıyor; elektriksel beyin sinyalleri, MRI taramaları ve hatta tanıma görevlerindeki hata örüntüleri genelinde bilgiyi bizim görsel yollarımızı daha yakından yansıtan biçimlerde düzenliyorlar. İyileşmeler ılımlı olsa da ve birçok teknik zorluk devam etse de bu çalışma, iç işleyişleri insan beyni tarafından şekillendirilen YZ sistemlerine doğru somut bir adım sunuyor; bu da gelecekte daha sağlam, yorumlanabilir ve kişiye özgü teknolojilere yol açabilir.

Atıf: Lu, Z., Wang, Y. & Golomb, J.D. Achieving more human brain-like vision via human EEG representational alignment. Commun Biol 9, 463 (2026). https://doi.org/10.1038/s42003-026-09685-w

Anahtar kelimeler: beyin-hizalı YZ, EEG görme, nesne tanıma, hesaplamalı sinirbilim, insan-benzeri algı