Büyük dil modellerinin epilepside yapılandırılmamış klinik anlatılardan tanısal akıl yürütme için değerlendirilmesi

Hastalar ve hekimler için bunun önemi

Bir kişi nöbet geçirdiğinde, nöbetin görünümü ve hissettirdikleri beyinde neler olduğuna dair hayati ipuçları sağlayabilir. Hekimler bu tanımları, nöbetlerin beyinde nereden başladığını ve cerrahi dahil hangi tedavilerin yardımcı olabileceğini belirlemek için kullanır. Bu çalışma, sohbet botlarının arkasındaki yapay zeka ile aynı türde olan büyük dil modellerinin, gerçek dünya nöbet tanımlamalarını güvenilir biçimde yorumlayıp bu tür tanısal akıl yürütmeyi destekleyip destekleyemeyeceğini sorguluyor.

Nöbet öykülerini beyin ipuçlarına dönüştürmek

Araştırmacılar, anlık anormal beyin aktivitesi artışlarının nöbetlere yol açtığı bir durum olan epilepsiye odaklandı. Günlük bakımda hekimler, hastaların ve tanıkların anlattıklarını dikkatle dinleyip çiğneme hareketleri, tuhaf hisler veya şiddetli ekstremite çırpınmaları gibi özellikleri not eder. Bu ayrıntılar genellikle temporal veya frontal lob gibi belirli beyin bölgelerine işaret eder. Ekip, cerrahi sonrası hastaların nöbetsiz kaldığına dair kanıt sağlayan cerrahi sonuçlara dayanarak yedi geniş beyin bölgesine daha önce ilişkilendirilmiş 1200’den fazla nöbet açıklaması içeren büyük bir halka açık veri kümesi temel aldı.

Birçok yapay zekayı teste sokmak

Yaygın olarak kullanılan genel sistemler ve tıbbi metinler üzerinde ince ayar yapılmış iki model dahil olmak üzere sekiz farklı dil modeli değerlendirildi. Her modele bir nöbet açıklaması verildi ve nöbetin yedi beyin bölgesinin her birinde başlamış olma olasılığını çıkarmaları istendi. Araştırmacılar yalnızca ilk tercihlerin ne sıklıkla doğru olduğuna değil, modellerin ne kadar kendinden emin göründüğüne, bu güvenin gerçeğe ne kadar uyduğuna ve yazılı açıklamalarının ne kadar makul olduğuna da baktı. Sonuçlar, her zaman en yaygın beyin bölgesini seçen basit bir temel yöntem ve bir vaka alt kümesini değerlendiren iki insan epilepsi uzmanı ile karşılaştırıldı.

Yönlendirme sözcüklerinin yapay zeka davranışını şekillendirmesi

Görevin modeller için nasıl ifade edildiği büyük etki gösterdi. Sadece temel talimatlar verildiğinde, çoğu sistem şanstan yalnızca biraz daha iyi performans gösterdi. Modellere birkaç örnek vaka gösterildiğinde, adım adım düşünmeleri istendiğinde veya taklit etmeleri için uzman yazımı klinik akıl yürütme örnekleri verildiğinde performans gelişti. En güçlü kazanımlar, ayrıntılı akıl yürütmeyi teşvik eden yönlendirmelerden ve daha kararlı bir karara ulaşmak için birden çok bağımsız cevabın birleştirilmesinden geldi. Bu zengin talimatlar altında en iyi sistemler, bu özel görevde insan klinisyenlerin doğruluğuna yaklaştı; aynı zamanda daha tutarlı ve güvenlerinde daha iyi kalibre hale geldiler.

Güçlü yönler, kör noktalar ve insan kontrolü

Daha yakından bakıldığında önemli çekinceler ortaya çıktı. Klinik uzmanlar, en iyi iki modelin ürettiği akıl yürütmeyi inceledi. Bunlardan biri, GPT-4, semptomları daha sık olarak sağlam biçimde anlama, epilepsi bilgisini doğru kullanma ve tutarlı mantık gösterme eğilimindeydi. Ayrıca gerçek bilimsel makaleleri doğru biçimde atıfta bulunma eğilimindeydi. Diğer güçlü bir model olan Mixtral-8×7B ise bazen yanlış nedenlerle doğru sonuca ulaşıyor, semptom ayrıntılarını yanlış okuyor veya destekleyici olguları ve referansları uyduruyordu. Çalışma ayrıca performansın nöbet açıklamasının uzunluğuna, modelin taklit etmesi istenen klinik role ve kullanılan dile bağlı olduğunu gösterdi. Çok kısa veya çok ayrıntılı açıklamalar en iyi sonucu verdi, uzman taklidi yapmak sonuçları iyileştirdi ve İngilizce dışı yönlendirmeler doğruluğu azaltabiliyordu.

Gelecekteki bakım için anlamı

Yazarlar, büyük dil modellerinin kontrollü bir ortamda yapılandırılmamış nöbet öykülerini nöbetlerin beyinde nerede başladığını tahmin etmeye yarayan kullanışlı tahminlere dönüştürebileceği sonucuna varıyor. Özenle tasarlanmış yönlendirmelerle performansları, nöbet bulgularını geniş beyin bölgelerine eşleme gibi dar bir görevde deneyimli klinisyenlere yaklaşabilir. Aynı zamanda modellerin, hatalı akıl yürütmeye veya uydurulmuş kaynaklara dayansalar bile inandırıcı görünme eğiliminde olabileceği vurgulanıyor. Bu vaat ve risk karışımı, böyle sistemlerin bir gün vakaların önceliklendirilmesine veya erken tanısal düşünceyi desteklemeye yardımcı olabileceğini, ancak titiz biçimde doğrulanmaları, sıkı gözetim altında tutulmaları ve insan uzmanlığının yerine değil yanında kullanılmaları gerektiğini gösteriyor.

Atıf: Dani, M., Prakash, M.J., Rosa, F. et al. Evaluating large language models for diagnostic reasoning from unstructured clinical narratives in epilepsy. Commun Med 6, 303 (2026). https://doi.org/10.1038/s43856-026-01653-z

Anahtar kelimeler: epilepsi, nöbet semiolojisi, büyük dil modelleri, tanısal akıl yürütme, klinik yapay zeka değerlendirmesi