Görsel çok modlu muhakemeyle konuşarak tanı koyan AI’yı geliştirmek

Daha akıllı çevrimiçi sağlık sohbetleri neden önemli

Artık birçok kişi kendini iyi hissetmediğinde döküntülerin fotoğraflarını, test sonuçlarının görüntülerini veya bir saatin kaydettiği kalp izlerini göndererek çevrimiçi sohbetlere veya uygulamalara başvuruyor. Yine de çoğu sağlık sohbet botu hâlâ yalnızca metinle çalışıyor ve bu zengin fotoğraf ile belge akışını görmezden geliyor. Bu makale, görüntüleri ve kayıtları dikkatli bir hekimin tele-sağlık ziyaretinde olduğu gibi sohbete ustaca dâhil edebilen, gören ve konuşan yeni bir tür tıbbi AI asistanını inceliyor.

Yeni bir tür tıbbi yardımcı

Araştırmacılar, Articulate Medical Intelligence Explorer ya da AMIE adlı bir sistemin güncellenmiş bir versiyonunu oluşturdu. Yalnızca okuyup yazmak yerine, bu yeni çok modlu AMIE sohbet sırasında cilt fotoğrafları, elektrokardiyogram görüntüleri ve klinik belgeler alabiliyor. Ardından bunları hastanın yazılı öyküsüyle birlikte değerlendiriyor. Motorunda güçlü bir genel dil ve görsel model çalışıyor, ancak tipik bir tıbbi ziyaretin aşamalarında onu yönlendiren bir çerçeve içinde sarılmış: soru sorma, olası nedenleri oluşturma ve sonraki adımları önerme.

Uyarlanabilir, rehberli konuşmalar

Gerçek doktorlar rastgele sorular sormaz. Dinler, hastanın zihinsel resmini kurar ve yeni ipuçları ortaya çıktıkça sorularını ayarlar. Bunu taklit etmek için ekip, durum farkında diyalog çerçevesi adını verdikleri bir yapı tasarladı. Sohbet ilerledikçe AMIE, hastanın öyküsünün, semptomlarının ve yüklenen görüntü veya belgelerin içsel bir özetini tutar. Ayrıca olası tanıların ve bilgi boşluklarının gizli bir listesini saklar. Bu iç durum AMIE’nin ne zaman öykü hakkında daha fazla soru soracağına, ne zaman fotoğraf veya EKG talep edeceğine, ne zaman yeterli bilgiye sahip olarak olası nedenleri sıralayacağına ve görüntülerde gördüklerini nasıl açıklayacağına karar vermesinde yardımcı olur.

AI ve doktorları teste sokmak

Çok modlu AMIE’nin performansını görmek için ekip, tıp fakültelerinde kullanılan uygulamalı sınavlara benzeyen büyük bir simüle edilmiş tele-sağlık muayenesi gerçekleştirdi. Eğitimli oyuncular, cilt görüntüleri, kalp izleri veya laboratuvar raporları gibi hem sohbet hem de görsel materyalin yorumlanmasını gerektiren 105 farklı senaryoda hasta rolü oynadı. Her oyuncu, hangisinin hangisi olduğunu bilmeden bir uzman birinci basamak hekimle ve AI sistemiyle olmak üzere ayrı ayrı iki metin sohbeti gerçekleştirdi. Sonrasında hem insan klinisyenler hem de AI yapılandırılmış tanı ve plan özetlerini doldurdu. Bağımsız uzman doktorlar ve hasta oyuncular daha sonra her konsültasyonun kalitesini puanladılar.

Yeni sistem nasıl performans gösterdi

Bu senaryolar boyunca çok modlu AMIE’nin tanıları, yalnızca en olası seçenek ya da daha geniş bir olasılık listesine bakılsın fark etmeksizin, birinci basamak hekimlerininkinden daha sık doğruydu. Uzmanlar ayrıca AMIE’nin muhakemesini, görüntü kullanımını ve yüklenen görüntülerle ilgili hasta sorularını ele alışını çoğu ölçütte doktorlardan daha iyi ya da en az doktorlar kadar iyi buldu. Dikkate değer olarak, görüntüler düşük kalitedeyse hem AI hem de doktorların performansı düştü, ancak AI’nin doğruluğu daha az geriledi. Hasta oyuncular nezaket, açıklık, empati ve tekrar gelme istekliliği açısından AI’yi en az doktorlar kadar yüksek değerlendirdiler ve yüklenen görüntülerde görüleni ele alma ve açıklama konusunda AI’nin daha iyi iş çıkardığını hissettiler.

İç işleyişi sınamak

Yazarlar ayrıca sistemin neden böyle çalıştığını araştırdı. Bilgisayar tabanlı simülasyonlarda, yapılandırılmış durum farkında muhakemeden yoksun daha basit bir sürümle tam AMIE versiyonunu karşılaştırdılar. Tam sistem yalnızca daha doğru tanılar koymakla kalmadı, aynı zamanda bilgiyi daha etkili topladı ve daha uygun bakım planları üretti. Geri dönüşümlü konuşmayı kaldırıp modeli yalnızca görüntüler üzerinden çalıştırmalarını istediklerinde performans belirgin şekilde kötüleşti; bu da geçmiş öykü almanın ve diyalogun görme yeteneği olan bir AI için bile hâlâ önemli olduğunu gösterdi. Ek testler, temel modeli yalnızca dar tıbbi görevlerde ince ayarlamanın bazı becerileri artırabileceğini ama diğerlerini zayıflatabileceğini öne sürdü; bu nedenle yazarlar bunun yerine üstüne katmanlanan muhakeme sürecinin dikkatli tasarımına odaklandılar.

Geleceğin bakımına dair ne anlama gelebilir

Çalışma, konuşmayı görme ile birleştirebilen AI sistemlerinin bir gün karmaşık uzaktan konsültasyonları daha güvenli ve verimli biçimde hekimlere yardım edebileceğini öne sürüyor. Hasta tarafından sağlanan fotoğrafları, kalp izlerini ve belgeleri düşünceli bir konuşma içinde yorumlayarak çok modlu AMIE, bu kontrollü ortamda birinci basamak hekimlerin performansına sık sık eşlik etti veya onları geride bıraktı ve empati ile iletişim için güçlü puanlar korudu. Yazarlar bunun hâlâ keşif aşamasında bir çalışma olduğunu, gerçek dünya klinik denemesi olmadığını ve günlük uygulamada güvenlik, adillik ve etkilerin test edilmesi gerektiğini vurguluyor. Yine de bu, AI araçlarının tele-sağlıkta yetkin ortaklar olarak hizmet edebileceği; ekranlarımızdan akan görüntü ve bilgilerin daha iyi kullanılmasına yardımcı olabileceği bir geleceğe işaret ediyor.

Atıf: Saab, K., Park, C., Strother, T. et al. Advancing conversational diagnostic AI with multimodal reasoning. Nat Med 32, 1726–1736 (2026). https://doi.org/10.1038/s41591-026-04371-0

Anahtar kelimeler: çok modlu tıbbi AI, tele-sağlık, tanısal konuşma, klinik karar desteği, tıbbi sohbet botları