Nadir göz hastalıklarının tanısında temel modelleri çok modlu metinden-görüntüye üretken bir çerçeveyle güçlendirme

Neden akıllı göz görüntülemesi önemli

Birçok körlüğe yol açan göz hastalığı nadirdir ve bu da doktorlar ile bilgisayarların bunları erken dönemde tanımasını zorlaştırır. Bu çalışma, basit metin betimlerinden gerçekçi göz görüntüleri oluşturmanın yeni bir yolunu tanıtıyor; bu sayede yapay zeka sistemleri kliniklerde nadiren görülen durumlardan öğrenebiliyor. Yaklaşımın hedefi, dünya genelinde hem yaygın hem de nadir retina hastalıkları için otomatik göz taramalarını daha doğru ve adil hale getirmektir.

Kelimeleri gerçekçi göz görüntülerine dönüştürmek

Araştırmacılar, kısa yazılı istemlerden gözün arkası ve ilgili taramalarının ayrıntılı görüntülerini üretebilen EyeDiff adında bir sistem geliştirdiler. Bu istemler, renkli fotoğraf veya kesitsel tarama gibi görüntüleme yöntemini, ayrıca hastalık türü ve şiddetini tanımlar. EyeDiff, 14 tür göz görüntülemesi ve seksenin üzerinde hastalık kategorisini kapsayan kırk binden fazla görüntü üzerinde eğitildi. Model, her hastalığın farklı cihazlar ve görüntüleme açılarında tipik görünümünü öğrenerek, istenen görüntüleme tarzına uygun ve önemli hastalık bulgularını koruyan sentetik görüntüler üretebiliyor.

Sentetik gözlerin gerçek gibi görünüp davranıp davranmadığını kontrol etmek

EyeDiff’in metin yönergelerine uyup uymadığını test etmek için ekip, bir görüntünün betimlemesiyle ne kadar iyi eşleştiğini puanlayan otomatik bir araç kullandı. Yaygın retina hastalıkları, diyabetik değişiklikler, glokom ve birkaç nadir bozukluğu içeren görevlerde puanlar yüksekti; bu da istemlerle üretilen resimler arasında iyi bir uyum olduğunu gösterdi. Ardından iki oftalmolog, her görüntünün gerçek mi yoksa sentetik mi olduğunu belirlemeleri gereken bir Turing tarzı teste katıldı. Gerçek görüntüleri çoğunlukla doğru etiketlediler, ancak üretilen görüntülerin yaklaşık üçte ikisini gerçek zannederek yanıldılar; bu da sentetik görüntülerin uzman gözlerde inandırıcı olduğunu gösteriyor. Elli üretilmiş görüntünün metin istemleriyle ne kadar iyi eşleştiğini puanlamaları istendiğinde, her iki değerlendirici de düşük hata puanları verdi ve çok yüksek bir uyum gösterdi.

Bilgisayarların nadir sorunları daha iyi görmesine yardımcı olmak

EyeDiff’in temel hedefi sadece güzel görüntüler oluşturmak değil; nadir bulgularla zorlanan mevcut tanı modellerini güçlendirmektir. Birçok gerçek dünya veri setinde bazı hastalık türleri sadece birkaç vaka ile temsil edilir; bu da modeli yaygın durumlara kaydırabilir. Yazarlar, eksik temsil edilen gruplara EyeDiff tarafından üretilen görüntüleri on bir ayrı veri setine eklediler; bu veri setleri farklı ülkelerden ve görüntüleme cihazlarından alındı. Ardından, tek tarama türüne uzmanlaşmış ve görüntü ile metni birleştiren sistemler de dahil olmak üzere önde gelen birkaç temel göz tanı modelini yeniden eğittiler. Diyabetik retinopati derecelendirmesi, glokom evrelemesi, çoklu hastalık sınıflandırması ve nadir hastalık tanıma gibi görevlerde, sentetik görüntülerin eklenmesi, yalnızca gerçek veri kullanmaya veya basit yeniden örnekleme yöntemlerine kıyasla sürekli olarak önemli performans ölçütlerini iyileştirdi.

Klinik kullanım için faydalar ve koruyucu önlemler

EyeDiff, Stargardt hastalığı, prematüre retinopatisi ve retinoblastom gibi belirli nadir hastalıklar için özellikle değer gösterdi; eğitim örneği sayısını artırmak tespit doğruluğunda kayda değer kazanımlar sağladı. Yazarlar, tüm üretilen görüntülerin seçkisiz olarak kullanıldığını, yine de fayda sağladığını belirtiyor; bu da yöntemin pratikte sağlam olduğunu düşündürüyor. Aynı zamanda dikkatli olunması gerektiğini vurguluyorlar. Sentetik görüntüler ince artefaktlar içerebilir veya eğitim verilerindeki önyargıları yansıtabilir, bu nedenle bunlar açıkça etiketlenmeli, dikkatle izlenmeli ve kötüye kullanıma karşı korunmalıdır. Kaynak verinin çeşitliliğini artırmak ve artefaktları tespit veya nicelleştirebilecek araçlar geliştirmek önemli sonraki adımlardır.

Gelecekteki göz bakımına etkisi

Basitçe söylemek gerekirse, EyeDiff hem yaygın hem de çok nadir göz hastalıklarının gerçekçi örneklerini talep üzerine hızla sağlayabilen akıllı bir görüntü fabrikası gibi çalışır. Gerçek hasta verilerinin kıt olduğu alanlardaki boşlukları doldurarak, tanı algoritmalarının daha hassas ve dengeli hale gelmesine yardımcı olurken ek özel bilgileri açığa çıkarmaz. Görüntü sadakatini artırmak ve güvenli dağıtımı sağlamak için daha fazla çalışma gerektiği halde, bu çalışma metinle yönlendirilen sentetik görüntülemenin görmeyi tehdit eden retina hastalıklarının erken tespiti için güvenilir araçlar geliştirmede güçlü bir yardımcı olabileceğini gösteriyor.

Atıf: Chen, R., Zhang, W., Liu, B. et al. Boosting foundation models for rare eye disease diagnosis via a multimodal text-to-image generative framework. npj Digit. Med. 9, 371 (2026). https://doi.org/10.1038/s41746-026-02560-2

Anahtar kelimeler: retina görüntüleme, üretken yapay zeka, nadir göz hastalığı, tıbbi veri artırma, oftalmoloji