Görsel Yeteneğe Sahip Yapay Zeka kâtipleri, klinik konuşmalardaki eksiklikleri azaltıyor: simüle edilmiş ilaç öykülerinden kanıt

Kliniğe Daha Akıllı Dijital Yardımcılar

Bir doktor ofisinde oturup klinisyenin bilgisayara hızlıca yazdığını izleyen herkes modern tıptaki gizli yükü görmüştür: evrak işleri. Yeni "Yapay Zeka kâtipleri" ziyaretleri dinleyip notları otomatik oluşturmayı vaat ederek klinisyenlere hastalarla konuşmak için daha fazla zaman kazandırıyor. Ancak bu araçların çoğu yalnızca söylenenleri duyar; gösterilenleri göremez. Bu çalışma, güvenlik için büyük sonuçları olan basit bir soruyu soruyor: ya bir Yapay Zeka kâtip masadaki ilaç şişelerini de görebilseydi?

Neden Görmek, Duymak Kadar Önemli

Gerçek tıbbi görüşmelerde hayati bilgiler sıklıkla görseldir. Hastalar küçük puntolu etiketleri olan kutular ve şişeler getirir, inhaler veya enjektörleri gösterir ya da bileklerindeki alerji bantlarını sergiler. Görünüm ve duruş gibi ince ipuçları birinin nasıl başa çıktığına dair fikir verebilir. Geleneksel Yapay Zeka kâtipleri yalnızca sesi işler, dolayısıyla kesin güç gibi asla yüksek sesle söylenmeyen hiçbir ayrıntı kaybolabilir. Bir kişinin ilaç listesini doğru oluşturmak amaçlandığında, bir dozu kaçırmak veya benzer iki ürünü karıştırmak ciddi sonuçlara yol açabilir.

Gözlükler, Video ve Yeni Tür Bir Yapay Zeka Kâtip

Bu boşluğu kapatmak için araştırmacılar hem sesi hem görseli işleyebilen görsel yeteneğe sahip bir Yapay Zeka kâtip geliştirdiler. Klinik uzman bakış açısından video ve ses kaydı yapan Ray-Ban akıllı gözlükleri, gördüklerini ve duyduklarını birlikte yorumlayabilen son teknoloji bir Yapay Zeka modeliyle eşleştirdiler. On klinik eczacı, her biri üç ila beş ilaç ve gerçek dünya ambalajını içeren 110 gerçekçi ilaç öyküsü konuşmasını canlandırdı. Ekip, Yapay Zeka'ya tam olarak neyi çıkarması gerektiğini söyleyen net talimatlar olan istemleri ince ayarlamak için 10 kaydı kullandı; ardından bu ayarları kilitledi ve sistemi kalan 100 kayıt üzerinde test etti.

Yapay Zeka Kâtipinin Performansı Nasıl Oldu

Her konuşma için insan eczacılar hasta adı, doğum tarihi, alerjiler, her ilacın adı, gücü ve formu, dozlama programı, kullanım nedeni ve ek notlar dahil dikkatli bir referans listesi hazırladı. Yapay Zeka'nın görevi videodan aynı yapılandırılmış özeti üretmekti. 2.160 bireysel veri noktasında görsel özellikli kâtip yüzde 98 doğruluk oranına ulaştı. Temel hasta bilgilerine karşılık gelen doğruluk biraz daha düşük (yüzde 96) iken, doz talimatları ve endikasyon gibi ilaçla ilgili öğelerde biraz daha yüksek (her ikisi de yüzde 99) oldu. Toplam 46 hatanın çoğu, benzer ilaç isimlerini veya güçleri karıştırmak gibi yanlış kaydetme anlamına gelen "komisyon" hatalarıydı. Sadece 10'u, Yapay Zeka alanı boş bıraktığı hâlde bilginin mevcut olduğu eksiltme (omisyon) hatasıydı.

Görsel Eklemenin Oyunu Neden Değiştirdiği

Ardından ekip, görsel girdinin gerçekten ne kadar yardımcı olduğunu görmek için aynı 100 konuşmayı yalnızca ses kanalını kullanarak Yapay Zeka'dan geçirdi. Doğruluk keskin bir şekilde yüzde 81'e düştü. En büyük çöküş, video ile yüzde 97 doğruyken sadece ses ile yüzde 28'e düşen ilaçların güç ve formunun belgelenmesinde gerçekleşti—etiket okumanın önemli olduğuna dair açık bir işaret. Omisyonlar, video ile 10 iken yalnızca sesle 358'e patladı; bu, eksik bilgilerin çoğunun hiç yüksek sesle söylenmediğini gösteriyor. Birçok alan için, özellikle ilaç isimleri ve doz ayrıntılarında Yapay Zeka'nın ambalaja "bakmasının" boşlukları ve yanlış anlamaları dramatik şekilde azalttığı görüldü.

Gelecekte Bakım İçin Ne Anlama Gelebilir

Sonuçlar etkileyici olsa da yazarlar bu teknolojinin insan yargısının yerini alacak kadar hazır olmadığını vurguluyor. Çalışma, net etiketlerin ve iyi aydınlatmanın olduğu kontrollü ortamlarda simüle edilmiş karşılaşmalar kullandı ve Yapay Zeka hâlâ bir klinisyenin yakalaması gereken 46 hata yaptı. Gerçek klinikler daha gürültülü, dağınık ve daha çeşitli. Gizlilik, onam, maliyet ve kaydedilmenin hastaların paylaşmayı tercih ettikleri şeyleri nasıl etkilediği gibi önemli sorular da var. Yine de bu çalışma, hem gören hem duyan Yapay Zeka kâtiplerinin tıbbın evrak yükünü hafifletebileceği, daha eksiksiz ilaç bilgisi yakalayabileceği ve klinisyenlerin en önemli şeye odaklanmalarına yardımcı olabileceği bir geleceğe işaret ediyor: hastalarına.

Atıf: Menz, B.D., Scarfo, N.L., Modi, N.D. et al. Vision-Enabled AI scribes reduce omissions in clinical conversations: evidence from simulated medication histories. npj Digit. Med. 9, 287 (2026). https://doi.org/10.1038/s41746-026-02494-9

Anahtar kelimeler: Yapay zeka tıbbi kâtipleri, çok modlu yapay zeka, ilaç öyküsü, klinik dokümantasyon, akıllı gözlükler