Daha doğru ve yorumlanabilir yetkinlik tabanlı değerlendirmeye doğru: çokmodlu yapay zeka ve anomali tespiti ile klinik yetkinlik değerlendirmesini geliştirmek

Neden Doktorlar İçin Daha Akıllı Eğitim Önemli

Hekimler tıbbi acil durumlara müdahale etmek üzere eğitim alırken performansları sıklıkla simüle edilmiş senaryolarda onları izleyen insan sınav komisyonları tarafından değerlendirilir. Bu derecelendirmeler hasta güvenliği için hayati öneme sahiptir, ancak öznel olabilir, değerlendiriciler arasında tutarsızlık gösterebilir ve stajyerlere tam olarak neyi geliştirmeleri gerektiğini söyleyecek kadar ayrıntılı olmayabilir. Bu çalışma, yüksek gerçeklikli anestezi simülasyonları sırasında izleyen ve dinleyen yeni bir yapay zeka (YZ) sistemi tanıtıyor; sistem gördüklerini ve duyduklarını klinik yetkinliğin nesnel, yorumlanabilir bir ölçüsüne dönüştürüyor. Amaç uzman öğretmenlerin yerini almak değil; asistan hekimlerin baskı altındaki gerçek davranışlarına ilişkin daha hassas, adil ve ayrıntılı bir bakış sağlamak.

Acil Durumları Çoklu Açıdan İzlemek

Araştırmacılar, İsrail’de anestezi asistanlarını ulusal kurulları için hazırlamakta kullanılan kritik bakım simülasyonlarına odaklandı. 17 hastaneden doksan asistan gerçekçi bir ameliyathane ortamında tam vücut mankeni, bir hemşire ve bir asistanla hayatı tehdit eden krizleri yönetti. Her senaryo dört aşamada ilerledi: başlangıçtaki stabil dönem, hızlı kötüleşme evresi, standart yaşam desteği protokollerini kullanarak aktif resüsitasyon ve nihayet stabilizasyon ve teslim. Bu süreç boyunca odanın ve hasta monitörünün kameraları, konuşmayı yakalayan mikrofonlar kaydetti ve hayati bulgu ekranı dijital hale getirildi. Kurul onaylı anestezi uzmanları daha sonra her asistine 1 (zayıf) ile 5 (örnek) arasında genel bir performans sıralaması verdi.

Davranışı Veri Akışlarına Dönüştürmek

Bu zengin sahneyi YZ tarafından analiz edilebilir kılmak için ekip videoları ve sesi senkronize zaman serisi sinyallerine dönüştürdü. Bir akış, yüz tespiti ve bakış hedefi kestirimi kullanarak asistin monitöre ne zaman baktığını izledi. İkincisi, üç boyutlu vücut pozu temelinde asistin odada nerede durduğunu ve nasıl hareket ettiğini tahmin etti. Üçüncüsü, arka plan gürültüsünden asistin sesini izole ederek konuşma anlarını işaretledi. Son olarak araştırmacılar, optik karakter tanıma kullanarak monitör ekranından kalp hızı, kan basıncı, solunum hızı ve oksijen doyumu gibi değişen değerleri okudu ve sürekli fizyolojik durum eğrileri üretti. Tüm bu kanallar kare kare hizalandı; asistanların nasıl baktıklarının, hareket ettiklerinin, konuştuklarının ve hastanın durumuna nasıl tepki verdiklerinin ayrıntılı, anlık portresini ortaya koydu.

“Uzman Gibi” Görüneni Öğrenmek

Yazarlar YZ’yi insan puanlarını doğrudan taklit edecek şekilde öğretmek yerine MEMTO adlı, karmaşık zaman serilerinde sıra dışı desenleri tespit etmek için orijinal olarak tasarlanmış bir anomali tespit modelini kullandılar. Önce MEMTO yalnızca en iyi performanslar—5 puan alan asistanlar—üzerinde eğitildi; böylece tüm sinyaller boyunca zaman içinde “ideal” davranışın nasıl göründüğünü öğrendi. Bu temel kurulduktan sonra model her asistin simülasyonunu işledi ve her anda o anın davranışının uzman deseninden ne kadar saptığını yansıtan bir anomali skoru üretti. Bu anomali puanları daha sonra toplulaştırıldı ve 1–5 arasındaki tanıdık ölçeğe düzgün bir şekilde eşlendi; uzman şablonundan daha az sapma gösterenler daha yüksek yetkinlik puanları aldı.

YZ’nin İyi Performans Hakkında Öğrendikleri

Bakış, hareket, konuşma ve hayati bulguları birleştiren çokmodlu yaklaşım belirleyici oldu. Model, üst düzey asistanlar üzerinde eğitildiğinde, puanları uzman değerlendirmeleriyle güçlü korelasyonlar ve tutarlılık ölçüleri gösterdi ve asistanları insan değerlendiricilerle neredeyse aynı sıraya soktu. Buna karşılık yalnızca bakış gibi tek bir akışa dayanmak çok daha zayıf uyum verdi. Modelin en kötü performanslar üzerinde eğitilmesi de daha zayıf uyuma yol açtı; bu da kıyas noktalarının yaygın hatalar yerine uzman davranışına dayandırılması gerektiğini vurguluyor. Sistemin kararlarını anlaşılır kılmak için ekip, anomali puanlarını en çok hangi girdilerin etkilediğini vurgulayan SHAP adlı bir açıklama yöntemi kullandı. İletişim ve monitöre göz teması özellikle kriz kötüleşmesi ve aktif resüsitasyon sırasında belirgin öneme sahip olarak ortaya çıktı; stabilizasyon döneminde ise hayati bulgular daha etkili oldu.

Geleceğin Tıp Eğitimi İçin Ne Anlama Geliyor

Bu çalışma, YZ’nin klinik eğitimi basit kontrol listelerinin veya geç‑kalma puanlarının ötesine taşıyabileceğini; stajyerlerin gerçekçi acil durumlarda saniye saniye nasıl davrandığını yakalayabileceğini gösteriyor. Her asisti uzman performansının veri odaklı bir portresiyle karşılaştırarak sistem, iletişimin aksadığı, monitöre dikkat edilmediği veya değişen hayati bulgulara verilen yanıtların şablon dışı olduğu anları işaretleyebilir—bu bilgiyi debrifing oturumlarında daha zengin, faza özgü geri bildirim vermek için kullanmak mümkün. Yazarlar bu tür araçların insan yargısını tamamlaması gerektiğini, yerine geçmemesi gerektiğini ve güçlü gizlilik korumaları ile adalet denetimleriyle dikkatle uygulanması gerektiğini vurguluyor. Yine de sonuçlar, eğitim programlarına ölçeklenebilecek ve nihayetinde gerçek dünya hasta bakımını daha güvenli hale getirmeye yardımcı olabilecek daha nesnel, şeffaf ve eğitimsel açıdan faydalı değerlendirmelere doğru bir yol öneriyor.

Atıf: Gershov, S., Mahameed, F., Raz, A. et al. Towards accurate and interpretable competency-based assessment: enhancing clinical competency assessment through multimodal AI and anomaly detection. npj Digit. Med. 9, 219 (2026). https://doi.org/10.1038/s41746-025-02299-2

Anahtar kelimeler: klinik yetkinlik değerlendirmesi, tıbbi simülasyon, çokmodlu yapay zeka, anomali tespiti, tıp eğitimi