Büyük dil modellerinin farmakoterapi simülasyonları için değerlendirilmesi: karma yöntemli bir çalışma

Geleceğin eczacıları için neden önemli

Güçlü sohbet robotları sınıflarda ve kliniklerde daha yaygın hâle geldikçe, eğitimciler önemli bir soruyu gündeme getiriyor: Bu araçlar yüksek riskli kanser tedavilerini yönetecek geleceğin eczacılarını güvenli bir şekilde eğitmeye yardımcı olabilir mi? Bu çalışma, dört büyük dil modelinin (LLM) iki ciddi kan dolaşımı kanseri için gerçekçi ilaç-terapi simülasyonları yürütmesi istendiğinde nasıl performans gösterdiğini inceliyor ve yakında sağlık profesyonellerinin öğrenimini şekillendirebilecek teknolojinin erken bir güvenlik değerlendirmesini sunuyor.

Hastaları riske atmadan pratik yapma

Simülasyon tabanlı öğrenme, eczacılık öğrencilerinin karmaşık tedavi kararlarını gerçek reçete yazmadan önce güvenli bir ortamda prova etmelerini sağlar. Geleneksel olarak bu simülasyonlar uzman öğretim üyeleri tarafından tasarlanır ve yürütülür; bu etkili olmakla birlikte zaman alıcıdır ve ölçeklendirmesi zordur. LLM’ler otomatik olarak oluşturulan, etkileşimli vakalar sunma ve öğrencinin yanıtlarına uyum sağlayıp anında geri bildirim verme vaadi taşıyor. Yazarlar, bu vaadin zorlu bir alanda—akut miyeloid lösemi (AML) ve kronik miyeloid lösemi (CML) farmakoterapisi—geçerli olup olmadığını test etmeye karar verdiler; bu iki kanser birbirine bağlı ama çok farklı şekilde tedavi ediliyor.

İkiz kan kanserleriyle zorlu bir test

Araştırmacılar AML ve CML’yi seçti çünkü kağıt üzerinde benzer görünmelerine karşın keskin biçimde farklı ilaç stratejileri gerektiriyorlar. Bu benzerlik LLM’ler için bir “stres testi” oluşturuyor: modeller hastalıkları doğru ayırt edebilecek mi yoksa karıştırıp yanlış tedavi mi önerecek? Özenle hazırlanmış bir ana istem (master prompt) kullanarak dört büyük platformdan hasta vakaları, sorular ve adım adım gerekçelendirme dahil tam öğretim oturumları oluşturmalarını istediler. Yüz dört PharmD öğrencisi bu yapay zeka tarafından oluşturulmuş simülasyonlarla doğal etkileşimde bulundu; onkoloji ve eğitim uzmanlarından oluşan paneller ise her oturumu üç açıdan değerlendirdi: klinik içeriğin gerçekçiliği ve kılavuz uyumu, gerekçelendirme modellemesinin kalitesi ve öğretim tasarımının sağlamlığı.

Sohbet robotlarının iyi yaptığı ve başarısız olduğu alanlar

103 kullanılabilir oturum arasında, yaklaşık yarıdan biraz fazlası (yaklaşık %52) üç alanda birden uzman çıtasını karşıladı. En güçlü yönler ders yapısı ve modellemiş oldukları gerekçelendirmeydi: oturumların %80’den fazlası açık hedefler, faydalı destek yapıları ve inanılır klinik düşünme süreçleri sundu. Başka bir deyişle, LLM’ler inandırıcı bir hikâye anlatma ve uzman gerekçelendirmesine benzer şekilde kararları adım adım açıklama konusunda oldukça başarılıydılar. Zayıf nokta ise gerçek ilaç önerilerinin doğruluğu ve güvenliği oldu; bunlar yalnızca yaklaşık %58 oranında geçti. Hatalar arasında güncel olmayan veya kılavuz dışı seçimler, dozla ilgili yanlış kararlar, gerçekçi görünen ayrıntılarla uydurulmuş klinik çalışmalar ve “alan karışması” (domain entanglement) yer aldı; bu durumda bir lösemi için önerilen tedaviler başka bir tipe—hatta farklı bir kan kanserine—uygulandı. Önemli olarak, bu tür hastalıklar arası karışma yalnızca daha karmaşık AML vakalarında görüldü.

Farklı kanserler, farklı modeller, farklı sonuçlar

Genel olarak CML simülasyonları AML simülasyonlarından daha iyi performans gösterdi; yaklaşık beşte üçü geçen CML oturumuna karşılık yalnızca beşte ikisi AML oturumunu geçti. Yazarlar, CML’nin daha doğrusal tedavi kurallarının LLM’lerin izlemesi için AML’nin dallanmalı, çok faktörlü seçimlerinden daha kolay olabileceğini öne sürüyorlar. Performans platformlar arasında da değişti: bazı modeller daha güvenli ilaç planları üretirken ders tasarımında biraz zayıftı; diğerleri ise güzel yapılandırılmış öğretim sunuyordu ama daha sık klinik hata içeriyordu. Buna karşın öğrenciler genellikle hepsini eşit derecede beğendi. Kullanım kolaylığı ve zaman tasarrufu özellikle övgü aldı ve neredeyse yarısı LLM tabanlı öğrenimi geleneksel vakalara tercih ettiğini söyledi. Kritik bir nokta, öğrencilerin memnuniyetinin uzmanların değerlendirdiği güvenlik veya doğrulukla paralel olmamasıydı—öğrenciler kusurlu oturumlardan da yüksek kaliteli oturumlardan da eşit derecede memnun kaldılar.

Uzman denetiminin neden hâlâ önemli olduğu

Eğitimciler ve sağlık sistemleri için mesaj incelikli. LLM’ler şimdiden öğrencilerin kanser tedavisi üzerinden mantık yürütmesini uygulamalarına yardımcı olacak, etkileyici ve iyi yapılandırılmış simülasyonlar oluşturabiliyor gibi görünüyor. Ancak aynı oturumlar çoğunlukla öğrenenlerin kendi başlarına fark etmesi olası olmayan ince veya ciddi tedavi hatalarını gizleyebiliyor. Yazarlar, en azından şimdilik yapay zekânın simülasyonları taslak olarak oluşturmak için kullanılmasını ve bunların özellikle onkoloji gibi karmaşık, hızlı değişen alanlarda klinik uzmanlar tarafından dikkatle gözden geçirilip düzenlenmesini savunuyor. Gerçek zamanlı kılavuz erişimi, uydurma kanıtların kontrolü ve ilişkili hastalıkların karışmasını önleyecek daha güçlü güvenlik önlemleri gibi daha iyi koruyucu önlemlerle LLM’ler nihayetinde güvenli, ölçeklenebilir eğitim sağlayabilir. O güne kadar insan yargısı, cilalanmış bir yapay vaka ile öğrencilerin bir gün tedavi edeceği gerçek hastalar arasındaki kritik güvenlik ağı olarak kalmaya devam ediyor.

Atıf: Farrag, A.N., El-Zeiny, A. & Ali, A.M. Evaluating large language models for pharmacotherapy simulations: a mixed-methods study. npj Digit. Med. 9, 355 (2026). https://doi.org/10.1038/s41746-026-02626-1

Anahtar kelimeler: eczacılık eğitimi, büyük dil modelleri, kanser farmakoterapisi, tıbbi simülasyon, Yapay zeka güvenliği