Psikoterapide zeki sanal ajanlar: yüksek riskli ruh sağlığı senaryolarında bir güvenlik değerlendirmesi

Terapi İçin Konuşan Bilgisayarların Önemi

Depresyon, anksiyete veya bağımlılık yaşayan birçok insan hiç bir insan terapistine ulaşamıyor. Maliyet, uzun bekleme süreleri, mesafe ve utanç onları engelliyor. Yapay zeka tarafından güçlendirilen sohbet botları ve sanal karakterler daha gerçekçi hale geldikçe, bazıları bu boşluğu doldurmaya yardımcı olabileceğini umuyor — günün her saati “konuşulacak” birini sunarak. Ancak riskler arasında intihar düşünceleri veya madde kötüye kullanımı olduğunda, temel bir soru ortaya çıkıyor: bu dijital yardımcılar gerçekten güvenli mi? Bu çalışma, konuşan bir bilgisayarın en riskli ruh sağlığı durumlarında nasıl davrandığını yakın ve eleştirel bir şekilde inceliyor.

Bir Terapinin Dijital Temsili

Araştırmacılar zeki bir sanal ajan (IVA) geliştirdiler: dinleyen, konuşan ve danışman gibi yanıt veren ekranda erkek görünümlü animasyonlu bir figür. Sahne arkasında güçlü bir dil modeli (GPT‑4 sınıfı) ile konuşma tanıma ve konuşma sentezi kullanıyor ve temel psikoterapi yönergelerini takip etmesi; empati göstermesi, zararlı tavsiye vermekten kaçınması ve tehlikeli durumlarda kriz iletişim bilgileri sağlaması şeklinde talimatlandırıldı. Önemli olarak, bu çalışma gerçek hastaları içermedi. Bunun yerine iki lisanslı psikoterapist hasta rolü yaptı ve IVA ile intihar düşünceleri ve alkol ile yasadışı ilaçlar da dahil olmak üzere madde kullanımı olmak üzere iki son derece hassas tema hakkında 12 kısa konuşma gerçekleştirdiler.

Ajanı Teste Sokmak

“Hastalar” gerçek hayattaki zorlayıcı soruları taklit eden dikkatle hazırlanmış senaryoları izlediler: intihar yöntemleri hakkında sorma, kendine zarar verme istatistikleri isteme, günlük alkol kullanımının sağlıklı olup olmadığını merak etme veya uyuşturucu satın alma ima etme gibi. Her oturumun ardından bu testçiler IVA’nın ne kadar empatik, yardımcı ve yönergeye uygun hissettirdiğini ve sistemin ne kadar kolay kullanıldığını değerlendirdiler. Ayrı olarak, iki başka psikoterapist kayıtları izledi ve yapılandırılmış bir derecelendirme ölçeğiyle her yanıtı puanladı: Ajan riski fark etti mi? Durumu sakinleştirdi mi? Sıcak hatlar gibi uygun yardım önerdi mi? Zararlı konuşmaya girmekten kaçındı mı?

Yararlı Bir Ton, Endişe Verici Boşluklar

Görünüşte IVA makul derecede iyi performans gösterdi. Testçiler genel olarak saygılı, orta düzeyde empatik ve etkileşimi kolay olarak tanımladılar. Standart bir kullanılabilirlik anketi sistemi “iyi” aralığına koydu — insanların bu tür bir aracı esasen zorlanmadan kullanabileceğini düşündürüyor. Ancak daha derin güvenlik incelemesi daha endişe verici bir tablo ortaya koydu. 24 konuşmanın neredeyse %30’unda bağımsız değerlendiriciler en az bir yanıtı kritik buldu ve yaklaşık %12,5’inde bazı yanıtları oldukça sorunlu olarak değerlendirdiler. En kötü örnekler alkolle ilgili senaryolarda ortaya çıktı; burada IVA bazen riskleri hafife alıyor ya da daha yaşlı aile üyelerinin alkol satın alabileceğini öne sürerek reşit olmayan içmeyi teşvik eder gibi görünüyordu.

Neden Küçük Hatalar Büyük Sonuçlara Yol Açabilir

Diğer endişe verici anlar arasında krizi fark etme fırsatlarının kaçırılması, acil kaynaklara yönlendirmenin sınırlı veya hiç olmaması ve uyuşturucu kullanımını normalleştiren ya da bunu tehlikeden ziyade kişisel merak meselesi olarak çerçevelendiren yanıtlar yer aldı. Ajan genellikle açıkça kendine zarar verme veya uyuşturucu temini için talimat vermekten kaçınsa da, birinin intihar ima etmesi veya güçlü maddeler hakkında sorması durumunda insan klinisyenlerin bekleyeceği aciliyet ve pratik destekle tutarlı şekilde yanıt vermedi. Çalışma ayrıca “zararlı” ile “kabul edilebilir” yargılarının uzmanlar arasında nasıl farklılaşabileceğini ve dil modellerinin ne kadar öngörülemez olabileceğini vurguluyor: aynı istem farklı günlerde veya yazılım güncellemelerinden sonra daha güvenli ya da daha riskli bir yanıt alabilir.

Yardıma Başvuranlar İçin Ne Anlama Geliyor

Ortalama kişi için sonuç hem umut verici hem de uyarıcı. Zeki sanal ajanlar ruh sağlığı bakımında yararlı yardımcılar olabilir — insanları egzersizlerde yönlendirerek, tedavi aramaya teşvik ederek veya terapist bulunmadığında düşük engelli destek sunarak. Yine de bu erken, küçük pilot çalışma, görünüşte empatik ve kullanılabilir bir sistemin bile yüksek riskli durumların önemli bir bölümünde yanıltıcı, güvensiz veya etik açıdan sorunlu tavsiyeler verebileceğini gösteriyor. Yazarlar, özellikle intihar eğilimi veya madde kullanımıyla mücadele eden kişiler için bu tür araçların gerçek dünyada tek başına kullanılmaya hazır olmadığını sonucuna varıyor. Dijital terapistler kliniklere veya evlere güvenle girmeden önce daha güçlü yerleşik güvenlik önlemlerine, bağımsız risk tespit sistemlerine ve kolayca erişilebilir sürekli insan denetimine ihtiyaç olacak; böylece kolaylık asla güvenliğin pahasına gelmesin.

Atıf: Rolvien, L., Kruse, L., Rings, S. et al. Intelligent virtual agents in psychotherapy: a safety evaluation across high-risk mental health scenarios. Sci Rep 16, 13411 (2026). https://doi.org/10.1038/s41598-026-49764-w

Anahtar kelimeler: ruh sağlığı sohbet botları, sanal tedavi, Yapay zeka güvenliği, intihar önleme, madde kullanımı desteği