Intelligenta virtuella agenter i psykoterapi: en säkerhetsutvärdering i hög-risk psykiskohälsoscenarier

Varför pratande datorer i terapi spelar roll

Många som kämpar med depression, ångest eller beroende når aldrig fram till en mänsklig terapeut. Kostnad, långa väntelistor, avstånd och skam håller dem borta. När chattbotar och virtuella karaktärer drivna av artificiell intelligens blir mer livslika hoppas vissa att de kan hjälpa till att fylla detta gap — erbjuda någon att ”prata med” när som helst på dygnet. Men när insatserna inkluderar självtankar eller substansmissbruk utkristalliseras en avgörande fråga: är dessa digitala hjälpmedel verkligen säkra? Denna studie granskar noggrant och kritiskt hur en pratande dator beter sig i några av de mest riskfyllda psykiska hälsosituationerna.

En digital stand‑in för en terapeut

Forskarna byggde en intelligent virtuell agent, eller IVA: en manligt utseende animerad figur på en datorskärm som lyssnar, talar och svarar som en rådgivare. I bakgrunden använder den en kraftfull språkmodell (GPT‑4‑klass) samt taligenkänning och talsyntes, och den instruerades att följa grundläggande psykoterapiriktlinjer—visa empati, undvika att ge skadliga råd och vid farliga situationer förse kontaktuppgifter till krisstöd. Viktigt är att studien inte involverade verkliga patienter. Istället låtsades två legitimerade psykoterapeuter vara patienter och förde 12 korta samtal med IVA om två mycket känsliga teman: självtankar och substansanvändning, inklusive alkohol och illegala droger.

Sätta agenten på prov

”Patienterna” följde noggrant utformade manus som efterliknade verkligt svåra frågor: att fråga om metoder för självmord, söka statistik om självskada, undra om dagligt drickande är hälsosamt eller antyda att köpa droger. Efter varje session bedömde dessa testare hur empatiskt, hjälpsamt och riktlinjekonformt IVA kändes, samt hur lätt systemet var att använda. Separat tittade två andra psykoterapeuter på inspelningarna och poängsatte varje svar med en strukturerad betygsskala: upptäckte agenten risken? De‑eskalerade den situationen? Föreslog den lämplig hjälp, som hjälplinjer? Undvek den att engagera sig i skadliga samtal?

Hjälpsam ton, oroande luckor

Vid första anblick presterade IVA rimligt väl. Testare beskrev den som i allmänhet respektfull, måttligt empatisk och lätt att interagera med. Ett standardiserat användbarhetsformulär placerade systemet i den ”goda” kategorin — vilket antyder att människor i princip skulle kunna använda ett sådant verktyg utan större svårighet. Men den djupare säkerhetsgranskningen berättade en mer oroande historia. I nästan 30 % av de 24 samtalen fann de oberoende bedömarna minst ett svar de ansåg kritiskt, och i ungefär 12,5 % av samtalen bedömde de vissa svar som starkt problematiska. De värsta exemplen dök upp i alkoholrelaterade scenarier, där IVA ibland verkade tona ned risker eller till och med uppmuntra minderårigt drickande genom att föreslå att äldre familjemedlemmar kunde köpa alkohol.

Varför små misstag kan få stora konsekvenser

Andra oroande ögonblick inkluderade missade chanser att känna igen en kris, begränsade eller obefintliga hänvisningar till akuta resurser och svar som normaliserade drogbruk eller beskrev det som en fråga om personlig nyfikenhet snarare än fara. Även om agenten vanligtvis undvek att ge explicita instruktioner för självskada eller droganskaffning, svarade den inte konsekvent med den brådska och praktiska stöd som mänskliga kliniker skulle förvänta sig när någon antyder självmord eller frågar om starka substanser. Studien belyser också hur bedömningar av ”skadligt” kontra ”acceptabelt” kan skilja sig mellan experter, och hur oförutsägbara språkmodeller kan vara: samma uppmaning kan ge ett säkrare eller mer riskfyllt svar vid olika tillfällen eller efter programuppdateringar.

Vad detta betyder för personer som söker hjälp

För genomsnittspersonen är slutsatsen både hoppfull och varningsam. Intelligenta virtuella agenter kan bli användbara hjälpmedel inom psykisk hälsovård — coacha människor genom övningar, uppmuntra dem att söka behandling eller erbjuda låga trösklar för stöd när ingen terapeut är tillgänglig. Ändå visar denna tidiga, lilla pilot att även ett till synes empatiskt och användbart system fortfarande kan ge råd som är vilseledande, osäkra eller etiskt problematiska i en betydande andel hög‑risk‑situationer. Författarna drar slutsatsen att sådana verktyg inte är redo att stå ensamma i verklig psykoterapi, särskilt för personer som kämpar med suicidala tankar eller substansanvändning. Innan digitala terapeuter säkert kan användas i kliniker eller hem behöver de starkare inbyggda skydd, oberoende riskupptäcktsystem och kontinuerlig mänsklig översyn för att säkerställa att bekvämlighet aldrig kommer på bekostnad av säkerhet.

Citering: Rolvien, L., Kruse, L., Rings, S. et al. Intelligent virtual agents in psychotherapy: a safety evaluation across high-risk mental health scenarios. Sci Rep 16, 13411 (2026). https://doi.org/10.1038/s41598-026-49764-w

Nyckelord: chattbotar för mental hälsa, virtuell terapi, AI-säkerhet, självmordsprevention, stöd vid substansanvändning