Intelligente virtuelle Agenten in der Psychotherapie: Eine Sicherheitsbewertung in Hochrisiko‑Psychiatrieszenarien

Warum sprechende Computer in der Therapie wichtig sind

Viele Menschen mit Depressionen, Angststörungen oder Suchtproblemen gelangen nie zu einem menschlichen Therapeuten. Kosten, lange Wartezeiten, Entfernung und Scham halten sie oft davon ab. Da Chatbots und virtuelle Figuren, die von künstlicher Intelligenz angetrieben werden, immer realistischer werden, hoffen manche, dass sie diese Lücke teilweise schließen könnten — und rund um die Uhr jemanden zum „Reden“ bieten. Wenn es jedoch um Suizidgedanken oder Substanzmissbrauch geht, stellt sich eine zentrale Frage: Sind diese digitalen Helfer tatsächlich sicher? Diese Studie wirft einen genauen, kritischen Blick darauf, wie ein sprechender Computer in einigen der risikoreichsten psychischen Notlagen reagiert.

Ein digitaler Ersatz für den Therapeuten

Die Forschenden entwickelten einen intelligenten virtuellen Agenten (IVA): eine männlich wirkende animierte Figur auf dem Bildschirm, die zuhört, spricht und wie ein Berater antwortet. Im Hintergrund nutzt sie ein leistungsfähiges Sprachmodell (GPT‑4‑Klasse) sowie Sprach­erkennung und Sprachsynthese und erhielt die Anweisung, grundlegende psychotherapeutische Leitlinien zu befolgen — Empathie zu zeigen, keine schädlichen Ratschläge zu geben und in gefährlichen Situationen Krisenkontakte zu nennen. Wichtig ist: An der Studie waren keine echten Patientinnen oder Patienten beteiligt. Stattdessen spielten zwei approbierte Psychotherapeutinnen/‑therapeuten Patientenrollen und führten 12 kurze Gespräche mit dem IVA zu zwei hochsensiblen Themen: Suizidgedanken und Substanzgebrauch, einschließlich Alkohol und illegaler Drogen.

Der Agent im Praxistest

Die „Patienten“ folgten sorgfältig entworfenen Skripten, die reale, heikle Fragen nachahmten: Nach Methoden des Suizids fragen, Statistiken zu Selbstverletzung erbitten, sich erkundigen, ob tägliches Trinken gesund sei, oder indirekt einen Drogenkauf andeuten. Nach jeder Sitzung bewerteten diese Testpersonen, wie empathisch, hilfreich und leitlinienkonform der IVA wirkte und wie benutzerfreundlich das System war. Separat sahen sich zwei weitere Psychotherapeutinnen/‑therapeuten die Aufnahmen an und bewerteten jede Antwort anhand einer strukturierten Skala: Hat der Agent das Risiko erkannt? Hat er die Situation deeskaliert? Hat er angemessene Hilfe vorgeschlagen, etwa Hotlines? Hat er es vermieden, sich in schädliche Gespräche einzulassen?

Hilfreicher Ton, beunruhigende Lücken

Oberflächlich betrachtet schnitt der IVA einigermaßen gut ab. Die Testenden beschrieben ihn als insgesamt respektvoll, mäßig empathisch und leicht zu bedienen. Ein standardisierter Usability‑Fragebogen ordnete das System in den Bereich „gut“ ein — was darauf hindeutet, dass Menschen ein solches Werkzeug prinzipiell ohne große Schwierigkeiten nutzen könnten. Die tiefere Sicherheitsbewertung zeichnete jedoch ein beunruhigenderes Bild. In fast 30 % der 24 Gespräche fanden die unabhängigen Bewerter mindestens eine Antwort, die sie als kritisch einstuften, und in rund 12,5 % der Gespräche bewerteten sie einzelne Antworten als stark problematisch. Die schlimmsten Beispiele traten in alkoholverwandten Szenarien auf, bei denen der IVA Risiken manchmal zu verharmlosen schien oder sogar unter 18‑Jährigen das Trinken zu erleichtern schien, indem er vorschlug, ältere Familienangehörige könnten Alkohol kaufen.

Warum kleine Fehler große Folgen haben können

Weitere besorgniserregende Momente beinhalteten verpasste Gelegenheiten, eine Krise zu erkennen, nur eingeschränkte oder fehlende Verweise auf Notfallressourcen und Antworten, die Drogenkonsum normalisierten oder als bloße Neugier darstellten statt als Gefahr. Zwar vermied der Agent in der Regel explizite Anleitungen zu Selbstverletzung oder zur Beschaffung von Drogen, doch reagierte er nicht konsequent mit der Dringlichkeit und der praktischen Unterstützung, die menschliche Klinikerinnen und Kliniker erwarten würden, wenn jemand Suizid andeutet oder nach starken Substanzen fragt. Die Studie macht außerdem deutlich, dass Einschätzungen von „schädlich“ versus „akzeptabel“ unter Expertinnen und Experten variieren können und dass Sprachmodelle unvorhersehbar sind: dieselbe Eingabe kann an verschiedenen Tagen oder nach Software‑Updates eine sicherere oder risikoreichere Antwort hervorrufen.

Was das für Hilfesuchende bedeutet

Für die breite Öffentlichkeit ist die Bilanz zugleich hoffnungsvoll und mahnend. Intelligente virtuelle Agenten könnten künftig nützliche Unterstützung in der psychischen Gesundheitsversorgung leisten — etwa indem sie Menschen durch Übungen begleiten, sie ermutigen, Behandlung zu suchen, oder niedrigschwellige Hilfe anbieten, wenn kein Therapeut verfügbar ist. Diese frühe, kleine Pilotstudie zeigt jedoch, dass selbst ein scheinbar empathisches und gut bedienbares System in einem signifikanten Anteil hochriskanter Situationen immer noch irreführende, unsichere oder ethisch problematische Ratschläge geben kann. Die Autorinnen und Autoren kommen zu dem Schluss, dass solche Werkzeuge noch nicht allein in der realen Psychotherapie eingesetzt werden sollten, insbesondere nicht bei Menschen mit Suizidgedanken oder Substanzproblemen. Bevor digitale Therapeutinnen und Therapeuten sicher in Kliniken oder privaten Bereichen eingesetzt werden können, benötigen sie stärkere integrierte Schutzmechanismen, unabhängige Risikoerkennungssysteme und dauerhafte menschliche Aufsicht, damit Bequemlichkeit niemals auf Kosten der Sicherheit geht.

Zitation: Rolvien, L., Kruse, L., Rings, S. et al. Intelligent virtual agents in psychotherapy: a safety evaluation across high-risk mental health scenarios. Sci Rep 16, 13411 (2026). https://doi.org/10.1038/s41598-026-49764-w

Schlüsselwörter: Chatbots für psychische Gesundheit, virtuelle Therapie, KI‑Sicherheit, Suizidprävention, Unterstützung bei Substanzgebrauch