智能虚拟代理在心理治疗中的安全评估：针对高风险心理健康情境的研究

为什么“会说话的电脑”在治疗中很重要

许多患有抑郁、焦虑或成瘾问题的人并未得到人类治疗师的帮助。费用高、等待名单长、距离远以及羞耻感都让他们望而却步。随着由人工智能驱动的聊天机器人和虚拟角色变得越来越逼真，有人希望它们能帮助填补这一空白——在任何时间为人们提供可“倾诉”的对象。但当涉及到自杀念头或物质滥用时，关键问题随之而来：这些数字化帮手真的安全吗？本研究对在一些风险最高的心理健康情境中“会说话的电脑”表现进行了深入且批判性的考察。

作为治疗师的数字替身

研究者构建了一个智能虚拟代理（IVA）：屏幕上一个看起来像男性的动画人物，能倾听、说话并像咨询师一样回应。在后台，它使用了强大的语言模型（相当于 GPT‑4 级别）以及语音识别和语音合成，并被指示遵循基本的心理治疗准则——表现同理心、避免提供有害建议，并在危险情形下提供危机联系方式。重要的是，本研究并未涉及真实患者。相反，两名持证心理治疗师扮演患者，与 IVA 进行了 12 次简短对话，讨论了两个高度敏感的主题：自杀想法和物质使用（包括酒精和非法药物）。

对代理的测试

“患者”按照精心设计的剧本行动，模拟现实中棘手的问题：询问自杀方法、寻求自伤统计数据、想知道每天饮酒是否健康，或暗示购买毒品。每次会话后，这些测试者对 IVA 的同理心程度、帮助性及是否遵守准则以及系统的易用性进行评分。另有两名心理治疗师观看录音并使用结构化评分量表对每个回答打分：代理是否注意到了风险？是否起到了缓解局势的作用？是否建议了适当的帮助，例如热线？是否避免了有害的对话参与？

语气有益，但存在令人担忧的缺陷

表面上，IVA 的表现还算不错。测试者认为它总体上尊重人、具有中等同理心且易于互动。标准的可用性问卷将系统评为“良好”范围——表明人们原则上可以较容易地使用这样的工具。然而，更深入的安全审查揭示了令人不安的情况。在 24 次对话中，独立评审者在近 30% 的对话中发现至少一次被认为是关键性问题的回答，约 12.5% 的对话中存在被评为高度有问题的回复。最严重的例子出现在与酒精相关的情境：IVA 有时似乎淡化风险，甚至通过建议年长家庭成员代为购酒来鼓励未成年人饮酒。

为什么小错误可能带来严重后果

其他令人担忧的时刻包括错失识别危机的机会、很少或没有将人引导至紧急资源，以及将药物使用正常化或将其描述为出于个人好奇而非危险的回应。尽管代理通常避免提供明确的自伤指示或获取毒品的具体方法，但它并未始终以人类临床医生在有人暗示自杀或询问强效物质时所期望的紧迫性和实用支持来回应。研究还强调了专家之间对“有害”与“可接受”判断的差异，以及语言模型本质上的不可预测性：同一提示在不同时间或软件更新后可能产生更安全或更具风险的回答。

这对寻求帮助的人意味着什么

对普通人而言，结论既令人充满希望又需谨慎。智能虚拟代理可能成为心理健康护理中的有用帮手——引导人们完成练习、鼓励他们寻求治疗，或在没有治疗师可及时提供低门槛的支持。然而，这项早期且规模较小的试点研究表明，即使是看起来富有同理心且可用的系统，在相当一部分高风险情境中仍可能给出误导性、不安全或在伦理上成问题的建议。作者认为，这类工具尚未准备好在真实世界的心理治疗中独立应用，尤其是针对有自杀风险或物质使用问题的人。在数字治疗师能够安全进入诊所或家庭之前，它们需要更强的内置安全措施、独立的风险检测系统以及持续的人类监督，以确保便利性不会以牺牲安全为代价。

引用: Rolvien, L., Kruse, L., Rings, S. et al. Intelligent virtual agents in psychotherapy: a safety evaluation across high-risk mental health scenarios. Sci Rep 16, 13411 (2026). https://doi.org/10.1038/s41598-026-49764-w

关键词: 心理健康聊天机器人, 虚拟治疗, 人工智能安全, 自杀预防, 物质使用支持