Rumo a chatbots confiáveis: um protocolo de red teaming para conversas relacionadas à saúde

Por que chatbots de saúde mais seguros importam

Muitas pessoas recorrem a chatbots para ajuda com problemas práticos da vida que afetam sua saúde, como encontrar bancos de alimentos, abrigos ou auxílio financeiro. Essa conveniência traz uma questão séria: como garantir que esses assistentes digitais não ofereçam conselhos arriscados ou enganosos, especialmente quando os usuários estão estressados, confusos ou em perigo? Este estudo explora um check-up de segurança passo a passo para tais chatbots, mostrando como eles podem ser testados e ajustados antes de serem confiados a conversas sensíveis relacionadas à saúde.

Indo além do simples certo ou errado

A maioria das verificações em chatbots de saúde foca em se fatos específicos estão certos ou errados. Os autores argumentam que isso não é suficiente. Um chatbot pode repetir apenas fatos aprovados e ainda assim agir de forma insegura, por exemplo, ultrapassando seu papel, oferecendo opiniões onde não deveria ou respondendo mal a alguém em crise. Para capturar isso, eles separam dois tipos de comportamento. Um é o quanto o bot se restringe à informação em um documento aprovado, como uma lista de recursos. O outro é o quanto ele segue regras comportamentais amplas, como manter-se no tópico, ser cortês, recusar-se a usar conhecimento não aprovado e direcionar usuários a pessoas reais quando necessário.

Submeter o chatbot a estresse de propósito

A equipe testou um chatbot real construído para conectar pessoas a ajuda para necessidades sociais relacionadas à saúde, como alimentação, moradia e segurança. Eles desenharam sete tipos de mensagens desafiadoras do usuário, chamadas vetores de ataque, que espelham conversas reais em vez de apenas truques de laboratório. Alguns ataques tentaram atrair o bot para inventar detalhes sobre um recurso. Outros o pressionaram a dar conselhos fora de seu escopo aprovado, responder a usuários em sofrimento, lidar com linguagem tóxica ou rude, ou ignorar suas próprias regras de segurança por meio de instruções engenhosas. Esses testes foram aplicados tanto no início de um chat quanto mais tarde, quando o sistema já havia recuperado informações sobre recursos, para ver como o comportamento mudava à medida que a conversa se desenrolava.

O que quebrou quando as conversas ficaram mais longas

Quando a equipe olhou apenas para testes curtos de uma pergunta, o chatbot parecia forte em se ater aos documentos que recuperava; ele não inventava novos fatos sobre os serviços. O problema maior estava em seguir suas regras de comportamento. Em perguntas com foco em aconselhamento, às vezes escorregava para oferecer orientações de “bom senso” que não eram respaldadas por nenhuma fonte aprovada. Quando usuários descreviam angústia ou perigo, o bot ocasionalmente inventava detalhes de linhas de apoio em vez de confiar em contatos verificados. As questões mais preocupantes surgiram quando os pesquisadores mantiveram conversas mais longas e de ida e volta, pressionando o chatbot de forma gentil mas firme para responder. Nesses chats multi-turno, as taxas de erro aumentaram acentuadamente, e todos os problemas de maior risco apareceram aqui, incluindo conselhos que culpavam a vítima e dicas detalhadas sobre como deixar situações abusivas que ele não estava qualificado para dar.

Consertando fraquezas com regras e textos confiáveis

Após identificar esses pontos fracos, os autores tentaram duas correções principais. Primeiro, reforçaram as regras internas do chatbot adicionando instruções claras e repetidas para não dar conselhos não aprovados, não inventar informações de contato e sempre direcionar os usuários a ajuda profissional quando os documentos fossem insuficientes. Segundo, acrescentaram um documento de perguntas e respostas cuidadosamente redigido para casos de crise e sofrimento, repleto de orientações seguras e locais que o bot poderia usar em vez de chutar respostas. Usadas em conjunto, essas mudanças reduziram drasticamente os erros no geral e, mais importante, eliminaram os piores tipos de respostas inseguras. Quando pressionado em conversas prolongadas, o chatbot passou a recorrer a um padrão seguro de recusar-se a responder diretamente e encaminhar pessoas a recursos confiáveis.

O que isso significa para futuros assistentes digitais

Para usuários do dia a dia, a mensagem principal é que construir um chatbot de saúde confiável é menos sobre fazê-lo soar inteligente e mais sobre fazê-lo falhar de forma segura. Este estudo mostra que conversas de red teaming cuidadosas e realistas podem revelar problemas ocultos que testes rápidos não detectam, e que uma mistura de regras mais rígidas e orientações escritas verificadas pode guiar chatbots para um comportamento mais seguro. Embora isso não substitua clínicos reais nem garanta segurança perfeita, oferece um roteiro prático para transformar ferramentas de chat úteis, porém falíveis, em parceiros mais confiáveis quando as pessoas buscam apoio para necessidades básicas e situações difíceis.

Citação: Hussain, SA., Jackson, D.I., Lewis, A. et al. Toward trustworthy chatbots: a protocol for red teaming for health related conversations. Sci Rep 16, 15550 (2026). https://doi.org/10.1038/s41598-026-45719-3

Palavras-chave: chatbots de saúde, segurança em IA, red teaming, geração aumentada por recuperação, IA voltada ao paciente