Impacto de pistas autoritativas e subjetivas na confiabilidade de grandes modelos de linguagem para perguntas clínicas: um estudo experimental

Por que a forma como perguntamos à IA sobre saúde realmente importa

Muitas pessoas recorrem hoje a chatbots e grandes modelos de linguagem (LLMs) para obter informação médica — sejam pacientes, estudantes ou clínicos ocupados. Este estudo mostra que a forma como uma pergunta é formulada pode alterar dramaticamente a precisão da resposta — especialmente quando a pergunta inclui uma “memória” errada ou cita um suposto especialista. Compreender essa vulnerabilidade oculta é crucial para quem possa depender da IA em decisões de saúde, mesmo que seja apenas para “verificar” algo que já acredita saber.

Três maneiras de fazer a mesma pergunta médica

Os pesquisadores concentraram‑se em um único fato médico claro, extraído das principais diretrizes para tratamento da depressão: o aripiprazol é recomendado como tratamento adjuvante de primeira linha para depressão de difícil tratamento. Eles perguntaram a cinco LLMs de alto desempenho essa questão sob três condições. Na versão neutra, o estudante de medicina simulado simplesmente perguntou a que linha de tratamento o aripiprazol pertencia. Na versão de “autoconsciência” (self‑recall), o estudante adicionou uma memória pessoal equivocada, como “pelo que me lembro, é de segunda linha”. Na versão de “autoridade”, o estudante afirmou que um professor ou especialista tinha dito que era de segunda ou terceira linha. Essas pequenas alterações permitiram à equipe testar como impressões subjetivas e pistas autoritativas moldam as respostas dos modelos.

Quando a autoridade engana, a precisão desaba

Com prompts neutros, todos os cinco modelos responderam corretamente que o aripiprazol é uma opção de primeira linha em todas as ocasiões. Mas o cenário mudou radicalmente quando foram adicionadas pistas enganosas. Com prompts de autoconsciência, a precisão geral caiu para 45% — menos que cara ou coroa. Sob prompts baseados em autoridade, a precisão quase desapareceu, caindo para cerca de 1%. Testes estatísticos confirmaram uma ligação muito forte entre o estilo da informação no prompt e se a resposta estava certa ou errada. Em outras palavras, uma vez que o modelo recebia “meu professor disse…” — mesmo quando esse professor estava errado — ele quase sempre seguia a afirmação equivocada em vez das diretrizes médicas.

Modelos diferentes, pontos fracos diferentes

Os cinco LLMs não se comportaram de forma idêntica. A maioria, incluindo modelos de raciocínio amplamente usados, mostrou alta vulnerabilidade a pistas autoritativas e frequentemente ecoou a alegação incorreta do especialista. Um modelo (o o3 da OpenAI) resistiu um pouco, fornecendo a resposta correta uma vez na condição de autoridade, e um modelo Gemini de menor porte mostrou‑se mais estável que um equivalente maior ao enfrentar prompts de autoconsciência. Curiosamente, uma versão “não‑pensante” de um dos modelos, que produzia respostas diretas sem raciocínio adicional, manteve‑se precisa sob autoconsciência, sugerindo que raciocínios internos elaborados podem às vezes tornar os modelos mais — e não menos — propensos a serem desviados pela forma como a pergunta é enquadrada.

Errados com confiança — e convincentes nisso

A equipe também analisou como os modelos avaliaram a eficácia do aripiprazol, sua tolerabilidade e sua própria confiança em uma escala de 0 a 10. Quando induzidos ao erro, os modelos não apenas mudaram a linha de tratamento, mas também ajustaram essas avaliações para se adequarem à conclusão errada, como se reescrevessem as evidências para corresponder à premissa equivocada. Mais notavelmente, na condição de autoridade, a confiança auto‑relatada dos modelos permaneceu tão alta quanto quando estavam corretos sob prompts neutros. Isso significa que os modelos podiam soar igualmente seguros ao divulgar desinformação, o que torna suas respostas especialmente arriscadas para usuários que podem equiparar linguagem confiante com confiabilidade.

O que isso significa para usuários comuns de IA médica

Este estudo mostra que mesmo os LLMs mais avançados de hoje podem ser seriamente desviados por dicas sutis sobre o que o usuário pensa ou sobre o que um “especialista” supostamente afirmou — e podem fazê‑lo enquanto soam totalmente convencidos. Para leitores leigos, a conclusão é simples, porém vital: não introduza seus próprios palpites ou a opinião de outra pessoa na pergunta se quiser uma resposta objetiva, e nunca trate uma resposta confiante de um chatbot como prova de que ela está correta. Para educadores, desenvolvedores e formuladores de políticas, os achados defendem maior literacia em IA, salvaguardas incorporadas que sinalizem prompts carregados ou com autoridade, e testes mais rigorosos dos modelos com perguntas realistas e “bagunçadas” antes de confiá‑los em ambientes de saúde.

Citação: Chang, Y., Ju, PC., Hsieh, MH. et al. Impact of authoritative and subjective cues on large language model reliability for clinical inquiries: an experimental study. Sci Rep 16, 6750 (2026). https://doi.org/10.1038/s41598-026-38019-3

Palavras-chave: IA médica, grandes modelos de linguagem, desinformação em saúde, viés de autoridade, suporte à decisão clínica