Avaliação de grandes modelos de linguagem para raciocínio diagnóstico a partir de narrativas clínicas não estruturadas na epilepsia

Por que isso importa para pacientes e médicos

Quando alguém tem uma crise, a aparência e as sensações associadas podem oferecer pistas vitais sobre o que está acontecendo dentro do cérebro. Os médicos usam essas descrições para decidir onde, no cérebro, as crises se iniciam e quais tratamentos, inclusive cirúrgicos, podem ser úteis. Este estudo pergunta se grandes modelos de linguagem, o mesmo tipo de inteligência artificial por trás de chatbots, podem interpretar de forma confiável descrições de crises do mundo real e apoiar esse tipo de raciocínio diagnóstico.

Transformando relatos de crises em pistas cerebrais

Os pesquisadores focam na epilepsia, uma condição na qual surtos breves de atividade cerebral anômala provocam crises. No atendimento cotidiano, os clínicos ouvem atentamente pacientes e testemunhas, anotando características como movimentos de mastigação, sensações estranhas ou movimentos violentos dos membros. Esses detalhes frequentemente apontam para áreas cerebrais específicas, como os lobos temporal ou frontal. A equipe ampliou um grande conjunto de dados público no qual mais de 1.200 descrições de crises já haviam sido vinculadas a sete amplas regiões cerebrais com base em resultados cirúrgicos que deixaram pacientes livres de crises, um forte indicativo de que a fonte real das crises havia sido removida.

Colocando muitos modelos de IA à prova

Oito modelos de linguagem diferentes foram avaliados, incluindo sistemas gerais amplamente usados e dois modelos ajustados com textos médicos. Cada modelo recebeu uma descrição de crise e teve de indicar a probabilidade de que a crise tenha começado em cada uma das sete regiões cerebrais. Os pesquisadores examinaram não apenas com que frequência a primeira escolha estava correta, mas também quão confiante os modelos pareciam, quão bem essa confiança correspondiam à realidade e quão plausíveis eram suas explicações escritas. Eles compararam os resultados com uma linha de base simples que sempre escolhia a região cerebral mais comum e com dois especialistas humanos em epilepsia que avaliaram um subconjunto de casos.

Como a formulação do prompt molda o comportamento da IA

A forma como a tarefa foi formulada para os modelos teve um impacto importante. Quando receberam apenas instruções básicas, a maioria dos sistemas teve desempenho apenas um pouco acima do acaso. O desempenho melhorou quando os modelos viram alguns casos de exemplo, foram instruídos a pensar passo a passo ou receberam exemplos escritos por especialistas de raciocínio clínico para imitar. Os ganhos mais fortes vieram de prompts que incentivavam um raciocínio detalhado e da combinação de múltiplas respostas independentes para chegar a uma decisão mais estável. Sob essas instruções mais ricas, os melhores sistemas se aproximaram da acurácia dos clínicos humanos nessa tarefa específica, ao mesmo tempo em que se tornaram mais consistentes e melhor calibrados em sua confiança.

Forças, pontos cegos e a verificação humana

Uma análise mais detalhada revelou advertências importantes. Especialistas clínicos revisaram o raciocínio produzido pelos dois melhores modelos. Um deles, o GPT-4, com mais frequência demonstrou compreensão sólida dos sintomas, uso preciso do conhecimento sobre epilepsia e lógica coerente. Também tendia a citar artigos científicos reais corretamente. Outro desempenho forte, o Mixtral-8×7B, por vezes chegava à resposta correta pelos motivos errados, interpretando mal detalhes dos sintomas ou inventando fatos e referências de apoio. O estudo também mostrou que o desempenho dependia do comprimento da descrição da crise, do papel clínico que o modelo era instruído a simular e do idioma usado. Descrições muito curtas ou muito detalhadas funcionaram melhor, fingir ser um especialista melhorou os resultados e usar prompts em não-inglês podia reduzir a acurácia.

O que isso significa para o cuidado futuro

Os autores concluem que grandes modelos de linguagem podem, em um cenário controlado, transformar relatos não estruturados de crises em estimativas úteis de onde as crises começam no cérebro. Com prompts cuidadosamente projetados, seu desempenho pode se aproximar do de clínicos experientes, ao menos para a tarefa restrita de mapear sinais de crise para amplas regiões cerebrais. Ao mesmo tempo, os modelos podem soar convincentes enquanto se apoiam em raciocínios falhos ou fontes inventadas. Essa mistura de potencial e risco significa que tais sistemas podem, um dia, ajudar a triagem de casos ou a apoiar o pensamento diagnóstico inicial, mas devem ser rigorosamente validados, supervisionados de perto e usados ao lado — e não em substituição — da expertise humana.

Citação: Dani, M., Prakash, M.J., Rosa, F. et al. Evaluating large language models for diagnostic reasoning from unstructured clinical narratives in epilepsy. Commun Med 6, 303 (2026). https://doi.org/10.1038/s43856-026-01653-z

Palavras-chave: epilepsia, semiologia das crises, grandes modelos de linguagem, raciocínio diagnóstico, avaliação clínica de IA