Evaluación de modelos de lenguaje grandes para el razonamiento diagnóstico a partir de narrativas clínicas no estructuradas en epilepsia

Por qué esto importa para pacientes y médicos

Cuando una persona sufre una crisis, la forma en que se manifiesta y se siente puede ofrecer pistas vitales sobre lo que sucede dentro del cerebro. Los médicos usan estas descricpiones para decidir en qué zona del cerebro se inician las crisis y qué tratamientos, incluida la cirugía, podrían ayudar. Este estudio plantea si los modelos de lenguaje grandes, el mismo tipo de inteligencia artificial detrás de los chatbots, pueden interpretar de forma fiable descripciones de crisis del mundo real y apoyar este tipo de razonamiento diagnóstico.

Convertir relatos de crisis en pistas cerebrales

Los investigadores se centran en la epilepsia, una afección en la que breves picos de actividad cerebral anómala provocan crisis. En la atención cotidiana, los clínicos escuchan con atención a pacientes y testigos, registrando características como movimientos masticatorios, sensaciones extrañas o sacudidas violentas de las extremidades. Estos detalles a menudo indican áreas cerebrales específicas, como los lóbulos temporales o frontales. El equipo se basó en un gran conjunto de datos público en el que más de 1.200 descripciones de crisis ya se habían vinculado a siete regiones cerebrales amplias basándose en resultados quirúrgicos que dejaron a los pacientes libres de crisis, una señal sólida de que se había extirpado la fuente real de las convulsiones.

Poner a prueba muchos modelos de IA

Se evaluaron ocho modelos de lenguaje diferentes, incluidos sistemas generales de uso extendido y dos modelos ajustados con texto médico. A cada modelo se le entregaba una descripción de crisis y tenía que indicar la probabilidad de que la crisis comenzara en cada una de las siete regiones cerebrales. Los investigadores examinaron no solo con qué frecuencia la primera opción era la correcta, sino también qué tan confiados parecían los modelos, qué relación tenía esa confianza con la realidad y qué tan sensatas eran sus explicaciones escritas. Compararon los resultados con una línea base simple que siempre elegía la región cerebral más común y con dos especialistas humanos en epilepsia que valoraron un subconjunto de casos.

Cómo la redacción del prompt moldea el comportamiento de la IA

La forma en que se planteaba la tarea a los modelos tuvo un impacto importante. Cuando se les daban solo instrucciones básicas, la mayoría de los sistemas solo lograba un rendimiento ligeramente superior al azar. El rendimiento mejoró cuando a los modelos se les mostraron algunos casos de ejemplo, se les pidió razonar paso a paso o se les proporcionaron ejemplos escritos por expertos del razonamiento clínico a imitar. Las mayores mejoras provinieron de prompts que fomentaban un razonamiento detallado y de combinar múltiples respuestas independientes para alcanzar una decisión más estable. Bajo estas instrucciones más ricas, los mejores sistemas se acercaron a la precisión de los clínicos humanos en esta tarea específica, a la vez que se volvieron más consistentes y mejor calibrados en su confianza.

Puntos fuertes, puntos ciegos y la comprobación humana

Un examen más detenido reveló advertencias importantes. Expertos clínicos revisaron el razonamiento producido por los dos mejores modelos. Uno de ellos, GPT-4, mostró con más frecuencia comprensión sólida de los síntomas, uso preciso del conocimiento sobre epilepsia y lógica coherente. También tendía a citar artículos científicos reales correctamente. Otro buen rendimiento, Mixtral-8×7B, a veces alcanzó la respuesta correcta por razones equivocadas, interpretando mal detalles de los síntomas o inventando hechos y referencias de apoyo. El estudio también mostró que el rendimiento dependía de la longitud de la descripción de la crisis, del rol clínico que se pedía al modelo representar y del idioma utilizado. Las descripciones muy breves o muy detalladas funcionaron mejor, fingir ser un especialista mejoró los resultados y usar indicaciones en idiomas distintos del inglés podía reducir la precisión.

Qué implica esto para la atención futura

Los autores concluyen que los modelos de lenguaje grandes pueden, en un entorno controlado, convertir relatos no estructurados de crisis en estimaciones útiles sobre dónde se inician las convulsiones en el cerebro. Con prompts cuidadosamente diseñados, su rendimiento puede acercarse al de clínicos experimentados, al menos para la tarea limitada de mapear signos de crisis a regiones cerebrales amplias. Al mismo tiempo, los modelos pueden sonar convincentes mientras se apoyan en razonamientos defectuosos o fuentes inventadas. Esta mezcla de promesa y riesgo significa que tales sistemas podrían algún día ayudar a priorizar casos o apoyar el pensamiento diagnóstico inicial, pero deben ser validados a fondo, supervisados de cerca y usarse junto con, no en lugar de, la experiencia humana.

Cita: Dani, M., Prakash, M.J., Rosa, F. et al. Evaluating large language models for diagnostic reasoning from unstructured clinical narratives in epilepsy. Commun Med 6, 303 (2026). https://doi.org/10.1038/s43856-026-01653-z

Palabras clave: epilepsia, semiología de las crisis, modelos de lenguaje grandes, razonamiento diagnóstico, evaluación clínica de IA