Évaluation des grands modèles de langage pour le raisonnement diagnostique à partir de récits cliniques non structurés en épilepsie

Pourquoi cela compte pour les patients et les médecins

Lorsqu’une personne fait une crise, son aspect et ses sensations peuvent fournir des indices essentiels sur ce qui se passe dans le cerveau. Les médecins utilisent ces descriptions pour déterminer où les crises débutent et quels traitements, y compris la chirurgie, pourraient aider. Cette étude examine si les grands modèles de langage, le même type d’intelligence artificielle derrière les chatbots, peuvent interpréter de manière fiable des descriptions de crises issues du monde réel et soutenir ce type de raisonnement diagnostique.

Transformer des récits de crise en indices cérébraux

Les chercheurs se concentrent sur l’épilepsie, une affection où de brèves poussées d’activité cérébrale anormale provoquent des crises. Dans les soins quotidiens, les cliniciens écoutent attentivement les patients et les témoins, notant des éléments comme des mouvements de mastication, des sensations étranges ou des mouvements violents des membres. Ces détails orientent souvent vers des zones cérébrales spécifiques, comme les lobes temporaux ou frontaux. L’équipe s’est appuyée sur un grand jeu de données public dans lequel plus de 1 200 descriptions de crises avaient déjà été reliées à sept grandes régions cérébrales sur la base de résultats chirurgicaux ayant rendu les patients exempts de crises, un fort indice que la vraie source des crises avait été retirée.

Mettre de nombreux modèles d’IA à l’épreuve

Huit modèles de langage différents ont été évalués, comprenant des systèmes généraux largement utilisés et deux modèles adaptés à des textes médicaux. Chaque modèle recevait une description de crise et devait indiquer la probabilité que la crise ait débuté dans chacune des sept régions cérébrales. Les chercheurs ont examiné non seulement la fréquence à laquelle le premier choix était correct, mais aussi la confiance apparente des modèles, la concordance entre cette confiance et la réalité, et la pertinence de leurs explications écrites. Ils ont comparé les résultats à une référence simple qui choisissait toujours la région cérébrale la plus fréquente et à deux spécialistes humains de l’épilepsie qui ont noté un sous-ensemble de cas.

Comment la formulation des invites façonne le comportement de l’IA

La manière dont la tâche était formulée pour les modèles a eu un impact majeur. Lorsqu’on ne donnait que des instructions basiques, la plupart des systèmes faisaient seulement un peu mieux que le hasard. Les performances se sont améliorées lorsque les modèles recevaient quelques exemples, étaient invités à réfléchir étape par étape, ou se voyaient fournir des exemples de raisonnement clinique rédigés par des experts à imiter. Les plus grands gains provenaient des invites encourageant un raisonnement détaillé et de la combinaison de plusieurs réponses indépendantes pour aboutir à une décision plus stable. Avec ces consignes enrichies, les meilleurs systèmes se rapprochaient de la précision des cliniciens humains sur cette tâche spécifique, tout en devenant plus cohérents et mieux calibrés dans leur confiance.

Forces, angles morts et la vérification humaine

Un examen plus approfondi a révélé des mises en garde importantes. Des experts cliniques ont passé en revue le raisonnement produit par les deux meilleurs modèles. L’un d’eux, GPT-4, démontrait plus souvent une compréhension solide des symptômes, une utilisation précise des connaissances en épilepsie et une logique cohérente. Il avait aussi tendance à citer correctement de vrais articles scientifiques. Un autre bon performeur, Mixtral-8×7B, arrivait parfois à la bonne réponse pour de mauvaises raisons, en mal interprétant des détails symptomatiques ou en inventant des faits et des références de soutien. L’étude a aussi montré que les performances dépendaient de la longueur de la description de crise, du rôle clinique que le modèle était invité à incarner et de la langue utilisée. Des descriptions très courtes ou très détaillées donnaient les meilleurs résultats, se faire passer pour un spécialiste améliorait les performances, et l’utilisation d’invites non anglophones pouvait réduire la précision.

Ce que cela signifie pour les soins futurs

Les auteurs concluent que, dans un cadre contrôlé, les grands modèles de langage peuvent transformer des récits de crises non structurés en estimations utiles des zones d’apparition des crises dans le cerveau. Avec des invites soigneusement conçues, leurs performances peuvent se rapprocher de celles de cliniciens expérimentés, du moins pour la tâche restreinte de cartographier les signes de crise vers de larges régions cérébrales. En même temps, les modèles peuvent sembler convaincants tout en s’appuyant sur un raisonnement défectueux ou des sources inventées. Ce mélange de promesses et de risques signifie que ces systèmes pourraient un jour aider à trier les cas ou soutenir la réflexion diagnostique précoce, mais ils doivent être rigoureusement validés, étroitement supervisés et utilisés en complément, et non en remplacement, de l’expertise humaine.

Citation: Dani, M., Prakash, M.J., Rosa, F. et al. Evaluating large language models for diagnostic reasoning from unstructured clinical narratives in epilepsy. Commun Med 6, 303 (2026). https://doi.org/10.1038/s43856-026-01653-z

Mots-clés: épilepsie, sémiologie des crises, grands modèles de langage, raisonnement diagnostique, évaluation clinique de l’IA