Utvärdering av stora språkmodeller för diagnostiskt resonerande utifrån ostrukturerade kliniska berättelser vid epilepsi

Varför detta är viktigt för patienter och läkare

När någon får ett anfall kan dess utseende och upplevelse ge viktiga ledtrådar om vad som händer i hjärnan. Läkare använder dessa beskrivningar för att avgöra var i hjärnan anfallen startar och vilka behandlingar, inklusive kirurgi, som kan hjälpa. Den här studien undersöker om stora språkmodeller — samma typ av artificiell intelligens som driver chattrobotar — pålitligt kan tolka verkliga anfallsbeskrivningar och stödja detta diagnostiska resonerande.

Att omvandla anfallsberättelser till hjärnledtrådar

Forskningen fokuserar på epilepsi, ett tillstånd där korta vågor av onormal hjärnaktivitet orsakar anfall. I vardaglig vård lyssnar kliniker noggrant på patienter och vittnen och noterar drag som tuggande rörelser, ovanliga sensationer eller våldsamma rörelser i extremiteterna. Dessa detaljer pekar ofta mot specifika hjärnområden, såsom temporalloben eller frontalloben. Teamet byggde vidare på en stor publik datamängd där mer än 1200 anfallsbeskrivningar redan kopplats till sju breda hjärnregioner baserat på operationsresultat där patienterna blev anfallsfria — ett starkt tecken på att den verkliga anfallsfokus hade avlägsnats.

Att testa många AI-modeller

Åtta olika språkmodeller utvärderades, inklusive allmänt använda system och två modeller finjusterade på medicinsk text. Varje modell fick en anfallsbeskrivning och skulle ange hur sannolikt det var att anfallet började i vardera av de sju hjärnregionerna. Forskarna undersökte inte bara hur ofta toppvalet var korrekt, utan också hur självsäkra modellerna verkade, hur väl den självsäkerheten överensstämde med verkligheten och hur rimliga deras skriftliga förklaringar var. Resultaten jämfördes med en enkel baslinje som alltid valde den vanligaste hjärnregionen samt med två mänskliga epilepsiexperter som bedömde ett delurval av fallen.

Hur uppmaningens formulering formar AI-beteendet

Hur uppgiften formulerades för modellerna hade stor betydelse. När de endast gavs grundläggande instruktioner presterade de flesta system bara något bättre än slumpen. Prestandan förbättrades när modellerna visades några exempel, ombads att tänka steg för steg eller fick expertformulerade exempel på kliniskt resonerande att efterlikna. Starkast förbättringar kom från uppmaningar som uppmuntrade till detaljerat resonerande och från att kombinera flera oberoende svar för att nå ett stabilare beslut. Under dessa rikare instruktioner närmade sig de bästa systemen människoklinikers noggrannhet i denna specifika uppgift, samtidigt som de blev mer konsekventa och bättre kalibrerade i sin självsäkerhet.

Styrkor, blinda fläckar och den mänskliga kontrollen

En närmare granskning avslöjade viktiga reservationer. Kliniska experter granskade det resonerande som producerades av de två bästa modellerna. En av dem, GPT-4, visade oftare god förståelse för symtomen, korrekt användning av epilepsikunskap och sammanhängande logik. Den tenderade också att korrekt ange verkliga vetenskapliga artiklar. En annan stark aktör, Mixtral-8×7B, nådde ibland rätt svar av fel skäl, missuppfattade symtomdetaljer eller hittade på stödjande fakta och referenser. Studien visade också att prestanda beroende på hur lång anfallsbeskrivningen var, vilken klinisk roll modellen uppmanades att efterlikna och vilket språk som användes. Mycket korta eller mycket detaljerade beskrivningar fungerade bäst, att låtsas vara en specialist förbättrade resultaten, och att använda icke-engelska uppmaningar kunde minska noggrannheten.

Vad detta innebär för framtida vård

Författarna drar slutsatsen att stora språkmodeller, i en kontrollerad miljö, kan omvandla ostrukturerade anfallsberättelser till användbara uppskattningar av var anfall startar i hjärnan. Med väl utformade uppmaningar kan deras prestanda komma nära erfarna klinikers, åtminstone för den snäva uppgiften att kartlägga anfallstecken till breda hjärnregioner. Samtidigt kan modellerna låta övertygande samtidigt som de vilar på bristfälligt resonerande eller påhittade källor. Denna blandning av potential och risk innebär att sådana system en dag kan hjälpa till att triagera fall eller stödja tidigt diagnostiskt tänkande, men de måste vara noggrant validerade, strikt övervakade och användas tillsammans med — inte istället för — mänsklig expertis.

Citering: Dani, M., Prakash, M.J., Rosa, F. et al. Evaluating large language models for diagnostic reasoning from unstructured clinical narratives in epilepsy. Commun Med 6, 303 (2026). https://doi.org/10.1038/s43856-026-01653-z

Nyckelord: epilepsi, anfallsssemiologi, stora språkmodeller, diagnostiskt resonerande, klinisk AI-utvärdering