Vooruitgang in converserende diagnostische AI met multimodale redenering

Waarom slimere online gezondheidschats ertoe doen

Velen van ons wenden zich tegenwoordig tot online chats of apps bij ziekteklachten en sturen foto’s van uitslag, foto’s van testresultaten of hartritmeregistraties van een horloge. Toch werken de meeste gezondheidschatbots nog steeds alleen met tekst en negeren ze deze rijke stroom aan afbeeldingen en documenten. Dit artikel onderzoekt een nieuw type medische AI‑assistent die kan zien en spreken, en afbeeldingen en dossiers in een gesprek verwerkt zoals een zorgvuldige arts dat zou doen tijdens een telehealth‑consult.

Een nieuw soort medische hulp

De onderzoekers bouwden een bijgewerkte versie van een systeem genaamd Articulate Medical Intelligence Explorer, of AMIE. In plaats van alleen te lezen en schrijven kan deze nieuwe multimodale AMIE tijdens een gesprek huidsfoto’s, elektrocardiogramafbeeldingen en klinische documenten ontvangen. Vervolgens redeneert het systeem over al deze informatie samen met het geschreven verhaal van de patiënt. Onder de motorkap draait AMIE op een krachtig algemeen taal‑ en visiemodel, maar het is ingebed in een raamwerk dat het door de gebruikelijke fasen van een medische afspraak leidt: het stellen van vragen, het formuleren van waarschijnlijke oorzaken en het suggereren van vervolgstappen.

Geleide gesprekken die zich aanpassen

Artsen stellen niet willekeurig vragen. Ze luisteren, vormen een mentaal beeld van de patiënt en passen hun vragen aan zodra er nieuwe aanwijzingen verschijnen. Om dit na te bootsen ontwierp het team wat zij een state‑aware dialogue framework noemen. Terwijl het gesprek vordert, houdt AMIE een interne samenvatting bij van de voorgeschiedenis, symptomen en eventuele geüploade afbeeldingen of documenten. Het onderhoudt ook een verborgen lijst van mogelijke diagnoses en kennislacunes. Deze interne staat helpt AMIE te beslissen wanneer het door moet vragen over de voorgeschiedenis, wanneer het om een foto of ECG moet vragen, wanneer het genoeg informatie heeft om waarschijnlijke oorzaken te schetsen en hoe het moet uitleggen wat het in de beelden ziet.

AI en artsen aan de tand voelen

Om te zien hoe goed multimodale AMIE presteert, voerde het team een grote gesimuleerde telehealth‑examen af die leek op de praktische toetsen die in medische opleidingen worden gebruikt. Getrainde acteurs speelden patiënten in 105 verschillende scenario’s die zowel gesprek als interpretatie van visueel materiaal vereisten, zoals huidbeelden, hartritmetracés of laboratoriumrapporten. Elke acteur had twee afzonderlijke tekstchatconsulten: één met een arts huisarts met board‑certificering en één met het AI‑systeem, zonder te weten welke welke was. Achteraf vulden zowel de menselijke clinici als de AI gestructureerde samenvattingen in van hun diagnoses en plannen. Onafhankelijke specialist‑artsen en de acteurs beoordeelden vervolgens de kwaliteit van elk consult.

Hoe het nieuwe systeem presteerde

In deze scenario’s waren de diagnoses van multimodale AMIE vaker correct dan die van de huisartsen, zowel bij kijk op de topkeuze als op een bredere lijst met mogelijkheden. Specialisten beoordeelden ook AMIE’s redenering, gebruik van afbeeldingen en omgang met patiëntvragen over die afbeeldingen als even goed of beter dan de artsen op de meeste maatstaven. Opvallend is dat wanneer de foto’s van lagere kwaliteit waren, zowel AI als artsen slechter presteerden, maar de nauwkeurigheid van de AI minder daalde. De acteuspatiënten waardeerden de AI minstens even hoog als de artsen voor hoffelijkheid, helderheid, empathie en de bereidheid om terug te komen voor een vervolgafspraak, en zij vonden dat de AI beter uitlegde wat er in de geüploade afbeeldingen te zien was.

De interne werking testen

De auteurs onderzochten ook waarom het systeem werkt zoals het doet. In computergebaseerde simulaties vergeleken ze de volledige versie van AMIE met een eenvoudigere versie die de gestructureerde, state‑aware redenering miste. Het volledige systeem stelde niet alleen nauwkeurigere diagnoses, maar verzamelde ook effectiever informatie en produceerde geschiktere zorgplannen. Toen ze het heen‑en‑weer voeren verwijderden en het model alleen vanaf afbeeldingen lieten werken, verslechterde de prestatie duidelijk, wat aantoont dat dialoog en anamneseafname nog steeds belangrijk zijn, zelfs voor een AI die kan zien. Extra tests suggereren dat het fijn afstemmen van het onderliggende model alleen op smalle medische taken sommige vaardigheden kan versterken maar andere kan schaden, dus richtten de auteurs zich in plaats daarvan op zorgvuldige ontwerpkeuzes in het redeneringsproces dat erbovenop ligt.

Wat dit zou kunnen betekenen voor toekomstige zorg

De studie suggereert dat AI‑systemen die praten en zien combineren op termijn zorgverleners kunnen helpen complexere afstandsconsulten veiliger en efficiënter af te handelen. Door door patiënten aangeleverde foto’s, hartritmetracés en documenten binnen een doordacht gesprek te interpreteren, evenaarde of overtrof multimodale AMIE in deze gecontroleerde setting vaak de prestaties van huisartsen, terwijl het sterke scores hield voor empathie en communicatie. De auteurs benadrukken dat dit nog verkennend werk is, geen echte klinische proef in de praktijk, en dat er veel moet gebeuren om veiligheid, eerlijkheid en impact in het dagelijks gebruik te testen. Toch wijst het op een toekomst waarin AI‑hulpmiddelen als capabele partners in telehealth fungeren en zowel patiënten als zorgverleners helpen om beter gebruik te maken van de beelden en informatie die al via onze schermen binnenkomen.

Bronvermelding: Saab, K., Park, C., Strother, T. et al. Advancing conversational diagnostic AI with multimodal reasoning. Nat Med 32, 1726–1736 (2026). https://doi.org/10.1038/s41591-026-04371-0

Trefwoorden: multimodale medische AI, telehealth, diagnostisch gesprek, klinische besluitvorming, medische chatbots