Multimodale fusie van fundamentmodellen voor pathologie en radiologie voor WHO 2021-gliomasubtypering

Twee gezichtspunten op hersentumoren samenbrengen

Wanneer iemand de diagnose hersentumor krijgt, moeten artsen niet alleen vaststellen dat er een tumor is, maar ook welk specifiek type het betreft. Verschillende tumortypen reageren zeer verschillend op chirurgie, bestraling en medicijnen. Tegenwoordig vereist deze gedetailleerde “subtypering” meestal genetische tests die traag, kostbaar en niet overal beschikbaar kunnen zijn. Deze studie onderzoekt of een slim computersysteem dat zowel hersenscans als microscoopbeelden van tumorweefsel bekijkt betrouwbaar deze subtypen kan afleiden, wat de toegang tot gerichte behandeling mogelijk zou versnellen en verbreden.

Waarom het tumortype ertoe doet

Diffuus gliomen bij volwassenen behoren tot de dodelijkste hersenkankers, maar ze lijken op standaardscans en onder de microscoop vaak op elkaar. Moderne richtlijnen delen ze in drie genetische subtypen die sterk verschillen in agressiviteit en in de levensverwachting van patiënten. De huidige gouden standaard om deze subtypen te onderscheiden berust op moleculaire testen van tumordNA. Deze tests vragen extra weefsel, gespecialiseerde laboratoria en dagen tot weken wachttijd voor uitslagen. De auteurs onderzoeken of routinematig verzamelde magnetische resonantiebeeldvorming (MRI) en digitale pathologievlinders (slides) gecombineerd kunnen worden om voldoende informatie te extraheren om een deel van dat genetische onderzoek te vervangen.

Machines leren scans en slides lezen

Het team bouwde voort op grote “foundation models” – krachtige beeldanalysatoren die vooraf zijn getraind op enorme verzamelingen medische beelden. Eén zulk model verwerkt multiparametrische MRI’s, en een ander verwerkt hoge-resolutie pathologievlinders gemaakt van tumorweefsel. Iedere binnenkomende casus wordt opgesplitst in kleine beeldpatches, die de fundamentmodellen omzetten in numerieke vingerafdrukken. Bovenop deze vaste “experts” trainden de onderzoekers drie typen fusiemodellen die leren informatie uit zowel MRI als pathologie te combineren: een late-fusion ontwerp, een early-fusion ontwerp en een meer flexibele mixture-of-experts-architectuur die dynamisch kan bepalen hoeveel gewicht aan elke bron gegeven wordt.

Modaliteiten mengen zonder dezelfde patiënten te hebben

Een praktisch obstakel voor zulke multimodale methoden is dat ziekenhuizen zelden grote datasets hebben waarin elke patiënt zowel MRI- als pathologiefoto’s keurig gekoppeld heeft. In plaats van te vertrouwen op perfect gematchte data, stelden de auteurs aparte verzamelingen samen: honderden MRI-gevallen uit meerdere centra en honderden pathologiegevallen uit een andere bron, plus een kleinere set van 171 patiënten uit een openbaar kankerproject die beide hadden. Tijdens training koppelden ze vaak een MRI van de ene persoon aan een pathologievlinder van een andere, zolang de tumoren tot hetzelfde subtype behoorden. Verrassend genoeg presteerden modellen die op zulke “ongematchte” data waren getraind even goed als modellen getraind op echte patiëntparen, en duidelijk beter dan simpelweg het middelen van twee afzonderlijke single-modality-modellen.

Één model dat zich aanpast aan wat beschikbaar is

Op de apart gehouden set van 171 volledig gekarakteriseerde patiënten versloegen alle multimodale modellen hun single-input-tegenhangers, en de mixture-of-experts-opzet presteerde het best, met zeer hoge scores bij het onderscheiden van de drie subtypen. Opmerkelijk is dat wanneer bij de test alleen MRI of alleen pathologie werd aangeboden, het multimodale model niet instortte; het presteerde ongeveer even goed als toegewijde single-modality-modellen. Dit betekent dat een kliniek één uniform systeem zou kunnen inzetten dat gebruikt maakt van welke informatie ook beschikbaar is—alleen preoperatieve scans, alleen postoperatief weefsel, of beide samen—zonder voor elk scenario aparte tools te hoeven onderhouden.

Inzien wat het model ziet

Om vertrouwen in de beslissingen van het systeem op te bouwen onderzochten de onderzoekers waar het model “kijkt” en welke beeldkenmerken het meest van belang zijn. Attention-kaarten toonden aan dat het gezamenlijke model zijn focus bredere verspreidt over de tumor en de omgeving, zowel in MRI als in weefselslides, en dat meer diffuse aandacht vaak samenhing met correcte voorspellingen. Een diepergaande analyse van geleerde kenmerken onthulde patronen die overeenkomen met bekende medische aanwijzingen: bijvoorbeeld MRI-kenmerken die contrast-oplichtende tumorcores en vervormde vloeisterruimtes benadrukken hielpen bij het scheiden van meer agressieve tumoren, terwijl weefselkenmerken die klassieke celvormen en texturen vastleggen hielpen bij het herkennen van specifieke gliomasubtypen. Ook kwamen interessante leemtes naar voren: het model codeerde sommige leerboektekens van de meest agressieve tumoren niet sterk, wat ondersteunt dat het die groep vaak als een “standaard” behandelt tenzij er sterk bewijs is voor een gunstiger subtype.

Wat dit voor patiënten kan betekenen

Simpel gezegd laat dit werk zien dat een AI-systeem dat hersenscans en microscoopbeelden combineert tumoren beter kan classificeren dan systemen die slechts één beeldtype bekijken, en dat het getraind kan worden ook wanneer de twee beeldtypen niet van dezelfde patiënten afkomstig zijn. Als dit verder wordt gevalideerd in grotere en meer diverse cohorten, zouden dergelijke hulpmiddelen artsen kunnen helpen het tumortype eerder en op bredere schaal in te schatten, vooral op locaties waar genetische tests beperkt beschikbaar zijn. Hoewel ze geen vervanging zijn voor moleculaire tests, kunnen ze dienen als snelle, goedkope richtingaanwijzers die chirurgen en oncologen naar de meest waarschijnlijke diagnose en het meest geschikte behandelpad leiden.

Bronvermelding: Saueressig, C., Scholz, D., Raffler, P. et al. Multimodal fusion of pathology and radiology foundation models for WHO 2021 glioma subtyping. npj Precis. Onc. 10, 118 (2026). https://doi.org/10.1038/s41698-026-01366-5

Trefwoorden: gliomasubtypering, multimodale beeldvorming, kunstmatige intelligentie, MRI en pathologie, hersen-kankerdetectie