Att förena modaliteter med AI: en översikt av AI‑framsteg inom multimodal biomedicinsk avbildning

Se mer än vad ögat först skådar

Modern medicin är starkt beroende av bilder — från röntgen och magnetkameraundersökningar till mikroskopiska preparat — för att förstå vad som händer i kroppen. Den här översikten förklarar hur artificiell intelligens (AI) kan väva samman många olika typer av medicinska bilder till en enda, rikare bild av sjukdom. För en lekman är lockelsen tydlig: dessa framsteg kan innebära tidigare upptäckt av cancer, mer precisa diagnoser och behandlingar anpassade till individen snarare än till en genomsnittspatient.

Därför räcker inte en bild längre

Varje avbildningsmetod visar bara en del av berättelsen. Radiologiska verktyg som CT, MR och ultraljud avslöjar organens form och struktur, medan nukleära undersökningar som PET visar hur aktiv en tumör är. Under mikroskopet ser patologer hur celler är ordnade, och spektroskopiska metoder avläser vävnaders kemiska fingeravtryck. Optiska tekniker som optisk koherenstomografi kan zooma in på tunna lager i öga eller hud. Enskilt kan dessa ”enkelvy”-ögonblicksbilder missa viktiga ledtrådar. När de kombineras kan de däremot länka hur en tumör ser ut, hur den beter sig och vilka molekyler som driver den, vilket ger läkare en mer fullständig bild av sjukdomen.

Hur AI rengör och kompletterar medicinska bilder

Innan olika bilder kan kombineras måste de rengöras, anpassas och ibland till och med skapas från grunden. Författarna beskriver hur AI hjälper till att ta bort brus och rörelseoskärpa från skanningar, återställa detaljer i lågdos‑CT eller PET och korrigera artefakter som annars skulle förvirra både läkare och datorer. Djupinlärningssystem kan, med hjälp av exempel, lära sig hur en ren bild ska se ut och därefter återställa nya skanningar. Andra AI‑modeller genererar realistiska syntetiska bilder för att ”fylla ut” små dataset eller komplettera saknade bildtyper. Detta är särskilt värdefullt vid sällsynta sjukdomar, där det kan finnas mycket få verkliga exempel att träna diagnostiska verktyg på.

Att blanda olika vyer till en helhet

Hjärtat i översikten är hur AI faktiskt fusionerar flera avbildningskällor. På den mest grundläggande nivån lägger pixelbaserade metoder över skanningar som MR och PET så att struktur och aktivitet framträder i en enskild, skarpare bild. Mer avancerade angreppssätt extraherar nyckelmönster eller ”funktioner” från varje modalitet och kombinerar dessa mönster snarare än de råa bilderna, vilket gör processen mer robust mot skillnader i upplösning och justering. Senare eller så kallad ”beslutsnivå”-fusion går ännu längre och låter separata AI‑modeller analysera olika bilder och sedan rösta eller medelvärdesbilda sina prediktioner. Hierarkiska system blandar flera av dessa idéer och staplar olika fusionssteg så att de kan hantera allt från små cellulära detaljer till organomfattande förändringar inom ett och samma ramverk.

Från bättre bilder till bättre vård

Dessa fusionsmetoder prövas redan i många kliniska sammanhang. Att kombinera flera MR‑sekvenser förbättrar avgränsningen av hjärntumörer, medan sammanslagning av mammografi, ultraljud och MR ökar upptäckten av bröstcancer och förbättrar riskbedömning. Att koppla digitala patologipreparat med radiologiska bilder hjälper till att förutsäga tumörgenetik och patientöverlevnad utan behov av ytterligare tester. AI stöder också ”datadriven avbildning”, där subtila mönster i skanningar korreleras med genaktivitet eller patientutfall, vilket lovar mer exakt prognos och bättre val av behandlingar. Nya foundation‑modeller och multimodala stora språkmodeller syftar till att generalisera över uppgifter och bildtyper, och till och med koppla ihop bilder med skriftliga kliniska anteckningar, i riktning mot universella verktyg som kan anpassas till många sjukdomar och sjukhus.

Förtroende, rättvisa och vägen framåt

Trots entusiasm betonar författarna att viktiga utmaningar kvarstår. Medicinska bilder varierar kraftigt mellan sjukhus, maskiner och patientgrupper, vilket kan göra AI skört eller partiskt om det inte hanteras noggrant. Många kraftfulla modeller beter sig som svarta lådor, vilket gör det svårt för kliniker att förstå varför ett visst beslut fattades. Översikten diskuterar insatser för att belysa vilka regioner i varje bild som mest påverkar prediktionerna och för att utforma mer rättvisa, transparenta system. Den tar också upp etiska frågor kring integritet, datadelning och de stora beräkningsresurser som stora modeller kräver. Framöver föreställer sig författarna specialiserade AI‑”agenter” som kontinuerligt övervakar avbildning, bärbara sensorer och journaldata, assisterar kliniker i realtid och hjälper till att samordna långsiktig vård. För patienter är slutsatsen att kombinationen av många slags medicinska bilder med AI kan innebära snabbare svar, mer personliga behandlingar och i slutändan bättre resultat — förutsatt att dessa tekniker utvecklas och används ansvarsfullt.

Citering: Doan, L.M.T., Shahhosseini, K., Verma, S. et al. Bridging modalities with AI: a review of AI advances in multimodal biomedical imaging. Commun Eng 5, 30 (2026). https://doi.org/10.1038/s44172-026-00602-x

Nyckelord: multimodal biomedicinsk avbildning, medicinsk AI, bildfusionsmetoder, radiologi och patologi, precisionmedicin