Melan-Dx: ett kunskapsförstärkt syn‑och‑språk‑ramverk förbättrar differentialdiagnostik av melanocytära neoplasier i patologi

Varför smartare melanomdiagnostik spelar roll

Melanom, en farlig form av hudcancer, kan ofta botas om det upptäcks tidigt — men bara om läkare som granskar vävnadsprover i mikroskopet känner igen det korrekt. Tyvärr är även erfarna specialister ibland oense om vad de ser, särskilt när det gäller gränsfall som ser nästan, men inte helt, maligna ut. Denna artikel beskriver Melan‑Dx, ett nytt system för artificiell intelligens (AI) som syftar till att stödja hudcancerexperter genom att kombinera tusentals expert‑etiketterade mikroskopbilder med strukturerad medicinsk kunskap, och därigenom erbjuda snabbare, mer konsekventa och mer transparenta diagnoser.

Att bygga ett rikt atlas av hudtumörbilder

Det första steget var att sammanställa ett högkvalitativt ”atlas” över melanocytära tumörer — den breda familjen av förändringar som inkluderar ofarliga födelsemärken och livshotande melanom. Dermatopatologer vid University of Pennsylvania valde noggrant ut och märkte 2 893 mikroskopbilder som täcker 44 olika typer av melanocytära lesioner, från vanliga benigna naevus till sällsynta, aggressiva melanom. Varje bild fokuserar på ett intresseområde och är kartlagd i en tre‑nivåers hierarki baserad på Världshälsoorganisationens (WHO) tumörklassifikationer, där sjukdomar grupperas först efter bred kategori, sedan efter subtyp och slutligen efter specifik diagnos. Denna strukturerade uppställning speglar hur specialister tänker på dessa lesioner i vardagligt arbete.

Att lära AI med medicinsk kunskap, inte bara pixlar

Melan‑Dx går längre än typisk bild‑endast AI genom att para ihop bilder med textbeskrivningar hämtade från auktoritativa medicinska källor. För varje sjukdomstyp sammanställde teamet korta, strukturerade poster som beskriver vad patologer letar efter — såsom cellform, tillväxtmönster och resultat av särskilda färgningar — och hur dessa kännetecken skiljer en lesion från en annan. En stor språkmodell hjälpte till att organisera informationen, men mänskliga experter granskade den för noggrannhet. Tillsammans konverteras bilderna och texterna till numeriska ”embeddings” och lagras i en sökbar databas. Detta gör det möjligt för AI att inte bara känna igen visuella mönster utan även koppla dem till explicita diagnostiska kriterier, ungefär som en läkare som konsulterar en välindexerad, illustrerad lärobok.

Hur Melan‑Dx resonerar kring ett nytt fall

När Melan‑Dx får en ny biopsibild bearbetas den genom två koordinerade grenar. I bildgrenen kodar en visuell modell bilden och hämtar de mest liknande exemplen från atlaset, betonar dem som matchar bäst och blandar dem till en förstärkt representation. I kunskapsgrenen används samma bild för att plocka fram de mest relevanta textutdragen som beskriver möjliga diagnoser. Särskilda ”expert”moduler för varje sjukdomstyp väger vilka referensbilder och kunskapsinlägg som är viktigast, och fusionsblock kombinerar dessa ledtrådar. Systemet tränas så att för en korrekt diagnos ligger de förstärkta bild‑ och textrepresentationerna nära varandra, medan felmatchade par skjuts isär. Denna kontrastiva inlärning hjälper AI att separera dussintals subtilt olika tumörtyper samtidigt som den förblir förankrad i medicinsk kunskap.

Test av noggrannhet, säkerhet och effektivitet

Forskarlaget jämförde sedan Melan‑Dx med flera ledande patologiska AI‑modeller över flera uppgifter. För den grundläggande frågan ”melanom eller inte?” uppnådde Melan‑Dx upp till 87 % noggrannhet, vilket överträffade både modeller som varit lätt anpassade och sådana som tränats om helt. I en svårare fyrtio‑vägs klassificering över många melanom‑ och födelsemärkes‑subtyper nådde systemet nästan 70 % noggrannhet på första gissningen och över 87 % när tre gissningar tilläts, återigen bättre än konkurrerande angreppssätt. Systemet respekterade också sjukdomshierarkin: när det hade fel var det mer sannolikt att det förväxlade nära besläktade tillstånd än att blanda ihop benigna och maligna kategorier, vilket bättre återspeglar verkliga kliniska risker. På helgslide‑bilder — stora digitala skanningar av hela vävnadssektioner — förbättrade Melan‑Dx cancerdetektion både när träningsdata var knappa och när många exempel fanns tillgängliga, och gjorde det samtidigt medan träningstiden minskade med nästan 90–97 % eftersom den grundläggande visuellamodellen inte behöver tränas om.

Vad detta betyder för patienter och läkare

För patienter är Melan‑Dx löftet inte en allvetande robotläkare, utan en smartare andra åsikt som kan hjälpa till att minska bortglömda melanom och onödig oro från överdiagnostik. För kliniker erbjuder systemet inte bara en etikett utan även bevis: det visar liknande tidigare fall och de viktigaste skriftliga kriterierna som stöder dess förslag, vilket gör dess resonemang lättare att granska. Även om det nuvarande arbetet fokuserar på melanocytära tumörer och förlitar sig på en noggrant kurerad datamängd från ett center, skulle samma strategi — att länka bilder med strukturerad medicinsk kunskap och använda återhämtning för att vägleda AI — kunna utvidgas till många andra sjukdomar. Som ett lättviktigt, förklarligt verktyg utformat för människa‑AI‑samarbete pekar Melan‑Dx mot en framtid där patologer förblir ansvariga, men är bättre rustade för att ställa korrekta, snabba hudcancerdiagnoser.

Citering: Yao, J., Li, S., Liang, P. et al. Melan-Dx: a knowledge-enhanced vision-language framework improves differential diagnosis of melanocytic neoplasm pathology. npj Digit. Med. 9, 171 (2026). https://doi.org/10.1038/s41746-026-02357-3

Nyckelord: melanomdiagnos, beräkningspatologi, medicinsk AI, vision‑language‑modeller, hudcancerdetektion