AFMNet: ett aktiveringsfritt nätverk för muralåterställning via en multi-head attention-mekanism

Varför det är viktigt att rädda blekta väggmålningar

Forntida väggmålningar i tempel och grottor är inte bara vackra utsmyckningar; de är visuella dokument över hur människor en gång levde, bad, klädde sig och föreställde sig världen. Tyvärr är många av dessa fresker spruckna, flagar eller delvis förlorade. Att restaurera dem för hand är långsamt, riskfyllt och ibland omöjligt. Denna studie introducerar AFMNet, en ny datormetod som digitalt kan ”fylla i” skadade områden i muralbilder på ett sätt som ser övertygande ut för ögat, körs effektivt på modest hårdvara och hjälper till att skydda ömtåliga kulturföremål för forskning och virtuell visning.

Problemet med skadade bilder

Traditionella digitala reparationsverktyg kopierar vanligtvis närliggande färger och texturer in i saknade områden, vilket fungerar för små repor men misslyckas när hela ansikten, händer eller dekorativa mönster är borta. Moderna metoder inom artificiell intelligens kan föreställa sig rimligt innehåll för stora luckor, men de flesta är designade för vardagsfoton, inte för den särpräglade stilen i forntida konst. Väggmålningar har ofta unika figurer, intrikata ramar och oregelbundna sprickor som inte följer prydliga former. Befintliga system suddar antingen ut viktiga detaljer, introducerar klumpiga former eller kräver tung datorkraft som är opraktisk för många museer och konserveringslaboratorier.

Ett nätt nätverk byggt för muraler

AFMNet är ett kompakt bildbehandlingsnätverk formad som ett U, med en encoder som bryter ner en skadad bild i funktioner och en decoder som bygger upp den till en komplett bild. Det som gör det särskilt är en tvåspårsdesign: ett spår för information om de synliga delarna av målningen och ett annat som bär en karta över vilka pixlar som saknas eller är opålitliga. Denna karta uppdateras i varje steg, så systemet vet alltid var det kan lita på originalbilden och var det måste återskapa nytt innehåll. Genom att uttryckligen skilja på intakta och skadade områden fokuserar AFMNet sina ansträngningar där de bäst behövs och undviker onödiga förändringar av orörda regioner.

Att blanda globala mönster med fin detalj

För att göra trovärdiga reparationer måste systemet förstå både den övergripande scenen och små penseldrag. AFMNet:s kärnbyggsten hanterar detta genom att betrakta bilden på tre kompletterande sätt samtidigt. I det spatiala perspektivet undersöker den lokala pixelnaboskap, vilket hjälper vid sprickor och kanter. I frekvensperspektivet använder den en matematisk transform för att se bredare strukturer och upprepade motiv över hela målningen. I kanalperspektivet lär den sig vilka kombinationer av färg och textur som bär de viktigaste konstnärliga signalerna, och förstärker dessa diskret medan mindre användbar information ignoreras. Istället för att förlita sig på standardaktiveringsfunktioner som kräver mycket beräkning, använder AFMNet en enkel grindmekanism som multiplicerar par av funktionskartor för att skapa icke-linjäritet, vilket minskar modellens storlek och beräkning utan att offra uttrycksförmåga.

Låta avlägsna regioner kommunicera

Många muraler innehåller figurer, ornament och bakgrunder som är relaterade över stora avstånd på väggen. För att koppla samman dessa avlägsna element lägger AFMNet till en lättvikts multi-head attention-modul vid den smalaste delen av U:t. Här tillåter nätverket varje del av bilden att ”titta” på alla andra giltiga delar och avgöra vilka som bör påverka restaureringen. Olika attention-heads kan specialisera sig på olika relationer — till exempel att hålla en gloria konsekvent i kurvatur eller att anpassa ett upprepat ramverk. Viktigt är att attention-modulen också ser skade-kartan, så den lär sig att inte basera beslut på regioner som redan har fyllts syntetiskt och fortfarande kan vara osäkra.

Bevis på att det fungerar i praktiken

För att testa AFMNet grundligt tränade författarna det först på en stor samling vardagsscener och finjusterade det sedan på en noggrant kurerad uppsättning Dunhuang-grottmålningar. De skapade realistiska skademasker med en random-walk-process som efterliknar verkliga sprickor och avflagning. Över flera skadenivåer presterade AFMNet konsekvent bättre än välkända konkurrerande metoder enligt standardmått för bildkvalitet, samtidigt som det använde ungefär en tredjedel färre parametrar än en stark referensmodell. Visuella jämförelser på både syntetiska och verkligt skadade muraler visade att AFMNet bättre bevarar ansiktsdrag, dekorativa linjer och subtila texturer med färre störande artefakter, även vid högre upplösningar som är vanliga i museiinventering.

Vad detta betyder för kulturarvet

Enkelt uttryckt är AFMNet en smart, effektiv digital restaurerare som kan återskapa saknade delar av forntida muraler på ett sätt som respekterar deras stil och struktur. Den hanterar komplexa sprickor och pigmentförluster mer graciöst än många befintliga verktyg och kan köras tillräckligt snabbt på vanliga datorer eller bärbara datorer för att användas på plats. Även om den fortfarande har problem med de mest svåra sotskadorna och mycket intrikata texturer, ger den konserverare och forskare ett kraftfullt hjälpmedel för att visualisera hur skadade verk kan ha sett ut, planera fysiska ingrepp säkrare och skapa engagerande digitala utställningar som väcker ömtåliga väggmålningar till liv för en bredare publik.

Citering: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

Nyckelord: digital muralrestaurering, bildinpainting, kulturarv, djuplärning, attention-nätverk