Digital restaurering av antika Jiangnan-fresker via proxyinlärning och strukturell vägledning

Rädda försvinnande väggmålningar

I de fuktiga flodområdena i södra Kina håller århundraden gamla väggmålningar tyst på att försvinna. Värme, fukt och tid äter bort putsytan, vilket leder till sprickor, fläckar och flagning som är kostsamt och riskfyllt att åtgärda för hand. Denna artikel presenterar ett nytt sätt för datorer att digitalt ”restaurera” dessa sköra Jiangnan-fresker, och återge deras scener och penselföring på skärm utan att röra vid originalväggarna. Arbetet är viktigt inte bara för konstintresserade, utan för alla som bryr sig om hur modern teknik kan hjälpa till att bevara världens kulturella minne.

Jiangnans dolda skatter

De studerade freskerna finns utspridda i anfaderhallar, tempel och gamla hem i Zhejiang-provinsen. Till skillnad från de berömda ökendomarna i Dunhuang ligger dessa verk i ett varmt, fuktigt klimat som är särskilt hårt mot material av jord, trä och kalk. Undersökningar visar att många fresker är täckta av överlappande skador: sprickor, mögel, blekning, vattenskador och områden där färgskiktet skalat av. Fysisk reparation är dyr, oåterkallelig och tekniskt krävande, så digital restaurering — att återbygga bilden i pixlar istället för i puts — erbjuder en säkrare första försvarslinje. Men just de egenskaper som gör dessa fresker speciella gör dem också svåra för datorer att hantera.

Varför vanlig AI inte räcker till

Moderna bildreparationsprogram baserade på djupinlärning förlitar sig vanligen på stora samlingar av ”före och efter”-bildpar för träning. För Jiangnan-fresker finns sådana data helt enkelt inte: verken är utspridda, målade av många olika folkliga konstnärer och deras ursprungliga, oskadade utseenden är okända. Samtidigt förvirrar själva skadorna vanliga algoritmer. Mörka sprickor och mögfläckar kan likna tunna bläcklinjer, så en modell som blint följer synliga kanter tenderar att reproducera skadan istället för att avlägsna den. Som en följd lämnar färdiga restaureringsverktyg antingen kvar defekter eller hittar på detaljer som skär sig mot freskernas traditionella stil.

Lära stil från närliggande konst

För att ta sig ur detta dödläge föreslår författarna ett arbetsflöde kallat Structurally Guided Proxy Restoration, eller SGPR. Första steget är att separera ”inlärning av stil” från ”åtgärdande av fresk”. Istället för att träna direkt på knapphändiga freskfotografier samlar de en stor proxy­samling med mer än sex tusen klassiska kinesiska målningar från museer. Dessa bilder delar samma konstnärliga språk som Jiangnan-freskerna: hur linjer flyter, hur bläcknyanser byggs upp och hur scener komponeras. En kraftfull bildgenerator, byggd på modern diffusionsteknik, finjusteras sedan på denna proxyuppsättning. En särskild förlustfunktion uppmuntrar modellen att inte bara efterlikna texturer utan att fånga bredare konstnärliga drag såsom penselns rytm och färgbalans. Resultatet, kallat ArtBooth, är en generator som ”talar” traditionell kinesisk måleriutförligt, även om den aldrig sett de faktiska skadade freskerna.

Hitta rena linjer i smutsiga bilder

Det andra viktiga steget är att utvinna freskernas ursprungliga struktur ur röriga fotografier. Här introducerar författarna en algoritm för selektiv funktionsutvinning som inte kräver någon inlärning. Den tittar på samma skadade fresk i två bildskalor och kör två enkla kantdetektorer på varje version. Funktioner som konsekvent förekommer i båda detektorerna och i båda skalorna är sannolikt äkta teckningslinjer — som konturen av en rock eller en trädstam — medan slumpmässiga prickar och fläckar troligen är mögel eller fläckar. Genom att förena dessa signaler till en ”konvolut”mask förstärker algoritmen pålitliga linjer och dämpar brus, och producerar två rena styrkartor: en skarp linjeteckning och en förfinad kantkarta som framhäver verklig struktur samtidigt som mycket av förfallet ignoreras.

Vägledd digital reparation i praktiken

Den avslutande delen av SGPR kopplar ihop dessa rena strukturkartor med den stilkänsliga generatorn genom ett optimerat kontrollnätverk. Under restaureringen matas den skadade freskbilden och en kort textprompt till ArtBooth, medan de filtrerade linje- och kantkartorna fungerar som en form av byggnadsställning. En anpassad version av ControlNet-ramverket injicerar dessa kartor i generatorns inre lager och styr försiktigt varje avbrusningssteg så att nya pixlar följer den ursprungliga layouten och penselföringen istället för att drifta mot generiska motiv. Tester på både simulerade skador och verkliga fresker från byn Songxi visar att detta kombinerade system tar bort fläckar och sprickor mer grundligt än existerande metoder, behåller figurer och objekt på rätt platser och producerar bilder som experter bedömde vara nära kvaliteten hos noggranna manuella digitala restaureringar.

Vad detta betyder för kulturarvet

För icke-specialister är slutsatsen tydlig: genom att lära sig det visuella språket från närliggande konstverk och noggrant skilja äkta linjer från skador kan AI nu erbjuda museiklassade digitala touch-ups för sköra fresker som annars riskerar att försvinna. Metoden har ännu svårigheter när hela delar av en målning saknas och är inte heller utökad till rikt färgsprakande verk, men den ger redan konservatorer ett kraftfullt nytt verktyg. På ett bredare plan visar studien hur smart användning av proxydata och strukturell vägledning kan hjälpa till att skydda många typer av kulturföremål som är för sällsynta, för skadade eller för dyrbara för att kunna förse de massiva träningsuppsättningar som modern AI vanligtvis kräver.

Citering: Yang, C., Liu, Y. & Cai, Y. Digital restoration of ancient Jiangnan murals via proxy learning and structural guidance. npj Herit. Sci. 14, 182 (2026). https://doi.org/10.1038/s40494-026-02369-y

Nyckelord: digital muralrestaurering, bevarande av kulturarv, bildgenererande AI, kinesisk måleristil, skadebeständig funktionsutvinning