Automatiserad bildinpaintning för restaurering av historiska artefakter genom hybridisering av transferinlärning och djupa generativa modeller

Varför det spelar roll att återskapa forntida konst med AI

Museer och arkeologer runt om i världen tävlar mot tiden. Forntida väggmålningar, fresker och målade murar smular sönder, bleknar och får sprickor efter århundraden av fukt, föroreningar och vårdslös hantering. Att restaurera dem för hand är långsamt, dyrt och ibland oåterkalleligt. Denna studie presenterar ett nytt artificiellt intelligenssystem som digitalt kan reparera skadade bilder av historiska konstverk, vilket ger konservatorer och forskare ett säkert sätt att visualisera hur förlorade scener kan ha sett ut och att bevara dem för framtida generationer.

Spruckna väggar, saknad färg och ett digitalt säkerhetsnät

Traditionell restaurering innebär ofta att en konservator fysiskt retuscherar konstverket, lägger till ny färg där den gamla är borta. Även om detta görs omsorgsfullt går förändringarna inte lätt att ångra och kan införa moderna tolkningar. Digital restaurering tar en annan väg: högupplösta fotografier av skadade väggmålningar bearbetas av datoralgoritmer som föreslår hur saknade områden kan fyllas igen. Eftersom allt sker i mjukvara kan föreslagna restaureringar jämföras, revideras eller helt förkastas utan att röra det fysiska objektet. Författarna fokuserar på väggmålningar från Dunhuang i Kina — ett berömt komplex av grotttempel vars väggmålningar drabbats av sprickor, flagning, mögel och stora saknade partier. Deras mål är att bygga ett system som automatiskt kan reparera sådana bilder samtidigt som originalstil, färger och fina detaljer bevaras så mycket som möjligt.

Från brusiga foton till klara utgångspunkter

Det första steget i systemet är att rensa upp insatsfotografierna så att senare bearbetning inte vilseleds av kamerabrus eller dålig belysning. Metoden använder ett adaptivt medianfilter, en teknik som jämnar bort prickar och slumpmässigt ljusa eller mörka pixlar samtidigt som skarpa kanter bevaras, såsom konturer i en väggmålning. Den förstärker sedan kontrasten så att svaga linjer och blekta färger blir lättare att urskilja. Dessa justeringar fungerar som att varsamt putsa en dammig lins: de uppfinner inte nytt innehåll, men gör befintliga detaljer mer synliga. Genom att noggrant ställa in detta steg undviker författarna överutjämning, vilket skulle kunna radera ömtåligt penselarbete som forskare värdesätter.

Att lära systemet att förstå skador

När bilden är rengjord måste modellen avgöra vilka delar av en väggmålning som är intakta och vilka som är skadade. För detta använder författarna ett kompakt men kraftfullt neuralt nätverk kallat SqueezeNet, justerat med en uppmärksamhetsmekanism så att det fokuserar på informativa regioner. Detta nätverk lär sig läsa väggmålningars visuella språk — strukturer i putsen, pigmentmönster och sprickornas eller den nakna väggens former. Dess utdata matas in i ett annat nätverk kallat U-Net, designat för precisa "cut-out"-uppgifter. U-Net märker varje pixel som frisk färg, saknad fläck eller annan form av försämring. Tack vare skip connections samt tillagda attention- och residual-block håller det koll på både breda dispositioner (var en figur eller kant befinner sig) och små detaljer (som hårstrån och ornament), och kartlägger exakt var inpaintning behövs.

Låta en AI-målare fylla igen luckorna

Med de skadade regionerna markerade är det sista steget att föreställa sig hur dessa områden ursprungligen kan ha sett ut. Här kombinerar författarna två framstående idéer: generativa adversariella nätverk (GANs), som är duktiga på att skapa realistiska bilder, och transformernätverk, som utmärker sig på att fånga långväga beroenden. Deras hybrida "transformer-baserade GAN" ser på den omgivande intakta färgen och på målningen som helhet för att härleda rimliga texturer, former och färger för de saknade zonerna. Den kopierar inte bara närliggande pixlar; istället syntetiserar den nytt innehåll som smälter sömlöst in i scenen och respekterar den globala kompositionen, såsom symmetrin i mönster eller kontinuiteten i dräkter och arkitektoniska linjer.

Hur väl den digitala restaureringen presterar

För att testa sitt system använde forskarna en specialiserad dataset av Dunhuang-väggmålningar som inkluderar artificiellt skadade versioner och original som sanning. Detta gör det möjligt att mäta hur nära den digitalt återställda bilden kommer det oskadade referensmaterialet. De rapporterar att deras metod, kallad HDLIP-SHAR, slår flera starka befintliga tekniker på flera kvalitetsmått, inklusive övergripande klarhet (PSNR), strukturell likhet (SSIM) och ett modernt perceptuellt mått (LPIPS) som bättre återspeglar mänsklig visuell bedömning. Modellen körs också effektivt, och kräver färre beräkningsresurser och mindre tid än många konkurrerande angreppssätt, vilket är viktigt om museer vill bearbeta stora samlingar.

Vad detta betyder för att rädda historien

För icke-specialister är huvudpoängen att detta AI-system fungerar mer som en försiktig, reversibel assistent än som en övermodig målare. Det kan föreslå hur saknade ansikten, mönster eller scener i forntida väggmålningar kan kompletteras, och erbjuda forskare ett kraftfullt visualiseringsverktyg utan att utsätta originalen för risk. Samtidigt noterar författarna begränsningar: metoden är fortfarande beroende av hyfsat tydligt referensmaterial, har svårigheter med extremt svåra skador och införlivar ännu inte historisk forskning eller materialanalys i sina gissningar. Ändå utgör hybrida tillvägagångssätt som HDLIP-SHAR ett viktigt steg mot att använda AI inte bara för att förbättra vackra bilder, utan för att hjälpa till att skydda oersättligt kulturarv på ett transparent, prövbart och icke-invasivt sätt.

Citering: Swathi, B., Rao, D.B.J. Automated image inpainting for historical artifact restoration using hybridisation of transfer learning with deep generative models. Sci Rep 16, 4810 (2026). https://doi.org/10.1038/s41598-026-35056-w

Nyckelord: digital väggmålningrestaurering, bildinpaintning, djuplärande, kulturarv, GAN-transformermodeller