Geautomatiseerde beeldherstel voor restauratie van historische voorwerpen met hybriden van transfer learning en diepe generatieve modellen

Waarom het herstellen van oude kunst met AI ertoe doet

Musea en archeologen wereldwijd strijden tegen de klok. Oude muurschilderingen, fresco’s en geschilderde muren brokkelen af, vervagen en scheuren na eeuwen van blootstelling aan vocht, vervuiling en onzorgvuldige omgang. Handmatige restauratie is langzaam, duur en soms onomkeerbaar. Deze studie presenteert een nieuw kunstmatig-intelligentiesysteem dat beschadigde afbeeldingen van historische kunstwerken digitaal kan herstellen, en conservatoren en onderzoekers een veilige manier biedt om te visualiseren hoe verloren scènes er mogelijk uitzagen en om ze voor toekomstige generaties te bewaren.

Geknakte muren, ontbrekende verf en een digitaal vangnet

Traditionele restauratie betekent vaak dat een conservator het werk fysiek retoucheert en nieuwe verf aanbrengt waar oude verf verdwenen is. Zelfs wanneer dit zorgvuldig gebeurt, zijn deze ingrepen moeilijk ongedaan te maken en kunnen ze moderne vooringenomenheid introduceren. Digitale restauratie volgt een andere weg: hoge-resolutiefoto’s van beschadigde muurschilderingen worden door algoritmen verwerkt die voorstellen doen voor het opvullen van ontbrekende gebieden. Omdat alles in software gebeurt, kunnen voorgestelde restauraties worden vergeleken, herzien of volledig verworpen zonder het fysieke object aan te raken. De auteurs richten zich op muurschilderingen uit Dunhuang in China — een beroemd complex van grottempels waarvan de wandschilderingen scheuren, afbladdering, schimmel en grote ontbrekende stukken hebben opgelopen. Hun doel is een systeem te bouwen dat zulke beelden automatisch kan herstellen en daarbij stijl, kleuren en fijne details zo veel mogelijk eer aan doet.

Van rumoerige foto’s naar heldere beginpunten

De eerste stap in het systeem is het opschonen van de invoerfoto’s zodat latere verwerking niet wordt misleid door cameraruidof slechte belichting. De methode gebruikt een adaptief mediaanfilter, een techniek die vlekjes en willekeurige heldere of donkere pixels wegvlakt terwijl scherpe randen behouden blijven, zoals contouren in een muurschildering. Daarna wordt het contrast verbeterd zodat vage lijnen en vervaagde kleuren gemakkelijker te onderscheiden zijn. Deze aanpassingen werken als het zacht polijsten van een stoffige lens: ze verzinnen geen nieuwe inhoud, maar maken bestaande details beter zichtbaar. Door deze fase zorgvuldig af te stemmen voorkomen de auteurs overmatige vervaging die delicaat penseelwerk, waar onderzoekers om geven, zou kunnen uitwissen.

Het systeem leren schade te begrijpen

Als de afbeelding is opgeschoond, moet het model beslissen welke delen van een muurschildering intact zijn en welke beschadigd. Hiervoor gebruiken de auteurs een compact maar krachtig neuraal netwerk genaamd SqueezeNet, aangepast met een attentiemechanisme zodat het zich op informatieve regio’s concentreert. Dit netwerk leert de beeldtaal van muurschilderingen te lezen — texturen van pleister, pigmentpatronen en vormen van scheuren of kale muur. De output voedt een ander netwerk, U-Net, dat is ontworpen voor precieze “uitknip”-taken. U-Net labelt elke pixel als gezonde verf, ontbrekend stuk of andere vormen van degradatie. Dankzij skip-connections en toegevoegde attention- en residual-blokken houdt het zowel het brede overzicht (waar een figuur of rand ligt) als fijne kenmerken (zoals haarlijntjes en ornamenten) bij en geeft precies aan waar inpainting nodig is.

Een AI-schilder het laten opvullen

Met de gemarkeerde beschadigde gebieden is de laatste stap te bedenken hoe die gebieden er oorspronkelijk uitgezien kunnen hebben. Hier combineren de auteurs twee toonaangevende ideeën: generative adversarial networks (GANs), die zeer bedreven zijn in het creëren van realistische beelden, en transformernetwerken, die uitstekend zijn in het vastleggen van langetermijnrelaties. Hun hybride "transformer-gebaseerde GAN" kijkt naar de omliggende intacte verf en naar de muurschildering als geheel om plausibele texturen, vormen en kleuren voor de ontbrekende zones af te leiden. Het kopieert niet simpelweg nabijgelegen pixels; in plaats daarvan synthetiseert het nieuwe inhoud die soepel in de scène overloopt en rekening houdt met globale compositie, zoals de symmetrie van patronen of de continuïteit van gewaden en architectonische lijnen.

Hoe goed de digitale restaurator presteert

Om hun systeem te testen, gebruikten de onderzoekers een gespecialiseerd dataset van Dunhuang-muurschilderingen met kunstmatig beschadigde versies en grondwaarheden. Hierdoor kunnen ze meten hoe dicht de digitaal herstelde output bij de onbeschadigde referentie komt. Ze rapporteren dat hun methode, genoemd HDLIP-SHAR, meerdere sterke bestaande technieken verslaat op verschillende kwaliteitscores, waaronder algehele helderheid (PSNR), structurele gelijkenis (SSIM) en een moderne perceptuele maat (LPIPS) die beter overeenkomt met menselijke visuele beoordeling. Het model draait ook efficiënt en vereist minder rekenmiddelen en tijd dan veel concurrerende benaderingen, wat belangrijk is als musea grote collecties willen verwerken.

Wat dit betekent voor het bewaren van geschiedenis

Voor niet-specialisten is de belangrijkste conclusie dat dit AI-systeem functioneert als een zorgvuldige, omkeerbare assistent in plaats van een overmoedige schilder. Het kan voorstellen doen voor het aanvullen van ontbrekende gezichten, patronen of scènes in oude muurschilderingen en biedt onderzoekers een krachtig visualisatie-instrument zonder de originelen in gevaar te brengen. Tegelijk merken de auteurs beperkingen op: de methode is nog steeds afhankelijk van redelijk duidelijke referentiemateriaal, heeft moeite met extreem ernstige schade en verwerkt nog geen historisch onderzoek of materiaalanalyse in haar schattingen. Toch markeren hybride benaderingen zoals HDLIP-SHAR een belangrijke stap richting het gebruik van AI niet alleen om mooie plaatjes te verbeteren, maar om onmisbaar cultureel erfgoed op een transparante, toetsbare en niet-invasieve manier te helpen bewaren.

Bronvermelding: Swathi, B., Rao, D.B.J. Automated image inpainting for historical artifact restoration using hybridisation of transfer learning with deep generative models. Sci Rep 16, 4810 (2026). https://doi.org/10.1038/s41598-026-35056-w

Trefwoorden: digitale muurschilderingrestauratie, beeldinpainting, deep learning, cultureel erfgoed, GAN-transformermodelen