ERS superpixel guided pigment identification and convolutional autoencoder unmixing in mural painting hyperspectral images

Waarom deze oude kleuren nog steeds van belang zijn

Oude muurschilderingen zijn meer dan decoratie; hun kleuren leggen handelsroutes, religieuze opvattingen en verdwenen technieken vast. Veel van deze wandschilderingen zijn te fragiel om direct te bemonsteren, en eeuwenlange blootstelling aan licht, vocht en zouten heeft hun oorspronkelijke tinten veranderd. Deze studie presenteert een nieuwe manier om de pigmenten in een beroemde boeddhistische grottenschildering in China te "lezen" zonder het oppervlak aan te raken, door geavanceerde beeldvorming en kunstmatige intelligentie te combineren om te onthullen wat de kunstenaars daadwerkelijk gebruikten en hoe die materialen zijn verouderd.

Een muur bekijken met veel ogen

In plaats van de mural met gewone camera’s te fotograferen, gebruikten de onderzoekers hyperspectrale beeldvorming, die honderden smalle kleurbanden vastlegt van zichtbaar licht tot het kortegolf-infrarood. Elk klein stukje van de wand geeft een gedetailleerd kleurvingerafdruk die aan specifieke materialen gekoppeld is. Ze richtten zich op een rijk beschilderd deel van Grot 171 in de Kizil Grottoes, een vroeg boeddhistisch complex langs de Zijderoute waarvan de muurschilderingen met zowel minerale als organische pigmenten zijn gemaakt en zijn beschadigd door wind, water en zouten. Om hun interpretaties te verankeren, bereidde het team ook traditionele pigmentmonsters op panelen voor, mat hun spectra in het laboratorium en controleerde hun samenstelling met technieken zoals röntgenfluorescentie en Raman-spectroscopie. Dit creëerde een referentiebibliotheek van 26 traditionele pigmenten waarmee de signalen van de muurschildering vergeleken konden worden.

Het beeld groeperen in slimme vlakken

Een belangrijke uitdaging is dat elke beeldpixel vaak mengsels van pigmenten bevat, en veroudering de gebruikelijke spectrale aanwijzingen kan vervagen. In plaats van elke pixel afzonderlijk te behandelen, gebruikten de auteurs een benadering genaamd superpixel-segmentatie. Eerst pasten ze principale componentenanalyse toe om de hyperspectrale data te vereenvoudigen. Vervolgens gebruikten ze Entropy Rate Superpixel Segmentation om de mural in kleine regio’s te verdelen waarvan de spectra intern consistent zijn en geschilderde grenzen volgen. Voor elk van die regio’s middelen ze de spectra en pasten een wiskundige stap toe genaamd continuumverwijdering die subtiele absorptiedalingen benadrukt die met bepaalde pigmenten samenhangen. Daarna vergeleken ze deze versterkte regionaal spectra met hun pigmentbibliotheek met behulp van een gelijktijdigheidstest. Door te combineren hoe vaak een pigment verscheen, hoeveel oppervlakte het bedekte en hoe nauwkeurig het spectrum overeenkwam, konden ze robuust de belangrijkste aanwezige pigmenten identificeren.

Een neuraal netwerk leren kleuren te ontmixen

Het identificeren welke pigmenten aanwezig zijn is slechts de helft van het verhaal; conservatoren willen ook weten hoe sterk elk pigment op elk punt van de muur aanwezig is. Hiervoor wendde het team zich tot een ongecontroleerde convolutionele autoencoder, een type neuraal netwerk dat leert de spectrale afbeelding te comprimeren en te reconstrueren. In hun ontwerp codeert de gecomprimeerde representatie direct de verhoudingen van een kleine set fundamentele spectra, of "endmembers", over de mural. Om dit leren te sturen, gebruikten ze eerst een geometrisch algoritme genaamd N‑FINDR om een set representatieve spectrale extremen in de data te vinden en deze als pseudo-endmembers te gebruiken. Het netwerk werd getraind om de afbeelding te reconstrueren terwijl het dicht bij deze referentiespectra bleef en de gedetailleerde vorm van pigmentvingerafdrukken bewaarde, wat het hielp zeer vergelijkbare roden en andere gelijkgekleurde families van elkaar te onderscheiden.

Wat de muur onthult over haar kleuren

Met deze gecombineerde strategie identificeerden de auteurs zes belangrijkste pigmenten in Grot 171: de blauwe steen lapis lazuli, het koperhoudende groen atacamiet, de roodtinten minium, ijzeroxide-rood en lac, en het witte mineraal gips. Kaarten van pigmentabundantie toonden hoe deze materialen gelaagd en gemengd zijn: gips verschijnt zowel als witte verf als onderliggende grondlaag; lapis lazuli en atacamiet concentreren zich in blauwe en groene zones; en de drie roden overlappen maar zijn toch uit elkaar te halen door hun subtiele spectrale kenmerken. De methode hielp zelfs gebieden aan te wijzen waar het loodhoudende rood minium is donkerder geworden tot een andere verbinding, wat duidt op voortdurende aantasting die conservatoren moeten volgen.

Van verborgen vingerafdrukken naar praktische zorg

Voor niet‑specialisten is de belangrijkste uitkomst dat de auteurs een methode hebben ontwikkeld om complexe, onzichtbare spectrale informatie om te zetten in duidelijke kaarten van welke pigmenten gebruikt zijn en hoe ze veranderd zijn, allemaal zonder de muurschildering te bemonsteren. Door vergelijkbare regio’s te groeperen vóór identificatie en het neurale netwerk te beperken met fysisch betekenisvolle pigmentvingerafdrukken levert de workflow betrouwbare, ruimtelijk coherente pigmentkaarten, zelfs wanneer kleuren gemengd of aangetast zijn. Dit biedt conservatoren een krachtig, niet‐invasief instrument om materialen te documenteren, vervaging en wijziging te detecteren en gerichte interventies te plannen, en helpt de verhalen die de oude kleuren van locaties zoals de Kizil Grottoes dragen voor toekomstige generaties te behouden.

Bronvermelding: Chen, W., Zhang, X., Pan, X. et al. ERS superpixel guided pigment identification and convolutional autoencoder unmixing in mural painting hyperspectral images. npj Herit. Sci. 14, 177 (2026). https://doi.org/10.1038/s40494-026-02450-6

Trefwoorden: hyperspectrale beeldvorming, muurschilderingconservatie, pigmentmapping, deep learning, cultureel erfgoed