ERS-superpixelledd pigmentidentifiering och konvolutionellt autoencoder-avmischning i hyperspektrala bilder av väggmålningar

Varför dessa forntida färger fortfarande spelar roll

Forntida väggmålningar är mer än dekoration; deras färger dokumenterar handelsvägar, religiösa idéer och förlorade tekniker. Många av dessa väggmålningar är dock för sköra för att man ska kunna ta prover, och århundraden av ljus, fukt och salter har förändrat deras ursprungliga nyanser. Denna studie presenterar ett nytt sätt att "läsa" pigmenten i en berömd buddhistisk grottmålning i Kina utan att röra ytan, genom att kombinera avancerad avbildning och artificiell intelligens för att avslöja vad konstnärerna faktiskt använde och hur dessa material har åldrats.

Att betrakta en vägg med många ögon

I stället för att fotografera målningen med vanliga kameror använde forskarna hyperspektral avbildning, som fångar hundratals smala färgband från synligt ljus till kortvågigt infrarött. Varje liten fläck på väggen ger ett detaljerat färgfingeravtryck kopplat till specifika material. De fokuserade på ett rikt utsmyckat avsnitt i Grotta 171 i Kizilgrottorna, en tidig buddhistisk plats längs Sidenvägen vars målningar gjorts med både mineral- och organiska pigment och som drabbats av vind, vatten och saltskador. För att förankra sina tolkningar förberedde teamet också traditionella pigmentprover på brädor, mätte deras spektra i laboratoriet och kontrollerade deras sammansättning med tekniker som röntgenfluorescens och Raman-spektroskopi. Detta skapade ett referensbibliotek med 26 traditionella pigment mot vilket målningens signaler kunde jämföras.

Gruppera bilden i smarta fläckar

En stor utmaning är att varje bildpixel ofta innehåller blandningar av pigment, och åldrande kan sudda ut de vanliga spektrala ledtrådarna. I stället för att behandla varje pixel separat använde författarna ett tillvägagångssätt som kallas superpixelsegmentering. Först tillämpade de huvudkomponentanalys för att förenkla hyperspektradata. Därefter använde de Entropy Rate Superpixel Segmentation för att dela upp målningen i små regioner vars spektra är internt konsekventa och följer målade gränser. För varje sådan region medelvärdesbildade de spektrumen och tillämpade ett matematiskt steg kallat continuumavlägsnande som framhäver subtila absorptionsdalar kopplade till särskilda pigment. De jämförde sedan dessa förbättrade regionsspektra med sitt pigmentbibliotek med hjälp av ett likhetstest. Genom att kombinera hur ofta ett pigment förekom, hur stor area det täckte och hur väl dess spektrum matchade, kunde de robust plocka ut de huvudsakliga pigmenten som var närvarande.

Lära ett neuralt nätverk att avmixa färger

Att identifiera vilka pigment som finns är bara halva historien; konservatorer vill också veta hur starkt varje pigment förekommer vid varje punkt på väggen. För detta vände sig teamet till en osuperviserad konvolutionell autoencoder, en typ av neuralt nätverk som lär sig att komprimera och rekonstruera det spektrala bilden. I deras konstruktion kodar den komprimerade representationen direkt proportionerna av en liten uppsättning fundamentala spektra, eller "endmembers", över målningen. För att styra denna inlärning använde de först en geometrisk algoritm kallad N‑FINDR för att hitta en uppsättning representativa spektrala extremvärden i data och använda dessa som pseudo-endmembers. Nätverket tränades att rekonstruera bilden samtidigt som det höll sig nära dessa referensspektra och bevarade de detaljerade formerna hos pigmentens fingeravtryck, vilket hjälpte det att särskilja mycket lika röda nyanser och andra färgfamiljer.

Vad väggen avslöjar om sina färger

Med denna kombinerade strategi identifierade författarna sex huvudsakliga pigment i Grotta 171: den blå stenen lapis lazuli, koppargrön atacamit, de röda minium, järnoxidröd och lac, samt det vita mineralet gips. Kartor över pigmentförekomst visade hur dessa material är lager-på-lager och blandade: gips förekommer både som vit färg och som ett underliggande grundskikt; lapis lazuli och atacamit samlas i blå och gröna zoner; och de tre röda överlappar men kan ändå särskiljas genom sina subtila spektrala signaturer. Metoden hjälpte till och med att flagga områden där blybaserade röda minium har mörknat till en annan förening, vilket pekar på pågående nedbrytning som konservatorer måste övervaka.

Från dolda fingeravtryck till praktisk vård

För icke-specialister är huvudresultatet att författarna har utvecklat ett sätt att omvandla komplex, osynlig spektralinformation till tydliga kartor över vilka pigment som användes och hur de har förändrats, allt utan att provta målningen. Genom att gruppera liknande regioner innan identifiering och begränsa det neurala nätverket med fysikaliskt meningsfulla pigmentfingeravtryck levererar arbetsflödet tillförlitliga, rumsligt koherenta pigmentkartor även när färger är blandade eller nedbrutna. Detta ger konservatorer ett kraftfullt, kontaktfritt verktyg för att dokumentera material, upptäcka blekning och förändring, och planera riktade insatser, vilket hjälper till att bevara berättelserna som bärs av forntida färger på platser som Kizilgrottorna för framtida generationer.

Citering: Chen, W., Zhang, X., Pan, X. et al. ERS superpixel guided pigment identification and convolutional autoencoder unmixing in mural painting hyperspectral images. npj Herit. Sci. 14, 177 (2026). https://doi.org/10.1038/s40494-026-02450-6

Nyckelord: hyperspektral avbildning, konservering av väggmålningar, pigmentkartläggning, djupinlärning, kulturellt arv