ERS z nadzorowaną segmentacją superpikseli do identyfikacji pigmentów i dekompozycji autoenkoderem splotowym w hiperspektralnych obrazach malowideł ściennych

Dlaczego te starożytne kolory wciąż mają znaczenie

Starożytne malowidła ścienne to nie tylko ozdoba; ich barwy dokumentują szlaki handlowe, idee religijne i zapomniane technologie. Wiele z tych ścian jest zbyt delikatnych, by pobierać próbki, a stulecia ekspozycji na światło, wilgoć i sole zmieniły ich pierwotne odcienie. W niniejszym badaniu zaprezentowano nowy sposób „czytania” pigmentów w słynnym buddyjskim malowidle jaskiniowym w Chinach bez dotykania powierzchni, łącząc zaawansowane obrazowanie z sztuczną inteligencją, aby ujawnić, jakich materiałów użyli artyści i jak one się zestarzały.

Patrząc na ścianę wieloma oczami

Zamiast fotografować malowidło zwykłymi aparatami, badacze użyli obrazowania hiperspektralnego, które rejestruje setki wąskich pasm koloru od światła widzialnego po krótkofalową podczerwień. Każdy maleńki fragment ściany daje szczegółowy spektrocharakterystyczny odcisk związany z konkretnymi materiałami. Skupili się na bogato malowanej części Jaskini 171 w Grotach Kizil, wczesnobuddyjskim stanowisku przy Jedwabnym Szlaku, którego malowidła wykonano zarówno pigmentami mineralnymi, jak i organicznymi, i które ucierpiały wskutek wiatru, wody i soli. Aby ugruntować swoje interpretacje, zespół przygotował także tradycyjne próbki pigmentów na tablicach, zmierzył ich widma w laboratorium i sprawdził skład technikami takimi jak fluorescencja rentgenowska i spektroskopia Ramana. W ten sposób powstała biblioteka referencyjna 26 tradycyjnych pigmentów, względem której porównywano sygnały z malowidła.

Grupowanie obrazu w inteligentne fragmenty

Głównym wyzwaniem jest to, że każdy piksel obrazu często zawiera mieszanki pigmentów, a starzenie może rozmyć typowe wskazówki spektralne. Zamiast traktować każdy piksel osobno, autorzy zastosowali metodę segmentacji superpikselowej. Najpierw użyli analizy składowych głównych, by uprościć dane hiperspektralne. Następnie zastosowali Entropy Rate Superpixel Segmentation, aby podzielić malowidło na małe regiony o wewnętrznie spójnych widmach, które podążają za granicami malowanych form. Dla każdego takiego regionu uśredniali widma i przeprowadzali operację zwaną continuum removal, która uwydatnia subtelne zaniki absorpcji związane z konkretnymi pigmentami. Potem porównywali te wzmocnione widma regionalne z biblioteką pigmentów przy użyciu testu podobieństwa. Łącząc częstotliwość występowania pigmentu, zajmowaną powierzchnię i dopasowanie widmowe, byli w stanie solidnie wyodrębnić główne obecne pigmenty.

Nauczanie sieci neuronowej rozdzielania kolorów

Identyfikacja, które pigmenty występują, to tylko połowa historii; konserwatorzy chcą też wiedzieć, w jakim stopniu każdy pigment jest obecny w każdym punkcie ściany. W tym celu zespół sięgnął po niesuperwizowany splotowy autoenkoder — rodzaj sieci neuronowej uczącej się kompresować i rekonstruować obraz spektralny. W ich projekcie skompresowana reprezentacja bezpośrednio koduje proporcje niewielkiego zestawu podstawowych widm, zwanych „endmemberami”, w całym malowidle. Aby ukierunkować to uczenie, najpierw zastosowali geometryczny algorytm N‑FINDR, by znaleźć zestaw reprezentatywnych ekstremów spektralnych w danych i użyć ich jako pseudo-endmemberów. Sieć trenowano tak, by rekonstruować obraz, pozostając blisko tych spektrów referencyjnych i zachowując szczegółowy kształt „odcisków” pigmentów, co pomaga jej rozróżniać bardzo podobne czerwienie i inne rodziny o zbliżonym kolorze.

Co ściana ujawnia o swoich kolorach

Stosując tę połączoną strategię, autorzy zidentyfikowali sześć podstawowych pigmentów w Jaskini 171: niebieski kamień lapis lazuli, zielony miedziowy atacamit, czerwienie minium, tlenek żelaza i lak, oraz biały minerał gips. Mapy obfitości pigmentów pokazały, jak te materiały są warstwowane i mieszane: gips występuje zarówno jako biała farba, jak i warstwa gruntująca; lapis lazuli i atacamit skupiają się w strefach niebieskich i zielonych; a trzy czerwienie nakładają się, lecz można je rozdzielić dzięki subtelnym sygnaturom spektralnym. Metoda pomogła nawet wskazać obszary, gdzie ołowiowy czerwony minium przyciemnił się do innego związku, co wskazuje na postępujące niszczenie wymagające monitorowania przez konserwatorów.

Od ukrytych odcisków palców do praktycznej opieki

Dla nie‑specjalistów kluczowy wniosek jest taki, że autorzy opracowali sposób przekształcania złożonych, niewidocznych informacji spektralnych w czytelne mapy użytych pigmentów i ich zmian, i to wszystko bez pobierania próbek z malowidła. Grupując podobne regiony przed identyfikacją i ograniczając sieć neuronową za pomocą fizycznie znaczących profili pigmentów, workflow dostarcza wiarygodne, przestrzennie spójne mapy pigmentów nawet gdy kolory są zmieszane lub zdegradowane. To daje konserwatorom potężne, bezkontaktowe narzędzie do dokumentacji materiałów, wykrywania blaknięcia i przemian oraz planowania ukierunkowanych interwencji, pomagając zachować historie niesione przez starożytne barwy miejsc takich jak Groty Kizil dla przyszłych pokoleń.

Cytowanie: Chen, W., Zhang, X., Pan, X. et al. ERS superpixel guided pigment identification and convolutional autoencoder unmixing in mural painting hyperspectral images. npj Herit. Sci. 14, 177 (2026). https://doi.org/10.1038/s40494-026-02450-6

Słowa kluczowe: obrazowanie hiperspektralne, konserwacja malowideł ściennych, mapowanie pigmentów, uczenie głębokie, dziedzictwo kulturowe