Идентификация пигментов с помощью суперпикселей ERS и разложения сверточным автокодировщиком в гиперспектральных изображениях настенной живописи

Почему эти древние цвета до сих пор важны

Древние фрески — не просто украшение; их цвета фиксируют торговые пути, религиозные представления и утраченную технологию. Однако многие настенные росписи слишком хрупки для отборов проб, а века воздействия света, влаги и солей изменили их первоначальные тона. В этом исследовании предложен новый способ «прочитать» пигменты знаменитой буддийской пещной росписи в Китае без прикосновения к поверхности: сочетание продвинутой съёмки и искусственного интеллекта позволяет раскрыть, какие материалы использовали художники и как они состарились.

Смотреть на стену многими глазами

Вместо съёмки росписи обычными камерами исследователи применили гиперспектральную съёмку, фиксирующую сотни узких полос спектра от видимого до ближнего инфракрасного. Каждая крошечная область стены даёт детальный цветовой «отпечаток», связанный с конкретными материалами. Они сосредоточились на богато расписанном фрагменте пещеры 171 в гротах Кизил — раннем буддийском объекте на Шёлковом пути, где росписи выполнены как минералъными, так и органическими пигментами и пострадали от ветра, воды и солевой деградации. Чтобы обосновать интерпретации, команда также приготовила традиционные образцы пигментов на дощечках, измерила их спектры в лаборатории и проверила состав методами, такими как рентгенофлуоресценция и рамановская спектроскопия. Так была создана справочная библиотека из 26 традиционных пигментов, с которыми можно сравнивать сигналы с росписи.

Группировка изображения в «умные» участки

Основная сложность в том, что каждый пиксель изображения часто содержит смеси пигментов, и старение может размывать типичные спектральные подсказки. Вместо обработки каждого пикселя поодиночке авторы использовали сегментацию суперпикселей. Сначала применили анализ главных компонент, чтобы упростить гиперспектральные данные. Затем использовали Entropy Rate Superpixel Segmentation, чтобы разделить роспись на небольшие области с внутренне согласованными спектрами, следующие за границами мазков. Для каждой такой области усредняли спектры и применяли математический шаг — continuum removal, который подчёркивает тонкие впадины поглощения, связанные с конкретными пигментами. Эти улучшенные региональные спектры сравнивали со своей библиотекой пигментов с помощью теста на сходство. Комбинируя частоту появления пигмента, занимаемую им площадь и степень совпадения спектра, они надёжно выделяли основные присутствующие пигменты.

Обучение нейросети разлагать цвета

Определить, какие пигменты присутствуют — лишь половина задачи; реставраторам также важно знать, насколько каждый пигмент выражен в каждой точке стены. Для этого команда обратилась к неконтролируемому сверточному автокодировщику — типу нейронной сети, который учится сжимать и восстанавливать спектральное изображение. В их конструкции сжатое представление напрямую кодирует доли небольшого набора фундаментальных спектров, или «эндмемберов», по всей росписи. Чтобы направить это обучение, они сначала применили геометрический алгоритм N-FINDR для поиска набора представительных спектральных экстремумов в данных и использовали их как псевдо-эндмемберы. Сеть обучали восстанавливать изображение, оставаясь близкой к этим эталонным спектрам и сохраняя детальную форму спектральных отпечатков пигментов, что помогало ей различать очень похожие оттенки красного и другие одноцветные семейства.

Что стена рассказывает о своих цветах

С помощью этой комбинированной стратегии авторы выявили шесть основных пигментов в пещере 171: синюю лазурь (лапис-лазули), медно-зелёную атакамит, красные пигменты миниум, оксид железа и лак, а также белый минерал гипс. Карты распространения пигментов показали, как эти материалы уложены и смешаны: гипс присутствует и как белая краска, и как подложка; лапис-лазули и атакамит сосредоточены в синих и зелёных зонах; три красных перекрываются, но их всё же удаётся различать по тонким спектральным признакам. Метод также помог выявить участки, где свинцовосодержащий красный миниум почернел, претерпев превращение в другой компонент — признак продолжающейся деградации, за которой реставраторам следует следить.

От скрытых отпечатков к практической заботе

Для неспециалистов главный результат в том, что авторы разработали способ преобразовать сложную, невидимую спектральную информацию в понятные карты использованных пигментов и их изменений — всё это без отбора проб с росписи. Группируя схожие участки перед идентификацией и ограничивая нейросеть физически осмысленными спектральными отпечатками пигментов, рабочий процесс даёт надёжные, пространственно согласованные карты пигментов даже при смешении цветов или их деградации. Это предоставляет реставраторам мощный бесконтактный инструмент для документирования материалов, обнаружения выцветания и преобразований и планирования целевых вмешательств, помогая сохранить истории, которые несут древние цвета таких мест, как гроты Кизил, для будущих поколений.

Цитирование: Chen, W., Zhang, X., Pan, X. et al. ERS superpixel guided pigment identification and convolutional autoencoder unmixing in mural painting hyperspectral images. npj Herit. Sci. 14, 177 (2026). https://doi.org/10.1038/s40494-026-02450-6

Ключевые слова: гиперспектральная съёмка, сохранение фресок, картирование пигментов, глубокое обучение, культурное наследие