Цифровая реставрация древних цзяннаньских фресок через прокси‑обучение и структурное руководство

Спасая выцветающие настенные росписи

По влажным речным равнинам южного Китая вековые настенные росписи постепенно исчезают. Жара, влага и время разрушают штукатурку, вызывая трещины, пятна и шелушение краски — ремонт вручную затратен и рискован. В статье представлен новый подход, позволяющий компьютерам «цифрово восстановить» эти хрупкие цзяннаньские фрески, воссоздавая сцены и манеру кисти на экране без прикосновения к оригинальным стенам. Эта работа важна не только для ценителей искусства, но и для всех, кого волнует, как современные технологии помогают сохранять культурную память мира.

Скрытые сокровища Цзяннаня

Исследуемые фрески разбросаны по родовым залам, храмам и старым домам провинции Чжэцзян. В отличие от знаменитых пустынных пещер Дуньхуана, эти произведения находятся в жарком влажном климате, особенно губительном для материалов из земли, дерева и извести. Опросы показывают, что многие росписи покрыты множественными наложенными повреждениями: трещинами, плесенью, выцветанием, водяными пятнами и участками, где слой краски отслоился. Физический ремонт дорог, необратим и технически сложен, поэтому цифровая реставрация — восстановление изображения в пикселях вместо штукатурки — предлагает более безопасный первый шаг. Но те самые качества, которые делают эти фрески уникальными, затрудняют их обработку компьютером.

Почему обычный ИИ не справляется

Современные программы восстановления изображений на основе глубокого обучения обычно требуют огромных наборов пар «до и после» для обучения. Для цзяннаньских фресок такие данные просто отсутствуют: работы разбросаны, выполнены многими народными художниками, и их исходный, ненарушенный вид неизвестен. Одновременно сами повреждения вводят в заблуждение стандартные алгоритмы. Тёмные трещины и пятна плесени могут сильно напоминать тонкие тушевые линии, поэтому модель, слепо ориентирующаяся на видимые контуры, склонна копировать повреждения вместо их удаления. В результате готовые инструменты либо оставляют дефекты, либо придумывают детали, не соответствующие традиционному стилю фресок.

Изучение стиля по родственным произведениям

Чтобы выйти из этого тупика, авторы предлагают рабочий процесс под названием «Структурно направленная прокси‑реставрация» (Structurally Guided Proxy Restoration, SGPR). Первый шаг — отделить «обучение стилю» от «исправления фрески». Вместо обучения непосредственно на скудных фотографиях фресок они собирают большую прокси‑коллекцию: более шести тысяч классических китайских картин из музеев. Эти изображения разделяют с цзяннаньскими фресками один художественный язык: движение линий, слоистость тушевых заливок, композиция сцен. Мощный генератор изображений на основе современной диффузионной технологии затем донастраивается на этой прокси‑выборке. Специальная функция потерь поощряет модель не просто имитировать текстуры, а улавливать более широкие художественные черты — ритм мазка и цветовую гармонию. Результат, названный ArtBooth, — генератор, «владеющий» традиционной китайской живописью, хотя он никогда напрямую не видел реальные повреждённые фрески.

Нахождение чистых линий в загрязнённых изображениях

Второй ключевой шаг — выделить исходную структуру фресок из беспорядочных фотографий. Здесь авторы вводят алгоритм селективного извлечения признаков (Selective Feature Extraction), не требующий обучения. Он анализирует одно и то же повреждённое изображение на двух масштабах и запускает по два простых детектора краёв на каждой версии. Признаки, которые стабильно появляются в обоих детекторах и на обоих масштабах, с большой вероятностью соответствуют настоящим линиям рисунка — например контуру одеяния или стволу дерева — тогда как случайные пятнышки и брызги скорее являются плесенью или пятнами. Сливая эти сигналы в «конвертную» маску, алгоритм усиляет надёжные линии и подавляет шум, создавая две чистые направляющие карты: отчётливый линейный рисунок и уточнённую карту краёв, подчёркивающие истинную структуру и игнорирующие большинство разрушений.

Практика управляемой цифровой реставрации

Заключительная часть SGPR связывает эти чистые структурные карты со стилистически подготовленным генератором через оптимизированную сеть управления. Во время реставрации повреждённое изображение фрески и короткая текстовая подсказка подаются в ArtBooth, а отфильтрованные карты линий и краёв служат своего рода лесом. Адаптированная версия фреймворка ControlNet внедряет эти карты во внутренние слои генератора, мягко направляя каждый шаг денойзинга так, чтобы новые пиксели следовали исходной раскладке и манере мазка, а не уносились в общие сцены. Испытания на моделированных повреждениях и реальных фресках из деревни Сонгси показывают, что комбинированная система удаляет пятна и трещины тщательнее существующих методов, сохраняет фигуры и объекты на правильных местах и генерирует изображения, которые эксперты признали близкими по качеству к аккуратной ручной цифровой реставрации.

Что это значит для культурного наследия

Для неспециалистов вывод ясен: изучая визуальный язык родственных произведений и тщательно отделяя истинные контуры от повреждений, ИИ теперь способен предложить музеям цифровую реставрацию музейного уровня для хрупких фресок, которые иначе могли бы исчезнуть. Хотя метод по‑прежнему испытывает трудности при отсутствии целых фрагментов картины и пока не распространён на богато окрашенные работы, он уже даёт реставраторам мощный новый инструмент. В более широком смысле исследование демонстрирует, как разумное использование прокси‑данных и структурного руководства может помочь защитить многие виды объектов наследия, которые слишком редки, слишком повреждены или слишком ценны, чтобы предоставить массивные обучающие наборы, требуемые современными ИИ.

Цитирование: Yang, C., Liu, Y. & Cai, Y. Digital restoration of ancient Jiangnan murals via proxy learning and structural guidance. npj Herit. Sci. 14, 182 (2026). https://doi.org/10.1038/s40494-026-02369-y

Ключевые слова: цифровая реставрация фресок, сохранение культурного наследия, генерация изображений ИИ, стиль китайской живописи, извлечение устойчивых к повреждениям признаков