DCADif: разобщённая условная адаптивная временная динамическая фузионная диффузионная инпейтинг-реставрация традиционных китайских настенных росписей

Возвращая к жизни древнее настенное искусство

По всей территории Китая стены храмов и сводья пещер покрыты многовековыми фресками, которые выцветают, осыпаются и трескаются. Эти полотна не только красивы; они являются визуальными записями верований, историй и повседневной жизни прошлых эпох. Ручная реставрация трудна, медленна и порой опасна для хрупких поверхностей. В этом исследовании предложен новый метод на основе искусственного интеллекта (ИИ) под названием DCADif, который помогает экспертам цифрово «инпейнтить» отсутствующие или повреждённые фрагменты фресок, сохраняя как рисунок, так и стиль, верные оригиналу.

Почему старые фрески так трудно восстановить

Традиционные китайские фрески — это не просто цветные изображения на стене. Они объединяют сложную композицию, тонкую линию и деликатные фактуры, созданные древними пигментами и инструментами. Когда время, влага и загрязнения образуют пробелы и пятна, реставраторам приходится догадываться, что когда-то занимало эти места. Цифровые инструменты для инпейтинга пытаются делать то же самое, но большинство существующих методов смешивает две ключевые задачи: восстановление базовых форм и сохранение уникального художественного стиля. В результате восстановленные участки могут выглядеть структурно неверно, либо же соответствовать формам, но утратить историческую атмосферу оригинального мазка и палитры. Задача состоит в том, чтобы одновременно вернуть «скелет» и «душу» картины.

Обучение ИИ раздельно видеть структуру и стиль

Система DCADif решает эту проблему, разбивая задачу на два потока. Сначала исследователи преобразуют фреску в простую линейную графику, нечто вроде чернильного контура. Эта упрощённая версия фиксирует, где находятся фигуры, объекты и границы, не отвлекаясь на цвет и текстуру. Мощная визуальная модель (адаптированная от инструмента, изначально обученного на миллионах изображений) читает этот контур и сводит структуру фрески к компактному описанию. В отдельном канале новый энкодер «SwinStyle» изучает сам повреждённый холст, чтобы вычленить его стилистический отпечаток: как смешиваются цвета, как изгибаются мазки, как трескается или выцветает поверхность. Храня раздельно эти два представления — структуру и стиль — DCADif может затем управлять ими независимо во время реставрации.

Позволяя изображению возникнуть из шума

В основе DCADif лежит диффузионная модель — тип ИИ, который создаёт изображения, начиная с случайного шума и постепенно «дешумя» его в реалистичную картинку. Этот процесс происходит в многочисленных небольших шагах, напоминая наблюдение за тем, как размытое изображение постепенно обретает резкость. Авторы разработали модуль адаптивного временного слияния признаков (Time-Adaptive Feature Fusion), который действует как интеллектуальная ручка между структурой и стилем по мере того, как изображение появляется. На ранних, очень зашумлённых стадиях модель опирается преимущественно на структуру, используя линейный рисунок для закладки правильных форм и контуров. По мере того как шум ослабевает и изображение проясняется, ручка постепенно поворачивается в сторону стиля, позволяя насыщенным цветам, текстурам и историческим деталям появляться без искажения базового рисунка.

Тестирование на новой библиотеке фресок и живописи

Чтобы оценить, действительно ли DCADif улучшает цифровую реставрацию, команда собрала большой новый датасет под названием MuralVerse-S, созданный из фресок регионов, таких как Дунхуан, Ганьсу, Хэбэй и Внутренняя Монголия, вместе с реалистичными масками, имитирующими трещины и осыпающуюся краску. Они сравнили DCADif с девятью ведущими методами инпейтинга, охватывающими старые сверточные сети, модели на трансформерах и другие диффузионные подходы. При разных уровнях имитированных повреждений DCADif выдавал изображения с более чёткой структурой, более согласованными глобальными композициями и текстурами, которые испытуемые человеческие наблюдатели оценивали как более близкие к оригиналу. Метод также хорошо проявил себя на отдельной коллекции китайской пейзажной живописи, успешно восстанавливая тонкие чернильные штрихи и контуры гор, что указывает на возможность обобщения метода вне рамок только фресок.

Что это значит для сохранения культурного наследия

Помимо чисел и графиков, исследователи попросили 50 специалистов по искусству и аспирантов оценить разные варианты реставрации. Участники последовательно ставили DCADif самые высокие оценки за точность содержания, стилистическую верность и общее качество. Реальные примеры, в том числе известные работы вроде «Придворные дамы в цветочных уборных», показали, что система может заполнять недостающие лица, одежды и декоративные мотивы так, чтобы они гармонично сливались с окружающей живописью. Тем не менее авторы признают ограничения: когда огромные участки уничтожены, любая цифровая догадка несёт риск исторической неточности, и метод остаётся вычислительно тяжёлым. Даже так, DCADif предлагает реставраторам новый неинвазивный инструмент — способ предлагать аккуратные, высокоточные реконструкции, не затрагивая оригинальную стену, помогая музеям и исследователям лучше изучать, визуализировать и защищать незаменимые культурные ценности.

Цитирование: Peng, X., Li, C., Hu, Q. et al. DCADif: decoupled conditional adaptive time-dynamic fusion diffusion inpainting of traditional Chinese mural paintings. npj Herit. Sci. 14, 61 (2026). https://doi.org/10.1038/s40494-026-02327-8

Ключевые слова: цифровая реставрация фресок, восстановление изображений (inpainting), диффузионные модели, китайское культурное наследие, технологии сохранения искусства