WCT-Net: совместная реставрация гробничных фресок на основе вейвлетной свёртки и совместной сети с самовниманием трансформера

Почему спасению старых настенных росписей нужны новые инструменты

По всей Китаю в древних гробницах находятся настенные росписи, которые разрушаются, трескаются и отслаиваются по краям. Эти фрески фиксируют сцены придворной жизни, верований и художественных приёмов, которые мы уже не можем наблюдать напрямую. Но многие фрагменты настолько повреждены, что даже экспертам трудно представить их первоначальный вид. В этом исследовании представлен новый тип системы искусственного интеллекта — WCT-Net, созданный для цифрового «склеивания» этих разрушенных изображений, предлагающий безопасное руководство реставраторам и более наглядные результаты для исследователей и широкой публики.

Скрытые проблемы внутри разрушенных фресок

Фрескам в гробницах угрожает двойное разрушение. Веками влага просачивается через грунт и камень, принося соли, которые кристаллизуются в штукатурке. Это ослабляет слои под краской, вызывая отслоения, трещины и выпадение участков. В результате часто сохраняется небольшой фрагмент с двумя типами повреждений одновременно: по краям отсутствуют фрагменты, поэтому композиция неполна, а внутри видны потускнение, шелушение и тонкие трещины. Традиционная ручная реставрация опирается на подгонку фрагментов и аккуратное приклеивание, но когда большие участки утеряны, догадки могут привести к ошибкам или даже новым повреждениям. Цифровая реставрация обещает обратимую, бесконтактную альтернативу — но только если компьютеры смогут одновременно воссоздавать правдоподобные отсутствующие структуры и верно сохранять уцелевшие детали.

Почему более ранние цифровые методы не дотягивают

Ранние компьютерные методы в основном учились на неповреждённых частях того же изображения. Некоторые распространяли соседние цвета и контуры в пустые места; другие копировали и вставляли похожие фрагменты из целых областей. Эти инструменты справляются с аккуратными, «отверстиеподобными» дефектами, но терпят неудачу, когда отсутствуют целые границы или когда содержимое фрески нужно выводить по очень скудному контексту. Более современные подходы на основе глубокого обучения, включая свёрточные нейронные сети и генеративные состязательные сети, повысили реализм, но всё ещё сталкиваются с компромиссом: либо они акцентируют резкие локальные текстуры, теряя общую структуру, либо сохраняют глобальную форму в ущерб тонкой кистевой работе. Методы на основе трансформеров, хорошо работающие с дальними связями, помогают при больших пропажах, но всё равно испытывают трудности с согласованием мелких деталей и крупных форм, когда повреждения охватывают несколько масштабов.

Двухканальный «мозг», видящий и вблизи, и вдали

WCT-Net решает эту проблему, разделяя задачу на две сотрудничающие ветви внутри U-образной кодирующе-декодирующей сети. Одна ветвь использует вейвлетные свёртки — способ разложения изображения на плавные низкочастотные компоненты и чёткие высокочастотные текстуры. Обучаясь на этих полосах, эта ветвь специализируется на сохранении мелких деталей, таких как тонкие линии волос, складки одежды и деликатные тени, которые придают фрескам ручной характер. Параллельно ветвь на базе трансформера применяет самовнимание, чтобы связывать удалённые части изображения, улавливая дальние закономерности, например позу лошади или ритм процессии. Усиленный блок слияния затем учится взвешивать и смешивать эти два вида информации так, чтобы ни один из них не доминировал: модель одновременно уважает уцелевшие детали и экстраполирует правдоподобную общую сцену.

Обучение системы на реалистичных повреждениях

Для обучения и тестирования WCT-Net авторы собрали высококачественный набор данных императорских гробничных фресок из Шэньсийского исторического музея, разрезав большие фотографии на меньшие фрагменты. Затем они создали три семейства искусственных масок повреждений, чтобы имитировать реальное разрушение: случайные пятнышки и царапины для внутреннего шелушения, неправильные потери по краям, как от выпадения кусков штукатурки, и смешанные паттерны, объединяющие оба типа. Система училась восстанавливать исходные изображения из этих повреждённых версий. Команда сравнила WCT-Net с семью ведущими алгоритмами реставрации, используя метрики, отражающие как структурную точность, так и визуальную естественность, а также протестировала её на отдельном наборе фресок из Дуньхуана с иным художественным стилем.

Более чёткие линии, более целостные сцены и их значение

По всем типам повреждений — внутреннее изнашивание, утерянные края и сложные комбинации — WCT-Net давал реставрации с непрерывными контурными линиями, чёткими текстурами и более завершёнными композициями по сравнению с конкурентами. Объективные показатели улучшились на несколько процентов, а сгенерированные изображения лучше соответствовали человеческому восприятию подлинности. Хотя модель вычислительно более тяжёлая, чем некоторые соперники, её преимущества особенно заметны там, где фрески труднее всего интерпретировать: когда нарушены и внутренняя живопись, и наружные границы. Для реставраторов это означает более надёжный цифровой предварительный просмотр перед работой с хрупкими поверхностями; для историков и публики — более ясные окна в визуальный мир прошлого. Авторы отмечают, что в будущем необходимо лучше учитывать разнообразие стилей и повысить эффективность работы, но WCT-Net представляет собой важный шаг к использованию ИИ как осторожного, контекстно-осведомлённого партнёра в сохранении культурного наследия.

Цитирование: Li, J., Wu, M., Lu, Z. et al. WCT-Net: joint restoration of tomb murals based on wavelet convolution and transformer self-attention collaborative network. npj Herit. Sci. 14, 151 (2026). https://doi.org/10.1038/s40494-026-02412-y

Ключевые слова: цифровая реставрация фресок, сохранение культурного наследия, восстановление изображений, глубокое обучение для искусства, древние гробничные фрески