AFMNet: сеть для восстановления фресок без активаций с механизмом многоголовой внимательности

Почему важно сохранять выцветшие настенные росписи

Древние настенные росписи в храмах и пещерах — это не просто красивые украшения; они представляют собой визуальные записи того, как люди жили, молились, одевались и представляли себе мир. К сожалению, многие из этих фресок потрескались, отслаиваются или частично утрачены. Ручная реставрация медленна, рискована и иногда невозможна. В этой работе представлена AFMNet — новая компьютерная методика, способная цифровым способом «заполнять» повреждённые участки изображений фресок так, чтобы результат выглядел правдоподобно, работал эффективно на умеренном оборудовании и помогал защищать хрупкие памятники культуры для исследований и виртуальной демонстрации.

Проблема сломанных изображений

Традиционные цифровые инструменты обычно копируют соседние цвета и текстуры в области, которые отсутствуют, что работает для мелких царапин, но не справляется, когда утеряны целые лица, руки или декоративные узоры. Современные методы искусственного интеллекта способны «придумать» правдоподобный контент для больших пропусков, но большинство из них разработаны для обычных фотографий, а не для уникальных стилей древнего искусства. Фрески часто содержат неповторимые фигуры, сложные орнаменты и нерегулярные трещины, которые не укладываются в простые формы. Существующие системы либо размывают важные детали, вводят неловкие формы, либо требуют больших вычислительных ресурсов, что непрактично для многих музеев и лабораторий по консервации.

Компактная сеть, созданная для фресок

AFMNet — компактная сеть для обработки изображений в форме буквы U: энкодер разбивает повреждённое изображение на признаки, а декодер восстанавливает его в целостную картину. Особенность — двухпоточная архитектура: один поток передаёт сведения о видимых частях фрески, другой — карту пикселей, которые отсутствуют или ненадёжны. Эта карта обновляется на каждом этапе, поэтому система всегда знает, где можно доверять оригиналу, а где нужно создавать новый контент. Явно разделяя целые и повреждённые области, AFMNet концентрирует усилия там, где это наиболее необходимо, и избегает лишнего изменения невредимых участков.

Сочетание глобальных узоров и тонких деталей

Чтобы сделать восстановление правдоподобным, системе нужно понимать и общую сцену, и крошечные мазки кисти. Базовый блок AFMNet решает эту задачу, одновременно рассматривая изображение в трёх взаимодополняющих представлениях. В пространственном представлении он исследует локальные окрестности пикселей, что помогает справляться с трещинами и краями. В частотном представлении используется математическое преобразование, чтобы уловить более широкие структуры и повторяющиеся мотивы по всей фреске. В канальном представлении сеть учится, какие сочетания цвета и текстуры несут наиболее важные художественные сигналы, и избирательно усиливает их, игнорируя менее полезную информацию. Вместо стандартных ресурсозатратных функций активации AFMNet применяет простой механизм «затвора», который перемножает пары карт признаков для создания нелинейности, сокращая размер модели и вычисления без потери выразительности.

Позволяя удалённым областям «общаться»

Многие фрески содержат фигуры, орнаменты и фоны, связанные на больших расстояниях по стене. Чтобы связать эти удалённые элементы, AFMNet добавляет лёгкий модуль многоголовой внимательности в самом узком месте U-архитектуры. Здесь каждая часть изображения может «посмотреть» на все другие допустимые части и решить, какие из них должны влиять на восстановление. Разные головы внимания могут специализироваться на разных связях — например, сохранять изгиб нимба или выравнивать повторяющийся орнамент. Важный момент: модуль внимания также видит карту повреждений, поэтому он не будет опираться на участки, уже синтетически заполненные и всё ещё вызывающие сомнения.

Доказательство эффективности на практике

Чтобы всесторонне проверить AFMNet, авторы сначала обучили её на большой коллекции бытовых сцен, затем дообучили на тщательно подобранном наборе фресок пещер Дуньхуан. Реалистичные маски повреждений создали с помощью процесса случайного блуждания, имитирующего реальные трещины и отслаивание. На нескольких уровнях повреждений AFMNet стабильно превосходила известные конкурирующие методы по стандартным метрикам качества изображения, при этом используя примерно на треть меньше параметров по сравнению с сильным базовым решением. Визуальные сравнения на синтетических и подлинно повреждённых фресках показали, что AFMNet лучше сохраняет черты лиц, декоративные линии и тонкие текстуры, с меньшим числом отвлекающих артефактов, даже при работе с более высокими разрешениями, характерными для музейной съёмки.

Что это значит для культурного наследия

Просто говоря, AFMNet — это интеллектуальный, эффективный цифровой реставратор, который способен восстанавливать утерянные фрагменты древних фресок таким образом, чтобы уважать их стиль и структуру. Он более бережно справляется со сложными трещинами и потерей пигмента, чем многие существующие инструменты, и может работать достаточно быстро на стандартных компьютерах или ноутбуках, чтобы использоваться на месте. Хотя сеть по-прежнему испытывает трудности с самыми тяжёлыми следами копоти и очень сложными текстурами, она предоставляет реставраторам и исследователям мощный инструмент для визуализации того, как работы могли выглядеть ранее, более безопасного планирования физических вмешательств и создания увлекательных цифровых выставок, которые оживляют хрупкие настенные росписи для широкой аудитории.

Цитирование: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

Ключевые слова: цифровая реставрация фресок, восстановление изображений, культурное наследие, глубокое обучение, сети внимания