Система SfM для оцифровки фресок с направленным вниманием при сопоставлении признаков и устойчивой разреженной реконструкцией

Почему сохранение древних настенных росписей требует новых цифровых приёмов

По просторам пустынь северо-западного Китая красочные стены пещер Могао постепенно блекнут, растрескиваются и облупляются. Реставраторы хотят получить детальные цифровые копии этих фресок, чтобы учёные и широкая публика могли изучать их задолго после того, как оригиналы придут в негодность. Но объединить тысячи крупных фотоснимков в одно ровное, без искажений изображение изогнутой и повреждённой стены оказывается неожиданно сложно. В статье представлена новая система компьютерного зрения, специально разработанная для росписей пещер: она делает цифровые реконструкции более чёткими, надёжными и практически применимыми в крупном масштабе.

От мозаики снимков к единой бесшовной стене

Оцифровка фрески — это не просто один кадр. Камеры высокого разрешения делают множество перекрывающихся снимков с рельсовой системы, перемещающейся вдоль стены, что даёт плотную сетку локальных видов. Традиционное ПО часто «склеивает» такие изображения в 2D, искажая и смешивая их как панораму. Это работает на плоских ровных стенах при равномерном освещении, но росписи в пещерах изгибаются, выпирают, темнеют в углах и содержат как пустые, так и сильно повторяющиеся участки. В этих условиях склейка даёт видимые швы, несопадающие фигуры или искажения форм. Авторы предлагают 3D-подход — Structure-from-Motion (SfM): компьютер оценивает положение камеры для каждого кадра и восстанавливает поверхность росписи в пространстве, после чего проецирует её обратно в точное фронтальное изображение.

Обучение компьютера выбирать правильные детали

Сердце SfM — сопоставление мелких визуальных деталей, «точек признаков», в парах фотографий. На фресках это особенно опасно: ряды почти идентичных фигур, выцветшие пигменты и большие пустые участки могут ввести алгоритмы в заблуждение, связывая неправильные точки или находя слишком мало совпадений. Новая система решает эту проблему с помощью метода сопоставления с «направленным вниманием», вдохновлённого современными техниками глубинного обучения. Вместо оценки каждого признака поодиночке алгоритм рассматривает закономерности признаков совместно и учится выделять те, которые с большой вероятностью совпадут в перекрывающихся видах. Он также учитывает, где должно происходить перекрытие: признаки далеко за пределами общей области двух изображений мягко понижаются в весе, даже если выглядят похоже, тогда как признаки в правдоподобных зонах перекрытия получают преимущество. Такое сочетание визуального контекста и пространственной осведомлённости резко снижает число ложных совпадений и при этом остаётся вычислительно эффективным для тысяч изображений высокого разрешения.

Восстановление стены в 3D — по краю за раз

Даже при улучшенных совпадениях SfM всё ещё может ошибаться, если неверно подобрать параметры камеры или попытаться одновременно оптимизировать слишком много точек наблюдения. Фрески представляют особую проблему: метаданные камеры часто отсутствуют или ненадёжны после обработки, а сцена почти планарна, что может вызвать «прогиб» восстановленной стены внутрь или наружу в виртуальной модели. Авторы предлагают два специфичных для фресок приёма. Во‑первых, они повторно оценивают фокусное расстояние камеры — не по тегам файла, а перебором кандидатных значений и выбором тех, которые дают согласованную геометрию, с последующим усреднением среди видов, снятых с одной установки. Во‑вторых, они заменяют глобальную донастройку на «бордюрно-ориентированное сжатие пучка» (edge-based bundle adjustment): вместо постоянной подстройки всех камер система тонко настраивает только камеры и 3D-точки на растущей границе реконструкции, оставляя хорошо фиксированные внутренние виды нетронутыми. Такая сфокусированная оптимизация снижает накопление ошибок, поддерживает виртуальную плоскость стены и сокращает время обработки.

Проверка системы в реальных пещерах

Исследователи проверили систему на почти 1800 изображениях из девяти пещер Могао и на крупном публичном наборе данных MuralDH, где они моделировали съёмку камеры, скользящей по фреске. В прямых сравнительных тестах с широко используемыми открытыми инструментами — COLMAP, VisualSFM, OpenMVG и MVE — новая конвейерная обработка успешнее реконструировала наборы фресок, дала меньшие геометрические ошибки и работала быстрее. Некоторые пещеры, которые конкурирующие системы не смогли реконструировать вовсе, дали чистые облака точек и стабильные траектории камер с новым методом. Когда полученные разреженные 3D‑модели передавались в коммерческое ПО для плотной реконструкции, они давали чёткие, почти не искажённые фронтальные изображения, которыми реставраторы действительно могли пользоваться — то, чего предыдущие автоматические рабочие процессы надёжно обеспечить не могли.

Более ясные цифровые окна в прошлое

Для неспециалистов вывод прост: эта работа делает более реальным создание верных, высокоразрешённых цифровых фацсимиле хрупких настенных росписей в крупном масштабе. Подстраивая инструменты компьютерного зрения под особенности пещерных фресок — повторяющиеся мотивы, тонкий рельеф, отсутствие данных о камере — система SfM авторов превращает огромные, беспорядочные архивы фотографий в геометрически корректные, бесшовные виды росписей. Эти цифровые реконструкции могут поддержать планирование консервации, научный анализ и публичные экспозиции, помогая сохранить визуальные истории на древних стенах даже по мере того, как оригинальные пигменты продолжают своё медленное, неотвратимое угасание.

Цитирование: Fang, K., Min, Z. & Diao, C. An SfM system for mural digitization with attention-guided feature matching and robust sparse reconstruction. npj Herit. Sci. 14, 166 (2026). https://doi.org/10.1038/s40494-026-02385-y

Ключевые слова: оцифровка фресок, культурное наследие, 3D-реконструкция, компьютерное зрение, пещеры Могао в Дуньхуане