3DSynBrush — высококачественная система 3D-реконструкции для отдельных фрагментов дуньхуанских фресок

Древнее искусство встречает современные инструменты

Росписи пещер Дуньхуана на западе Китая содержат одни из самых выдающихся буддийских фресок в мире, но многие из этих хрупких произведений выцветают, трескаются и отпадают. В этом исследовании предложен новый способ превращения единственной фотографии фрагмента фрески в правдоподобную трёхмерную модель, что помогает историкам, реставраторам и широкой публике изучать эти произведения со всех сторон, не прикасаясь к оригиналам.

Сокровище, которое рискует исчезнуть

Гроты Могао в Дуньхуане часто называют библиотекой, высеченной в камне: фрески запечатлевают религиозные сюжеты, архитектуру, одежду, музыку и повседневную жизнь на протяжении тысячи лет. Время, песок, соль и человеческая активность оставили свой след: пигменты выгорают, штукатурка крошится. Традиционная консервация опирается на фотографии и кропотливый физический ремонт, но они не в состоянии полностью передать глубину, цветовые переходы и пространственное ощущение фресок, а также остановить дальнейшие потери. Цифровые 3D-модели, напротив, могут зафиксировать момент времени, позволив хранителям анализировать детали, моделировать освещение и широко демонстрировать произведения, не подвергая опасности оригиналы.

Почему переход от плоской живописи к 3D сложен

Для правдоподобной 3D-модели обычно требуется множество снимков, сделанных с разных ракурсов вокруг объекта. Фрески Дуньхуана, однако, представляют собой плоские изображения на стенах пещер, и часто доступна лишь одна высококачественная фотография конкретной фигуры, животного или архитектурного мотива. Стиль исполнения добавляет дополнительные трудности: мазки могут быть тонкими, цвета — приглушёнными из‑за времени, а элементы вроде тонких лент или ореолов очень тонки. Существующие 3D‑алгоритмы в основном обучены на фотографиях повседневных объектов и зданий, поэтому они часто неверно интерпретируют такие стилизованные изображения, создавая искажённые формы или выдумывая детали, нарушающие дух оригинального искусства.

Умный пошаговый цифровой «кистевой» подход

Авторы предлагают фреймворк под названием 3DSynBrush, который умело соединяет несколько современных приёмов обработки изображений и 3D-технологий, причём каждый модуль решает свою часть задачи. Сначала они собирают специализированный набор Chinese Mural Elements (CME): тысячи тщательно отобранных фигур, животных и растений, вырезанных из высокоразрешённых фотографий фресок. Инструмент сегментации аккуратно отделяет каждый элемент от насыщенного фона, оставляя прозрачный контур, сохраняющий края и тонкие структуры. Затем модуль синтеза перспективы представляет, как эта единственная изображённая фигура выглядела бы с нескольких стандартных точек обзора, используя мощную «диффузионную» модель, которая усвоила типичные 3D‑взаимосвязи из больших обучающих наборов. Это создаёт кольцо согласованных видов вокруг элемента, хотя исходно была предоставлена только одна фотография.

От воображаемых видов к твёрдым формам

Сгенерированные виды затем поступают в систему нейронной визуализации, которая связывает их в непрерывное 3D «поле света» — по сути математическое описание того, как ведут себя свет и цвет в каждой точке вокруг элемента. Эта стадия настроена на работу с мягкими текстурами и нефотореалистичным видом фресок, сглаживая мелкие несоответствия между сгенерированными видами, не стирая при этом художественных особенностей. В завершение модуль построения сетки преобразует невидимое поле света в стандартную 3D‑поверхность из треугольников, автоматически уточняя плотные области там, где важны края и мелкие детали, и упрощая более плоские участки, которым не требуется много вершин. Примечательно, что получаемые модели используют примерно на 40 процентов меньше вершин и граней по сравнению с ведущими альтернативами, при этом точнее соответствуют исходным изображениям как по форме, так и по текстуре.

Устойчивость к шуму, теням и пробелам

Команда проверила 3DSynBrush в тяжёлых условиях, имитирующих реальные съёмки: зернистые кадры, неравномерное освещение и участки элемента, скрытые тёмными пятнами. Даже при увеличении шума и окклюзий основная 3D‑форма оставалась стабильной, а текстуры поверхности — узнаваемыми. При визуальном и численном сравнении с несколькими ведущими методами 3D по одному изображению 3DSynBrush давал более чистые, более достоверные реконструкции объектов в стиле фресок, избегая типичных ошибок, таких как искажённые тела, разорванные поверхности или текстуры, напоминающие посторонние предметы.

Возрождение утраченных миров

Для неспециалистов ключевой результат в том, что одна фотография нарисованного оленя, танцовщицы или храма из Дуньхуана теперь может быть преобразована в компактную, точную 3D‑модель, которую можно исследовать в виртуальной реальности, использовать в цифровых выставках или применять как ориентир при аккуратной реставрации. Хотя система всё ещё зависит от качества первоначального выреза и ограничена текущими разрешениями изображений, она предлагает практический путь к сохранению внешнего вида и пространственного ощущения хрупких настенных росписей. По сути, 3DSynBrush выступает в роли цифрового скульптора, уважающего оригинальный стиль художника, превращая уязвимые фрагменты фресок в долговечные интерактивные «статуи» для будущих поколений изучать и наслаждаться.

Цитирование: Peng, X., Wang, J., Hu, Q. et al. 3DSynBrush a high quality 3D reconstruction framework for single Dunhuang murals. npj Herit. Sci. 14, 154 (2026). https://doi.org/10.1038/s40494-026-02424-8

Ключевые слова: дуньхуанские фрески, оцифровка культурного наследия, 3D-реконструкция из одного изображения, нейронная визуализация, виртуальные музеи