Фреймворк Gaussian splatting с двойным априорным подходом для высококачественной реконструкции музейных артефактов

Почему важно сохранять артефакты в 3D

Музеи по всему миру ускоренно создают детализированные цифровые копии хрупких артефактов — от бронзовых колоколов до фарфоровых ваз. Эти виртуальные двойники можно изучать онлайн, исследовать без непосредственного контакта с оригиналами и сохранять даже в случае повреждения физических объектов. Но во многих коллекциях доступны лишь сырые 3D-сканы в виде цветных облаков точек — миллионов точек в пространстве — без сопутствующих фотографий. В этой статье предложен новый способ превращать одни только эти точки в реалистичные 3D-модели, открывая огромные архивы «спящего» наследия для яркой цифровой демонстрации.

Проблемы современных цифровых реплик

До сих пор высококачественные 3D-реконструкции обычно следовали двум путям. Первый использует обычные фотографии с множества ракурсов, чтобы восстанавливать форму и цвет, но испытывает трудности на гладких, слабо текстурированных поверхностях, характерных для многих артефактов, и не всегда позволяет точно восстановить реальные размеры. Второй путь опирается на точные лазерные сканеры для прямого захвата геометрии, иногда дополнительно используя отдельные камеры для цвета. Такой подход точен, но дорог, и он всё равно не порождает напрямую тех богатых, светочувствительных визуализаций, которые требуют современные виртуальные экспозиции. Новая техника, называемая 3D Gaussian splatting, может рендерить сцены в реальном времени с впечатляющим реализом, но обычно она зависит от снимков камер и от грубого начального облака точек, построенного из этих снимков. Для музейных предметов, архивированных только как облака точек, эта цепочка рушится.

Новый путь от точек к цифровым двойникам

Авторы предлагают «двойной априорный» фреймворк, который стартует от высококачественного цветного облака точек и приводит к детализированной, готовой к рендерингу модели — без необходимости в исходных фотографиях. Первый априор — геометрический: умный метод выборки просеивает плотный скан, оценивая вариации формы и цвета на разных масштабах. Точки, фиксирующие ребра поверхности, резьбу, трещины или резкие изменения цвета, получают более высокий приоритет, в то время как плоские или однородные участки редуцируются. Затем тщательно выбранное подмножество точек используется для инициализации миллионов маленьких 3D-строительных блоков, называемых гауссовыми примитивами, которые формируют каркас финальной модели и несут корректный реальный масштаб.

Обучение модели тому, как должен выглядеть объект

Второй априор — визуальный: вместо использования реальных фотографий метод генерирует «идеальные» обучающие изображения прямо из облака точек. Виртуальные камеры размещаются по всему объекту, включая углы, которые могут быть труднодоступны в реальной экспозиции, и каждая точка проецируется в эти виды для создания синтетических цветных изображений. Алгоритм видимости удаляет точки, которые должны быть скрыты с данного угла, предотвращая наложение, когда фонные детали ошибочно оказываются на переднем плане. Поскольку изображения и геометрия происходят из одного источника, не возникает рассогласования между формой и цветом — частой головной боли при традиционных рабочих процессах, объединяющих отдельные сканы и наборы фото.

Очистка и повышение чёткости синтетических видов

Сырые проекции из точек имеют тенденцию выглядеть рвано по краям и слегка размыто в мелких деталях. Чтобы исправить это, синтетические изображения проходят этап антиалиасинга, который сглаживает «ступенчатые» контуры при сохранении узоров, а затем — через суперразрешающую сеть на основе трансформера. Эта сеть рассматривает множество видов как кадры видео и учится заимствовать крошечные фрагменты деталей из соседних изображений, которые видят ту же область под немного иным углом. В результате получается набор чётких изображений высокого разрешения, служащих сильным учебным сигналом: 3D-гауссовая модель многократно рендерится и настраивается так, чтобы её выходы как можно точнее соответствовали этим улучшенным изображениям.

Что это значит для музеев и не только

Тесты на новом наборе данных культурного наследия и на стандартных 3D-бенчмарках показывают, что подход с двойным априором даёт более чистые, более точные визуализации по сравнению с несколькими ведущими вариантами Gaussian splatting, с заметно лучшим восстановлением деликатных украшений и более правдоподобной общей формой. Для музеев, которые уже имеют точные облака точек, но лишены пригодных фотографий, метод предлагает практический способ вдохнуть новую жизнь в старые сканы, превращая их в интерактивные цифровые суррогаты, пригодные для экспозиций, образования и исследований. Главное оговорка в том, что подход предполагает, что исходные сканы плотные и полные — если данные разрежены или сильно повреждены, преимущества снижаются. Тем не менее для многих коллекций, соответствующих этому требованию, фреймворк предоставляет мощный мост от сырых измерений к убедительным виртуальным артефактам.

Цитирование: He, Y., Zhang, X., Xie, Z. et al. A dual-prior driven Gaussian splatting framework for high-fidelity reconstruction of museum artifacts. npj Herit. Sci. 14, 69 (2026). https://doi.org/10.1038/s40494-026-02330-z

Ключевые слова: цифровое наследие, 3D-реконструкция, облачия точек, Gaussian splatting, музейные артефакты