Многомасштабная сеть слияния воксельных признаков для восстановления больших шумных 3D-облаков точек в реставрации объектов культурного наследия

Возвращая древние сооружения в цифровой фокус

Когда историки сканируют исторические храмы или памятники лазером, полученные 3D-данные часто больше похожи на телевизионный «снежок», чем на чёткое изображение. Части крыш или скульптур отсутствуют, а случайные «призрачные» точки засоряют сцену. В этой статье предложен новый метод искусственного интеллекта, который очищает и дополняет такие 3D-облака точек, помогая реставраторам и исследователям видеть сложные объекты культурного наследия — например, столетние японские святилища — с гораздо большей ясностью.

Почему 3D-сканы памятников такие «грязные»

Современные инструменты, такие как LiDAR и глубинные камеры, могут за считанные минуты зафиксировать миллионы 3D-точек зданий и ландшафтов. Но деревья, тени, неудобные углы обзора и ограничения самих сканеров приводят к тому, что некоторые участки вообще не фиксируются, а другие искажаются шумом. На практике это даёт пятнистые, неровные облака точек, где важные элементы — например, сцепленные кровельные балки или замысловатые карнизы — либо отсутствуют, либо скрыты помехами. Ранние цифровые методы восстановления либо грубо заполняли пробелы, либо сглаживали мелкие детали, либо требовали больших вычислительных ресурсов, которые не масштабировались для очень больших открытых сцен.

Трёхступенчатый цифровой конвейер реставрации

Авторы опираются на предыдущие наработки и предлагают трёхэтапную AI-структуру, адаптированную для больших шумных 3D-сканов объектов культурного наследия. Сначала выполняется многоступенчатая фильтрация: алгоритм начинает со статистического теста для удаления очевидных выбросов, затем применяет направленный фильтр, который анализирует локальные участки поверхности, чтобы сгладить оставшийся шум, сохраняя при этом резкие формы, такие как кромки. Во-вторых, очищенные точки преобразуются в 3D-воксели — маленькие кубы — и анализируются одновременно на нескольких разрешениях. Грубые сетки захватывают общую структуру крыши; более точные — гребни, черепицу и кромки. Эти многомасштабные воксельные признаки затем объединяются с помощью механизмов внимания, которые позволяют сети решать, насколько доверять каждому масштабу в разных областях объекта.

Уточнение кромок и заполнение пропусков

На третьем этапе объединённые признаки проходят через модуль на основе Transformer, который предсказывает разреженный «скелет» ключевых точек, представляющий недостающие участки. Специальный шаг с учётом кривизны затем оценивает, насколько резко изгибается каждая область, и использует эту информацию для корректировки признаков, чтобы предсказанный скелет лучше следовал истинным кромкам и углам, а не сглаживал их. Наконец, модуль апсемплинга разворачивает этот скелет в плотное завершённое облако точек, которое стремится соответствовать истинной поверхности, сохраняя равномерное распределение точек и избегая сгустков или дыр, которые могли бы отвлекать зрителя или вводить аналитиков в заблуждение.

Насколько хорошо это работает на практике?

Команда протестировала подход как на синтетических формах, так и на реальных сканах. На стандартном бенчмарке 3D-моделей (ShapeNet-55) их метод восстанавливала недостающие части точнее нескольких ведущих сетей, улучшив ключевую метрику расстояния примерно до 16 процентов при сохранении высокой полноты. Что важнее для задач сохранения наследия, они собрали датасет крыш японских храмов, полученных из реальных лазерных сканов с типичным шумом. Здесь метод явно превзошёл альтернативы, особенно при сильном загрязнении данных. В визуальных сравнениях предложённый конвейер давал более чёткую черепицу, более достоверные карнизы и меньше артефактов. Применительно к крупномасштабному скану святилища Тамаки-дзиндзя — более 25 миллионов точек — он смог восстановить пропавшие секции кровли и уточнить шумные поверхности в пределах практического бюджета времени и памяти.

Прозрачный взгляд сквозь «стены» благодаря более чистым данным

Исследователи также интегрировали свой метод дополнения с прозрачной техникой визуализации, разработанной ранее, которая позволяет «видеть сквозь» внешние поверхности плотных облаков точек внутрь конструкций. На исходных зашумлённых данных прозрачные виды крыш Тамаки-дзиндзя были запутанными: пробелы, случайные точки и пропуски скрывали истинную структуру. После применения нового конвейера те же виды показали гораздо более чёткие контуры крыш и карнизов, что облегчило интерпретацию устройства здания. Хотя метод всё ещё испытывает трудности в областях с крайне неполными или сильно зашумлёнными сканами, он существенно повышает как геометрическую точность, так и визуальную читаемость в большинстве участков.

Что это значит для сохранения культурного наследия

Проще говоря, эта работа даёт более «умного» цифрового реставратора для 3D-сканов исторических объектов. Тщательно очищая данные, анализируя формы на нескольких масштабах и уделяя особое внимание кромкам и кривизне, метод способен убедительно реконструировать отсутствующие части зданий, избегая чрезмерного сглаживания или искажений. Для кураторов, архитекторов и историков это означает более надёжные виртуальные модели для изучения, планирования консервации и публичных экспозиций, включая погружаемые прозрачные виды сложных деревянных конструкций. Хотя подход не заменяет физическую реставрацию, он предлагает мощный инструмент для сохранения и исследования геометрии хрупкого культурного наследия в цифровой среде.

Цитирование: Li, W., Pan, J., Hasegawa, K. et al. Multiscale voxel feature fusion network for large scale noisy point cloud completion in cultural heritage restoration. npj Herit. Sci. 14, 93 (2026). https://doi.org/10.1038/s40494-026-02331-y

Ключевые слова: 3D-облако точек, объекты культурного наследия, LiDAR-сканирование, глубокое обучение, цифровая реставрация