Метод автоматической аннотации цветных 3D‑треугольных сетей, ориентированный на сегментацию разрушений культурных реликвий

Почему цифровые «глаза» важны для старинных сокровищ

В музеях и на исторических объектах скульптуры, фрески и резные стены постепенно трескаются, шелушатся и выцветают. Консерваторам нужно точно знать, где происходят эти повреждения, чтобы решить, что и насколько срочно ремонтировать, но аккуратное обведение каждой поражённой области на детализированных 3D‑записях может занять недели. В этой статье предложен автоматический способ маркировки разрушений на насыщенных цветом 3D‑моделях реликвий, превращающий трудоёмкую задачу, доступную только специалистам, в быстрый и точный цифровой процесс.

От хрупких статуй к детализированным 3D‑двойникам

Сегодня многие важные артефакты фиксируют как высокоточные цветные 3D‑модели, построенные по фотографиям. Эти модели улавливают как форму, так и поверхность с красками, не прикасаясь к оригиналу, и учреждения от пещер Дуньхуана до Британского музея уже их используют. Однако большинство этих цифровых данных остаются невостребованными: модели в основном служат для просмотра и архивирования, а не для глубокого анализа. Для реставрационных работ ключевая задача — точно определить и измерить, где краска отслаивается или материал трескается по сложным изогнутым поверхностям. Делать это вручную на 3D‑моделях медленно и утомительно; делать это по плоским фотографиям — значит терять важную информацию о том, где именно находится повреждение на самом объекте.

Связывание плоских изображений и 3D‑форм

Авторы предлагают систему, которая позволяет 2D и 3D «общаться», используя сильные стороны каждой репрезентации одновременно. Сначала консерваторы загружают цветную 3D‑модель в специализированную платформу и приближённо выделяют область интереса, например руку или основание статуи. Программное обеспечение затем математически «разворачивает» эту часть поверхности, выкладывая её в виде непрерывного плоского текстурного изображения — своего рода цифровая кожа, аккуратно раскрытая с минимальными искажениями. Каждый пиксель в этой плоской карте точно знает, из какого маленького треугольника 3D‑поверхности он произошёл, и наоборот. Эта двунаправленная связь означает, что любые пометки, нанесённые — или в нашем случае обнаруженные — на плоском изображении, можно достоверно проецировать обратно на изогнутый 3D‑объект.

Обучение компьютера видеть отслаивающуюся краску

Когда поверхность преобразована в чёткое непрерывное изображение, система сосредотачивается на поиске повреждённых областей, особенно мест, где краска сошла. Вместо простого порогового разделения по цвету авторы используют улучшенную версию метода SLIC, который делит изображение на множество мелких однородных «суперпикселей». Число и форма этих суперпикселей выбираются автоматически в зависимости от визуальной сложности изображения, с использованием меры текстурного контраста. Затем шаг кластеризации группирует суперпиксели на «повреждённые» и «здоровые» области. Такой подход лучше повторяет нерегулярные границы отслаивающейся краски и уменьшает шум по сравнению с другими популярными методами сегментации. В результате получается точная маска повреждений, нарисованная на пиксельном уровне на 2D‑текстуре.

Возвращая повреждения обратно на 3D‑артефакт

С помощью упомянутой 2D–3D‑связи программное обеспечение сопоставляет каждый повреждённый пиксель с точным местом на 3D‑сети, где он расположен. Используя простые геометрические преобразования, оно переводит 2D‑координаты в полные 3D‑положения, которые следуют кривизне объекта. Эти точки затем объединяются в чистую цветную «оболочку» разрушения, прилегающую к оригинальной 3D‑модели. На примере расписной деревянной статуи Гуаньинь из эпохи Сун авторы показывают, что их автоматические маски очень близки к кропотливой ручной разметке, выполненной в профессиональном ПО для моделирования, даже на сильно изогнутых или детализированных участках. Они также расширяют данные, цифровым копированием и преобразованием этих 2D‑ и 3D‑паттернов повреждений, создавая множество реалистичных обучающих примеров для будущих систем глубокого обучения.

Что это значит для сохранения прошлого

Исследование демонстрирует, что тщательная координация между плоскими изображениями и 3D‑геометрией позволяет превратить сырые цифровые реплики артефактов в практические инструменты для консервации. Их платформа сокращает трудоёмкость и субъективность ручной разметки, даёт согласованные высокоточные карты повреждений и поддерживает пакетную обработку для работы с большими коллекциями. Проще говоря, она даёт консерваторам надёжный полуавтоматический «маркер» разрушений на сложных объектах и генерирует обильные, хорошо разметенные 3D‑данные, необходимые современным методам ИИ. Хотя подход по‑прежнему зависит от качественных текстур и грамотного развёртывания, чтобы избежать искажений, он представляет собой сильный шаг к масштабируемой, основанной на данных заботе о мировом культурном наследии.

Цитирование: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Ключевые слова: сохранение культурного наследия, 3D‑оцифровка, автоматическое обнаружение повреждений, текстурное отображение, наборы данных для глубокого обучения