Um método de anotação automática para malhas triangulares 3D coloridas orientado à segmentação de deterioração de relíquias culturais

Por que olhos digitais sobre tesouros antigos importam

Em museus e sítios históricos, esculturas, murais e paredes esculpidas estão lentamente rachando, descascando e desbotando. Os conservadores precisam saber exatamente onde esses danos estão ocorrendo para decidir o que reparar e com que urgência, mas mapear cuidadosamente cada área danificada em registros 3D detalhados dos objetos pode levar semanas. Este artigo apresenta uma forma automática de marcar a deterioração em modelos 3D ricamente coloridos de relíquias culturais, transformando uma tarefa tediosa e restrita a especialistas em um processo digital rápido e preciso.

De estátuas frágeis a gêmeos 3D detalhados

Hoje, muitos artefatos importantes são registrados como modelos 3D coloridos de alta fidelidade construídos a partir de fotografias. Esses modelos capturam tanto a forma quanto a pintura superficial sem tocar o objeto original, e instituições do conjunto das cavernas de Dunhuang ao British Museum os utilizam. Ainda assim, grande parte dessa riqueza digital é subaproveitada: os modelos são usados principalmente para visualização e arquivamento, não para análise aprofundada. Para o trabalho de conservação, um desafio central é identificar e medir exatamente onde a tinta está descascando ou o material está rachando em superfícies curvas complexas. Fazer isso manualmente em modelos 3D é lento e exaustivo; fazê‑lo em fotos planas perde informações cruciais sobre onde o dano realmente se situa no próprio objeto.

Ligando imagens planas e formas 3D

Os autores propõem um sistema que permite que o 2D e o 3D “conversem” entre si para aproveitar as forças de ambos simultaneamente. Primeiro, os conservadores carregam um modelo 3D colorido em uma plataforma personalizada e fazem uma seleção em caixa da área de interesse, como o braço ou a base de uma estátua. O software então “desdobra” matematicamente essa parte da superfície, colocando‑a como uma imagem de textura plana contínua — uma espécie de pele digital descascada e espalhada com distorção mínima. Cada pixel nesse mapa plano sabe exatamente de qual pequeno triângulo da superfície 3D ele veio, e vice‑versa. Essa ligação bidirecional significa que quaisquer marcas desenhadas — ou, neste caso, detectadas — na imagem plana podem ser projetadas fielmente de volta ao objeto 3D curvo.

Ensinando o computador a ver tinta descascando

Uma vez que a superfície é achatada em uma imagem clara e contínua, o sistema se concentra em encontrar regiões danificadas, especialmente locais onde a tinta se soltou. Em vez de depender de limiares de cor grosseiros, os autores usam uma versão aprimorada de um método chamado SLIC, que divide a imagem em muitos “superpixels” pequenos e uniformes. O número e a forma desses superpixels são escolhidos automaticamente com base na complexidade visual da imagem, usando uma medida de contraste de textura. Em seguida, uma etapa de agrupamento une superpixels em áreas “danificadas” e “saudáveis”. Essa abordagem acompanha melhor as bordas irregulares da tinta descascada e reduz o ruído em comparação com outras técnicas populares de segmentação. O resultado é uma máscara de dano precisa desenhada em nível de pixel no mapa de textura 2D.

Colocando o dano de volta no artefato 3D

Com a ajuda da ligação 2D–3D anterior, o software rastreia cada pixel danificado de volta ao ponto exato na malha 3D onde ele pertence. Usando transformações geométricas simples, converte coordenadas 2D em posições 3D completas que acompanham a curvatura do objeto. Esses pontos são então combinados em uma “casca” colorida e limpa de deterioração que se adere ao modelo 3D original. Em uma estátua de Guanyin pintada em madeira da Dinastia Song, os autores mostram que suas máscaras automáticas coincidem estreitamente com o trabalho manual minucioso realizado em softwares profissionais de modelagem, mesmo em áreas fortemente curvas ou altamente detalhadas. Eles ainda enriquecem os dados copiando e transformando digitalmente esses padrões de dano 2D e 3D, criando muitos exemplos de treinamento realistas para futuros sistemas de aprendizado profundo.

O que isso significa para preservar o passado

O estudo demonstra que a coordenação cuidadosa entre imagens planas e geometria 3D pode transformar réplicas digitais brutas de artefatos em ferramentas práticas de conservação. Sua plataforma reduz o trabalho e a subjetividade da rotulação manual, produz mapas consistentes e de alta precisão dos danos e suporta processamento em lote para lidar com grandes coleções. Em termos práticos, oferece aos conservadores um “marca‑texto” semi‑automático confiável para deterioração em objetos complexos e gera os abundantes e bem anotados dados 3D que os métodos modernos de IA necessitam. Embora a abordagem ainda dependa de texturas de boa qualidade e de um desdobramento inteligente para evitar distorções, ela representa um passo poderoso em direção a um cuidado escalável e orientado por dados do patrimônio cultural mundial.

Citação: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Palavras-chave: conservação do patrimônio cultural, digitalização 3D, detecção automática de danos, mapeamento de textura, conjuntos de dados para aprendizado profundo