Rede de fusão de recursos voxel multiescala para completude de nuvens de pontos ruidosas em grande escala na restauração de patrimônio cultural

Trazendo Estruturas Antigas de Volta ao Foco Digital

Quando historiadores escaneiam templos ou monumentos históricos com lasers, os dados 3D resultantes frequentemente se parecem mais com uma televisão cheia de estática do que com uma imagem nítida. Partes de telhados ou esculturas estão ausentes, e pontos aleatórios “fantasmas” poluem a cena. Este artigo apresenta um novo método de inteligência artificial (IA) que limpa e completa essas nuvens de pontos 3D, ajudando curadores e pesquisadores a enxergar sítios de patrimônio cultural complexos — como santuários japoneses centenários — com muito mais clareza.

Por Que as Varreduras 3D de Sítios Históricos São Tão Bagunçadas

Ferramentas modernas como LiDAR e câmeras de profundidade podem capturar milhões de pontos 3D de edifícios e paisagens em minutos. Mas árvores, sombras, ângulos de captura desfavoráveis e as limitações dos próprios sensores fazem com que algumas regiões nunca sejam “vistas”, enquanto outras ficam corrompidas por ruído. Na prática, isso leva a nuvens de pontos irregulares e incompletas onde características-chave — como vigas encaixadas do telhado ou beirais trabalhados — ou estão faltando ou estão enterradas sob pontos espúrios. Técnicas anteriores de reparo digital preenchiam lacunas de forma grosseira, borravam detalhes finos ou exigiam grande poder computacional que não escalava para cenas externas muito grandes.

Um Pipeline de Restauração Digital em Três Etapas

Os autores ampliam trabalhos anteriores e propõem uma arquitetura de IA em três estágios, projetada para varreduras 3D grandes e ruidosas de patrimônio cultural. Primeiro vem uma etapa de filtragem em múltiplas fases: o algoritmo aplica inicialmente um teste estatístico para remover outliers óbvios, depois usa um filtro guiado que analisa patches locais de superfície para suavizar o ruído restante preservando formas agudas como arestas. Em segundo lugar, os pontos limpos são convertidos em “voxels” 3D — pequenos cubos — e analisados em várias resoluções simultaneamente. Grades mais grossas capturam a estrutura geral de um telhado; grades mais finas capturam ranhuras, telhas e bordas. Esses recursos voxel multiescala são então fundidos com mecanismos de atenção que permitem à rede decidir quanto confiar em cada escala em diferentes regiões do objeto.

Aprimorando Arestas e Preenchendo as Lacunas

No terceiro estágio, os recursos fundidos são processados por um módulo baseado em Transformer que prevê um “esqueleto” esparso de pontos-chave representando as regiões faltantes. Uma etapa especial de aprimoramento guiada por curvatura mede o quão acentuadamente cada região se dobra e utiliza essa informação para ajustar os recursos, de modo que o esqueleto previsto siga melhor as arestas e cantos reais em vez de arredondá‑los. Finalmente, um módulo de upsampling expande esse esqueleto para uma nuvem de pontos densa e completada que procura corresponder à superfície verdadeira, mantendo a distribuição de pontos uniforme e evitando aglomerados ou vazios que distrairiam observadores ou enganariam analistas.

Quão Bem Isso Funciona na Prática?

A equipe testou a abordagem tanto em formas sintéticas quanto em varreduras reais. Em um benchmark padrão de modelos 3D (ShapeNet‑55), o método recuperou partes faltantes com mais precisão do que várias redes de ponta, melhorando uma medida de distância chave em cerca de 16% enquanto mantinha alta completude. Mais importante para aplicações de patrimônio, montaram um conjunto de dados de telhados de templos japoneses derivado de varreduras a laser reais que incluem ruído do mundo real. Nesse cenário, o método superou claramente as alternativas, especialmente quando os dados estavam fortemente contaminados. Em comparações visuais, o pipeline proposto produziu telhas com contornos mais nítidos, beirais mais fiéis e menos artefatos. Aplicado à varredura em grande escala do santuário Tamaki‑jinja — com mais de 25 milhões de pontos — foi capaz de reconstruir seções de telhado faltantes e refinar superfícies ruidosas dentro de um orçamento prático de tempo e memória.

Enxergando Através das Paredes com Dados Mais Claros

Os pesquisadores também integraram seu método de completude com uma técnica de visualização transparente que haviam desenvolvido antes, que permite aos espectadores “ver através” das superfícies externas de nuvens de pontos densas para estruturas internas. Nos dados originais e ruidosos, vistas transparentes dos telhados de Tamaki‑jinja eram confusas: lacunas, pontos dispersos e regiões ausentes ocultavam a estrutura real. Após aplicar o novo framework de completude, as mesmas vistas mostraram contornos de telhados e beirais muito mais claros, facilitando a interpretação de como o edifício está montado. Embora o método ainda tenha dificuldades em áreas onde as varreduras são extremamente incompletas ou sobrecarregadas de ruído, ele melhora substancialmente tanto a precisão geométrica quanto a legibilidade visual na maior parte das regiões.

O Que Isso Significa para o Patrimônio Cultural

Em termos simples, este trabalho fornece um “restaurador digital” mais inteligente para varreduras 3D de sítios históricos. Ao limpar cuidadosamente os dados, compreender formas em múltiplas escalas e dar atenção especial a arestas e curvas, o método pode reconstruir de forma plausível partes faltantes de edifícios evitando resultados excessivamente suavizados ou distorcidos. Para curadores, arquitetos e historiadores, isso significa modelos virtuais mais confiáveis para estudo, planejamento de conservação e exposições públicas, incluindo vistas imersivas que permitem ver estruturas complexas de madeira por dentro. Embora a abordagem não substitua a conservação física, oferece uma ferramenta poderosa para preservar e explorar a geometria de patrimônios culturais frágeis no domínio digital.

Citação: Li, W., Pan, J., Hasegawa, K. et al. Multiscale voxel feature fusion network for large scale noisy point cloud completion in cultural heritage restoration. npj Herit. Sci. 14, 93 (2026). https://doi.org/10.1038/s40494-026-02331-y

Palavras-chave: nuvem de pontos 3D, patrimônio cultural, varredura LiDAR, aprendizado profundo, restauração digital