Un método de anotación automática para mallas triangulares 3D coloreadas orientado a la segmentación del deterioro de bienes culturales

Por qué importan unos ojos digitales sobre los tesoros antiguos

En museos y sitios históricos, esculturas, murales y muros tallados se agrietan, desconchan y pierden color de forma gradual. Los conservadores necesitan saber exactamente dónde ocurre ese daño para decidir qué reparar y con qué urgencia, pero trazar cuidadosamente cada parche dañado sobre registros 3D detallados puede llevar semanas. Este artículo presenta una forma automática de marcar el deterioro en modelos 3D ricos en color de reliquias culturales, transformando una tarea tediosa y restringida a expertos en un proceso digital rápido y preciso.

De estatuas frágiles a gemelos 3D detallados

Hoy en día, muchos artefactos importantes se registran como modelos 3D a todo color y alta fidelidad construidos a partir de fotografías. Estos modelos capturan tanto la forma como la pintura superficial sin tocar el objeto original, y instituciones desde las cuevas de Dunhuang hasta el British Museum los están utilizando. Sin embargo, gran parte de esa riqueza digital se desaprovecha: los modelos se usan principalmente para visualización y archivo, no para análisis en profundidad. Para el trabajo de conservación, un desafío clave es identificar y medir exactamente dónde se está desconchando la pintura o agrietando el material en superficies curvas complejas. Hacer esto a mano sobre modelos 3D es lento y extenuante; hacerlo sobre fotos planas pierde información crucial sobre la ubicación del daño en el propio objeto.

Vinculando imágenes planas y formas 3D

Los autores proponen un sistema que permite que lo 2D y lo 3D "conversen" entre sí para aprovechar simultáneamente las fortalezas de ambos. Primero, los conservadores cargan un modelo 3D a color en una plataforma personalizada y seleccionan con un cuadro, de forma aproximada, el área que les interesa, como el brazo o la base de una estatua. El software entonces "despliega" matemáticamente esa parte de la superficie, disponiéndola como una imagen de textura plana continua—una especie de piel digital pelada y extendida con mínima distorsión. Cada píxel en este mapa plano sabe exactamente de qué pequeño triángulo de la superficie 3D proviene, y viceversa. Este enlace bidireccional significa que cualquier marca dibujada—o en este caso, detectada—en la imagen plana puede proyectarse fielmente de vuelta sobre el objeto 3D curvado.

Enseñar al ordenador a ver pintura descascarillada

Una vez que la superficie se aplana en una imagen clara y continua, el sistema se centra en encontrar regiones dañadas, especialmente lugares donde la pintura se ha desprendido. En lugar de depender de umbrales de color toscos, los autores usan una versión mejorada de un método llamado SLIC, que divide la imagen en muchos "superpíxeles" pequeños y uniformes. El número y la forma de estos superpíxeles se eligen automáticamente en función de la complejidad visual de la imagen, usando una medida de contraste de textura. Luego, un paso de agrupamiento combina superpíxeles en áreas "dañadas" y "sanas". Este enfoque se ajusta más a los bordes irregulares de la pintura desconchada y reduce el ruido en comparación con otras técnicas de segmentación populares. El resultado es una máscara de daño precisa definida a nivel de píxel en el mapa de textura 2D.

Reintegrando el daño en el artefacto 3D

Con la ayuda del vínculo 2D–3D anterior, el software rastrea cada píxel dañado hasta el punto exacto de la malla 3D al que pertenece. Usando transformaciones geométricas sencillas, convierte coordenadas 2D en posiciones 3D completas que siguen la curvatura del objeto. Estos puntos se combinan luego en una "capa" coloreada y limpia de deterioro que se adhiere al modelo 3D original. En una estatua de Guanyin pintada en madera de la dinastía Song de China, los autores muestran que sus máscaras automáticas se alinean estrechamente con el trabajo manual meticuloso realizado en software profesional de modelado, incluso en zonas de fuerte curvatura o con gran detalle. Además, enriquecen los datos copiando y transformando digitalmente estos patrones de daño 2D y 3D, creando muchos ejemplos de entrenamiento realistas para futuros sistemas de aprendizaje profundo.

Qué significa esto para preservar el pasado

El estudio demuestra que una coordinación cuidadosa entre imágenes planas y geometría 3D puede convertir réplicas digitales crudas de artefactos en herramientas prácticas de conservación. Su plataforma reduce el trabajo y la subjetividad del etiquetado manual, produce mapas de daño consistentes y de alta precisión, y admite procesamiento por lotes para manejar colecciones grandes. En términos sencillos, ofrece a los conservadores un "resaltador" semi‑automático y fiable para el deterioro en objetos complejos y genera los abundantes datos 3D bien anotados que las técnicas modernas de IA necesitan. Aunque el enfoque aún depende de texturas de buena calidad y de un desplegado inteligente para evitar distorsiones, ofrece un paso potente hacia cuidados escalables y basados en datos para el patrimonio cultural mundial.

Cita: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Palabras clave: conservación del patrimonio cultural, digitalización 3D, detección automática de daños, mapeo de texturas, conjuntos de datos para aprendizaje profundo