Une méthode d’annotation automatique pour maillages triangulaires 3D colorés orientée vers la segmentation de la détérioration des biens culturels

Pourquoi des yeux numériques sur les vieux trésors sont importants

Dans les musées et les sites historiques, sculptures, fresques et murs sculptés se fissurent, s’écaillent et se décolorent progressivement. Les conservateurs doivent savoir précisément où ces dommages apparaissent pour décider quoi réparer et avec quelle urgence, mais repérer soigneusement chaque surface abîmée sur des enregistrements 3D détaillés peut prendre des semaines. Cet article présente une méthode automatique pour marquer la détérioration sur des modèles 3D richement colorés de reliques culturelles, transformant une tâche fastidieuse réservée aux experts en un processus numérique rapide et précis.

Des statues fragiles aux jumeaux numériques détaillés

Aujourd’hui, de nombreux artefacts importants sont enregistrés sous la forme de modèles 3D colorés haute fidélité construits à partir de photographies. Ces modèles capturent à la fois la forme et la couche picturale de surface sans toucher l’objet original, et des institutions allant des grottes de Dunhuang au British Museum les utilisent. Pourtant, la plupart de cette richesse numérique est sous-exploitée : les modèles servent surtout à la visualisation et à l’archivage, pas à l’analyse approfondie. Pour le travail de conservation, un défi clé est d’identifier et de mesurer exactement où la peinture s’écaille ou le matériau se fissure sur des surfaces courbes complexes. Le faire manuellement sur des modèles 3D est lent et épuisant ; le faire sur des photos plates fait perdre des informations cruciales sur l’emplacement réel des dommages sur l’objet.

Relier images plates et formes 3D

Les auteurs proposent un système qui permet aux mondes 2D et 3D de « dialoguer » afin d’exploiter simultanément les atouts de chacun. D’abord, les conservateurs chargent un modèle 3D coloré dans une plateforme dédiée et sélectionnent approximativement une zone d’intérêt, comme le bras ou la base d’une statue. Le logiciel « déroule » ensuite mathématiquement cette portion de surface, la disposant sous la forme d’une image texture continue et plane — une sorte de peau numérique décollée et étalée avec un minimum de distorsion. Chaque pixel de cette carte plate sait exactement de quel petit triangle de la surface 3D il provient, et réciproquement. Ce lien bidirectionnel permet que toute marque tracée — ou, dans ce cas, détectée — sur l’image plane soit fidèlement projetée de nouveau sur l’objet 3D courbé.

Apprendre à l’ordinateur à voir la peinture qui s’écaille

Une fois la surface aplatie en une image claire et continue, le système se concentre sur la détection des régions endommagées, en particulier les zones où la peinture a disparu. Plutôt que de se fier à des seuils de couleur grossiers, les auteurs utilisent une version améliorée d’une méthode appelée SLIC, qui divise l’image en nombreux « superpixels » petits et uniformes. Le nombre et la forme de ces superpixels sont choisis automatiquement en fonction de la complexité visuelle de l’image, à l’aide d’une mesure du contraste de texture. Ensuite, une étape de regroupement classe les superpixels en zones « endommagées » et « saines ». Cette approche épouse mieux les bords irréguliers de la peinture écaillée et réduit le bruit par rapport à d’autres techniques de segmentation courantes. Le résultat est un masque de dégradation précis tracé au niveau pixel sur la carte de texture 2D.

Reprojeter les dommages sur l’artefact 3D

Grâce au lien 2D–3D établi précédemment, le logiciel trace chaque pixel endommagé jusqu’à l’emplacement exact sur le maillage 3D auquel il appartient. En utilisant de simples transformations géométriques, il convertit les coordonnées 2D en positions 3D complètes qui suivent la courbure de l’objet. Ces points sont ensuite combinés pour former une « coque » colorée et nette de détérioration qui épouse le modèle 3D original. Sur une statue de Guanyin en bois peint de la dynastie Song, les auteurs montrent que leurs masques automatiques coïncident étroitement avec le travail manuel minutieux réalisé dans des logiciels de modélisation professionnels, même sur des zones fortement courbées ou très détaillées. Ils enrichissent encore les données en copiant et transformant numériquement ces motifs de dommage 2D et 3D, créant de nombreux exemples d’entraînement réalistes pour de futurs systèmes d’apprentissage profond.

Ce que cela signifie pour la préservation du passé

L’étude démontre qu’une coordination soignée entre images planes et géométrie 3D peut transformer des répliques numériques brutes d’artefacts en outils pratiques pour la conservation. Leur plateforme réduit le travail manuel et la subjectivité de l’annotation, produit des cartes de dégradation cohérentes et de haute précision, et prend en charge le traitement par lots pour gérer de grandes collections. En termes simples, elle offre aux conservateurs un « surligneur » semi-automatique fiable pour la détérioration des objets complexes et génère les données 3D abondantes et bien annotées dont les méthodes d’IA modernes ont besoin. Si l’approche dépend encore de textures de bonne qualité et d’un déroulement intelligent pour éviter les distorsions, elle constitue une étape puissante vers des soins évolutifs et fondés sur les données du patrimoine culturel mondial.

Citation: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Mots-clés: conservation du patrimoine culturel, numérisation 3D, détection automatique des dégradations, cartographie des textures, jeux de données pour apprentissage profond