Un système SfM pour la numérisation de peintures murales avec appariement de points guidé par attention et reconstruction parcimonieuse robuste

Pourquoi la sauvegarde des peintures murales anciennes nécessite de nouvelles astuces numériques

À travers les déserts du nord-ouest de la Chine, les peintures murales des grottes de Mogao s’estompent, se fissurent et s’écaillent lentement. Les conservateurs souhaitent des copies numériques détaillées de ces fresques afin que chercheurs et grand public puissent les étudier bien après la détérioration des originaux. Mais transformer des milliers de photographies rapprochées en une seule vue plane et non déformée d’un mur courbe et abîmé est étonnamment difficile. Cet article présente un nouveau système de vision par ordinateur conçu spécifiquement pour les peintures de grottes, rendant les reconstructions numériques plus nettes, plus fiables et utilisables à grande échelle.

Du patchwork de photos à un mur unique et sans coutures

Numériser une peinture murale ne se résume pas à prendre une seule photo. Des caméras haute résolution capturent de nombreuses prises recouvrantes depuis un système de rail qui se déplace le long du mur, produisant une grille dense de vues locales. Les logiciels traditionnels « cousent » souvent ces images en 2D, les déformant et les fondant comme pour un panorama. Cela fonctionne quand les murs sont plats et l’éclairage uniforme, mais les peintures de grottes se courbent, gonflent, s’assombrissent dans les angles et présentent à la fois des zones vierges et des motifs très répétitifs. Dans ces conditions, le raccord peut créer des jointures visibles, des figures mal alignées ou des formes déformées. Les auteurs adoptent plutôt une stratégie 3D appelée Structure-from-Motion (SfM) : l’ordinateur estime la position de la caméra pour chaque prise et reconstruit la surface du mur dans l’espace avant de la projeter dans une image frontale précise.

Apprendre à l’ordinateur à repérer les bons détails

Le cœur du SfM consiste à apparier de petits détails visuels — des « points caractéristiques » — entre paires de photos. Sur les peintures murales, c’est périlleux : des rangées de figures presque identiques, des pigments effacés et de grandes zones vides peuvent tromper les algorithmes en reliant de mauvais points ou en trouvant trop peu de correspondances. Le nouveau système aborde ce problème avec une méthode d’appariement « guidée par l’attention » inspirée des techniques modernes d’apprentissage profond. Plutôt que d’évaluer chaque caractéristique isolément, l’algorithme considère des motifs de caractéristiques simultanément et apprend lesquelles sont susceptibles de s’aligner entre vues recouvrantes. Il intègre aussi une compréhension de l’endroit où le recouvrement devrait se produire : les caractéristiques situées loin de la zone partagée de deux images sont atténuées, même si elles se ressemblent, tandis que celles situées dans des zones de recouvrement plausibles sont favorisées. Cette combinaison de contexte visuel et de conscience spatiale réduit fortement les fausses correspondances tout en maintenant une charge de calcul gérable pour des milliers d’images haute résolution.

Reconstruire le mur en 3D, une bordure à la fois

Même avec de meilleures correspondances, le SfM peut encore échouer s’il estime mal les paramètres de la caméra ou s’il tente d’ajuster trop de points de vue en même temps. Les peintures murales posent un problème particulier car les métadonnées des caméras sont souvent absentes ou peu fiables après traitement, et la scène est presque planaire, ce qui peut faire « bombeler » virtuellement le mur vers l’intérieur ou l’extérieur. Les auteurs proposent deux corrections spécifiques aux murs peints. D’abord, ils ré-estiment la longueur focale de la caméra — non pas à partir des étiquettes de fichier, mais en testant des valeurs candidates et en choisissant celles qui produisent une géométrie cohérente, puis en partageant une valeur moyennée entre les vues capturées avec la même configuration. Ensuite, ils remplacent l’optimisation globale par un « bundle adjustment basé sur les bords » : au lieu d’ajuster continuellement toutes les caméras, le système affine uniquement les caméras et les points 3D à la frontière croissante de la reconstruction, en laissant les vues intérieures bien contraintes tranquilles. Cette optimisation ciblée réduit la dérive, maintient la planéité virtuelle du mur et raccourcit le temps de calcul.

Mettre le système à l’épreuve dans de vraies grottes

Les chercheurs ont évalué leur système sur près de 1 800 images de neuf grottes de Mogao et sur un grand jeu de données public appelé MuralDH, où ils ont simulé la manière dont une caméra balaierait une fresque. En comparaisons directes avec des outils open source largement utilisés comme COLMAP, VisualSFM, OpenMVG et MVE, la nouvelle chaîne de traitement a reconstruit plus de ensembles de peintures avec succès, fourni des erreurs géométriques plus faibles et tourné plus rapidement. Certaines grottes que les systèmes concurrents n’avaient pas réussi à reconstruire ont donné des nuages de points propres et des trajectoires de caméra stables avec la nouvelle méthode. Lorsque les modèles 3D parcimonieux obtenus ont été fournis à des logiciels commerciaux pour une reconstruction dense, ils ont produit des images frontales nettes et presque sans distorsion utilisables par les conservateurs, ce que les flux de travail automatiques précédents ne pouvaient pas garantir de manière fiable.

Des fenêtres numériques plus claires sur le passé

Pour les non-spécialistes, la conclusion est simple : ce travail rend plus réalisable la création de fac-similés numériques fidèles et haute résolution de peintures murales fragiles à grande échelle. En adaptant les outils de vision par ordinateur aux particularités des peintures de grottes — motifs répétitifs, relief subtil, données de caméra manquantes — le système SfM des auteurs transforme d’immenses archives photographiques désordonnées en vues de fresques géométriquement cohérentes et sans coutures. Ces reconstructions numériques peuvent soutenir la planification de la conservation, l’analyse scientifique et les expositions publiques, aidant à préserver les récits visuels des murs anciens même si les pigments originels continuent leur lent et inévitable effacement.

Citation: Fang, K., Min, Z. & Diao, C. An SfM system for mural digitization with attention-guided feature matching and robust sparse reconstruction. npj Herit. Sci. 14, 166 (2026). https://doi.org/10.1038/s40494-026-02385-y

Mots-clés: numérisation de peintures murales, patrimoine culturel, reconstruction 3D, vision par ordinateur, grottes de Mogao à Dunhuang