Réseau de fusion de caractéristiques voxel multiscale pour la complétion de nuages de points bruités à grande échelle dans la restauration du patrimoine culturel

Redonner aux structures anciennes une mise au point numérique

Lorsque les historiens scannent des temples ou des monuments historiques au laser, les données 3D obtenues ressemblent souvent davantage à une image remplie de parasites qu’à une vue claire. Des parties de toitures ou de sculptures manquent, et des points « fantômes » aléatoires encombrent la scène. Cet article présente une nouvelle méthode d’intelligence artificielle (IA) qui nettoie et complète ces nuages de points 3D, aidant conservateurs et chercheurs à voir des sites du patrimoine culturel complexes — comme des sanctuaires japonais séculaires — avec beaucoup plus de clarté.

Pourquoi les scans 3D des sites patrimoniaux sont si désordonnés

Des outils modernes tels que le LiDAR et les caméras de profondeur peuvent capturer des millions de points 3D de bâtiments et de paysages en quelques minutes. Mais les arbres, les ombres, des angles de vue défavorables et les limites mêmes des scanners font que certaines zones ne sont jamais « vues », tandis que d’autres sont corrompues par du bruit. En pratique, cela produit des nuages de points hétérogènes où des détails cruciaux — comme des chevrons d’entrecroisement ou des avant-toits ouvragés — sont soit manquants soit enfouis sous des points parasites. Les techniques de réparation numérique antérieures comblent souvent les lacunes de manière grossière, estompent les détails fins ou exigent des calculs lourds qui ne s’adaptent pas aux très grandes scènes extérieures.

Un pipeline de restauration numérique en trois étapes

Les auteurs s’appuient sur leurs travaux antérieurs et proposent un cadre IA en trois étapes adapté aux scans 3D larges et bruités du patrimoine culturel. D’abord, une étape de filtrage multi‑niveaux : l’algorithme applique initialement un test statistique pour retirer les outliers évidents, puis utilise un filtre guidé qui examine des patchs de surface locaux pour lisser le bruit résiduel tout en préservant les formes nettes comme les arêtes. Ensuite, les points nettoyés sont convertis en « voxels » 3D — petits cubes — et analysés à plusieurs résolutions simultanément. Les grilles grossières saisissent la structure générale d’une toiture ; les grilles fines capturent les arêtes, les tuiles et les détails. Ces caractéristiques voxel multi‑échelles sont ensuite fusionnées par des mécanismes d’attention qui permettent au réseau de déterminer combien faire confiance à chaque échelle selon les régions de l’objet.

Aiguiser les arêtes et combler les vides

Dans la troisième étape, les caractéristiques fusionnées sont transmises à un module basé sur Transformer qui prédit un « squelette » parcimonieux de points clés représentant les zones manquantes. Une étape spéciale d’amélioration guidée par la courbure mesure ensuite l’angle de pliage de chaque région et utilise cette information pour ajuster les caractéristiques, de sorte que le squelette prédit suive mieux les véritables arêtes et coins au lieu de les arrondir. Enfin, un module de suréchantillonnage développe ce squelette en un nuage de points dense et complété qui vise à correspondre à la surface réelle tout en maintenant une distribution homogène des points, évitant des amas ou des trous qui pourraient distraire les observateurs ou tromper les analystes.

Que donne la méthode en pratique ?

L’équipe a évalué son approche sur des formes synthétiques et des scans réels. Sur une référence standard de modèles 3D (ShapeNet‑55), leur méthode a restauré les parties manquantes plus précisément que plusieurs réseaux de pointe, améliorant une mesure de distance clé d’environ 16 % tout en maintenant une forte complétude. Plus important pour les applications patrimoniales, ils ont constitué un jeu de données de toitures de temples japonais dérivé de scans laser réels incluant du bruit du monde réel. Là encore, la méthode a clairement surpassé les alternatives, notamment quand les données étaient fortement contaminées. Dans les comparaisons visuelles, le pipeline proposé produisait des tuiles plus nettes, des avant‑toits mieux conservés et moins d’artéfacts. Appliqué au scan à grande échelle du sanctuaire Tamaki‑jinja — plus de 25 millions de points — il a pu reconstruire des sections de toiture manquantes et affiner des surfaces bruitées dans un budget de temps et de mémoire pratique.

Voir à travers les parois grâce à des données plus claires

Les chercheurs ont également intégré leur méthode de complétion à une technique de visualisation transparente qu’ils avaient développée précédemment, permettant aux spectateurs de « voir à travers » les surfaces externes de nuages de points denses pour atteindre les structures internes. Sur les données bruyantes initiales, les vues transparentes des toitures de Tamaki‑jinja étaient confuses : lacunes, points errants et zones manquantes masquaient la structure réelle. Après application du nouveau cadre de complétion, les mêmes vues montraient des contours de toitures et d’avant‑toits beaucoup plus nets, facilitant l’interprétation de l’assemblage du bâtiment. Bien que la méthode peine encore dans les zones où les scans sont extrêmement incomplets ou submergés par le bruit, elle améliore sensiblement à la fois la précision géométrique et la lisibilité visuelle pour la plupart des régions.

Ce que cela signifie pour le patrimoine culturel

Concrètement, ce travail fournit un « restaurateur numérique » plus intelligent pour les scans 3D de sites historiques. En nettoyant soigneusement les données, en appréhendant les formes à plusieurs échelles et en accordant une attention particulière aux arêtes et courbes, la méthode peut reconstruire de manière plausible des parties manquantes d’édifices tout en évitant des résultats trop lissés ou déformés. Pour les conservateurs, architectes et historiens, cela signifie des modèles virtuels plus fiables pour l’étude, la planification de la conservation et les expositions publiques, y compris des vues immersives en transparence des charpentes complexes en bois. Bien que l’approche ne remplace pas la conservation physique, elle offre un outil puissant pour préserver et explorer la géométrie du patrimoine fragile dans le domaine numérique.

Citation: Li, W., Pan, J., Hasegawa, K. et al. Multiscale voxel feature fusion network for large scale noisy point cloud completion in cultural heritage restoration. npj Herit. Sci. 14, 93 (2026). https://doi.org/10.1038/s40494-026-02331-y

Mots-clés: nuage de points 3D, patrimoine culturel, scan LiDAR, apprentissage profond, restauration numérique