Restauration numérique des fresques anciennes du Jiangnan par apprentissage par procuration et guidage structurel

Sauver des peintures murales qui s’estompent

Dans les zones fluviales humides du sud de la Chine, des peintures murales vieilles de plusieurs siècles disparaissent discrètement. La chaleur, l’humidité et le temps attaquent le plâtre, provoquant fissures, taches et desquamations dont la réparation manuelle est coûteuse et risquée. Cet article présente une nouvelle approche pour que les ordinateurs « restituent » numériquement ces fragiles fresques du Jiangnan, ravivant leurs scènes et leur trait à l’écran sans toucher aux murs originaux. Ce travail importe non seulement aux amateurs d’art, mais à tous ceux qui s’intéressent à la façon dont la technologie moderne peut aider à préserver la mémoire culturelle mondiale.

Les trésors cachés du Jiangnan

Les fresques étudiées ici sont disséminées dans des salles ancestrales, des temples et d’anciennes demeures de la province du Zhejiang. À la différence des célèbres grottes désertiques de Dunhuang, ces œuvres se trouvent dans un climat chaud et humide particulièrement agressif pour les matériaux à base de terre, de bois et de chaux. Les relevés montrent que de nombreuses fresques présentent des dégâts superposés : fissures, moisissures, décolorations, taches d’eau et zones où la couche picturale s’est détachée. La réparation physique est coûteuse, irréversible et techniquement exigeante ; la restauration numérique — reconstruire l’image en pixels plutôt qu’en plâtre — offre donc une première ligne de protection plus sûre. Mais les qualités mêmes qui rendent ces fresques remarquables les rendent également difficiles à traiter pour les ordinateurs.

Pourquoi l’IA ordinaire montre ses limites

Les programmes modernes de réparation d’images basés sur l’apprentissage profond reposent généralement sur d’énormes collections de paires d’images « avant et après » pour l’entraînement. Pour les fresques du Jiangnan, de telles données n’existent tout simplement pas : les œuvres sont dispersées, peintes par de nombreux artistes populaires différents, et leurs apparences d’origine, intactes, sont inconnues. Parallèlement, les dommages eux‑mêmes embrouillent les algorithmes standards. Les fissures sombres et les taches de moisissure peuvent ressembler fortement à de délicats traits d’encre, si bien qu’un modèle qui suit aveuglément les contours visibles a tendance à recopier les dégâts plutôt qu’à les supprimer. En conséquence, les outils de restauration prêts à l’emploi laissent soit des imperfections, soit inventent des détails en contradiction avec le style traditionnel des fresques.

Apprendre le style à partir d’art connexe

Pour sortir de cette impasse, les auteurs proposent un flux de travail nommé Restauration par Procuration Guidée Structurellement (Structurally Guided Proxy Restoration, SGPR). La première étape consiste à séparer « l’apprentissage du style » de la « réparation de la fresque ». Plutôt que d’entraîner directement sur des photos rares de fresques, ils rassemblent une grande collection par procuration de plus de six mille peintures chinoises classiques provenant de musées. Ces images partagent le même langage artistique que les fresques du Jiangnan : le flux des lignes, la superposition des lavis d’encre, la composition des scènes. Un puissant générateur d’images, fondé sur la technologie de diffusion récente, est ensuite affiné sur cet ensemble par procuration. Une fonction de perte spéciale encourage le modèle non seulement à imiter les textures, mais aussi à capter des traits artistiques plus larges tels que le rythme du pinceau et l’équilibre des couleurs. Le résultat, appelé ArtBooth, est un générateur qui « parle » couramment la peinture chinoise traditionnelle, bien qu’il n’ait jamais vu les fresques effectivement endommagées.

Trouver des lignes nettes dans des images souillées

La deuxième étape clé consiste à extraire la structure originelle des fresques à partir de photographies abîmées. Ici, les auteurs introduisent un algorithme d’Extraction Sélective de Caractéristiques qui ne nécessite aucun apprentissage. Il examine la même fresque endommagée à deux échelles d’image et applique deux détecteurs de contours simples sur chaque version. Les caractéristiques qui apparaissent de façon cohérente dans les deux détecteurs et aux deux échelles sont susceptibles d’être des traits de dessin authentiques — par exemple le contour d’une robe ou d’un tronc d’arbre — tandis que les taches aléatoires sont plus probablement de la moisissure ou des salissures. En fusionnant ces signaux dans un masque « enveloppe », l’algorithme renforce les lignes fiables et supprime le bruit, produisant deux cartes directrices propres : un dessin linéaire net et une carte de contours raffinée qui mettent en valeur la structure vraie tout en ignorant une grande partie de la détérioration.

Réparation numérique guidée en pratique

La dernière partie de SGPR relie ces cartes structurelles propres au générateur sensible au style via un réseau de contrôle optimisé. Pendant la restauration, l’image de la fresque endommagée et un court texte descriptif sont fournis à ArtBooth, tandis que les cartes de lignes et de contours filtrées servent de sorte d’échafaudage. Une version adaptée du cadre ControlNet injecte ces cartes dans les couches internes du générateur, orientant délicatement chaque étape de débruitage pour que les nouveaux pixels suivent la mise en page et le trait d’origine plutôt que de dériver vers des scènes génériques. Des tests sur des dégâts simulés et sur des fresques réelles du village de Songxi montrent que ce système combiné élimine les taches et les fissures plus complètement que les méthodes existantes, maintient les figures et les objets à leurs emplacements corrects, et produit des images que des experts ont jugées proches en qualité d’une restauration numérique manuelle appliquée avec soin.

Ce que cela signifie pour le patrimoine culturel

Pour les non‑spécialistes, la conclusion est simple : en apprenant le langage visuel d’œuvres apparentées et en séparant soigneusement les véritables lignes des dommages, l’IA peut désormais proposer des retouches numériques de qualité muséale pour des fresques fragiles qui risqueraient autrement de disparaître. Si la méthode montre encore ses limites lorsque des sections entières d’une peinture manquent, et si elle doit encore être étendue aux œuvres richement colorées, elle fournit déjà aux conservateurs un nouvel outil puissant. Plus largement, l’étude montre comment l’utilisation intelligente de données par procuration et d’un guidage structurel peut aider à protéger de nombreux types d’objets patrimoniaux trop rares, trop abîmés ou trop précieux pour fournir les vastes ensembles d’entraînement que l’IA moderne exige habituellement.

Citation: Yang, C., Liu, Y. & Cai, Y. Digital restoration of ancient Jiangnan murals via proxy learning and structural guidance. npj Herit. Sci. 14, 182 (2026). https://doi.org/10.1038/s40494-026-02369-y

Mots-clés: restauration numérique de fresques, conservation du patrimoine culturel, génération d’images par IA, style de peinture chinoise, extraction de caractéristiques résistantes aux dommages