Un modèle amélioré d’inpainting d’images guidé par une biconditionnelle sémantique et par le tracé pour la peinture de paysage chinoise

Redonner une nouvelle vie numérique à des chefs‑d’œuvre fragiles

Les anciennes peintures de paysage chinoises, prisées pour leurs montagnes brumeuses et leur geste pictural fluide, sont aussi des objets fragiles : des siècles de manipulation, les insectes et l’humidité les laissent souvent criblées de craquelures, de trous de vers et d’éclats manquants. Les conservateurs doivent conjuguer la sauvegarde du reste avec la prévention de nouveaux dommages. Cette étude présente une méthode d’intelligence artificielle (IA) conçue spécifiquement pour aider à restaurer ces peintures dans le domaine numérique, comblant les pertes tout en restant fidèle à la structure et au style originels de l’artiste.

Pourquoi les vieilles peintures ont besoin de nouvelles technologies

Les paysages chinois traditionnels suivent deux grandes traditions : l’École du Nord, avec ses pics audacieux et verticaux, et l’École du Sud, reconnue pour ses lavis d’encre délicats et ses espaces vides. Les deux reposent sur de subtiles variations de trait et de tonalité qui sont facilement perturbées lorsque le papier ou la soie se détériore. Les retouches manuelles demandent du temps et sont irréversibles ; une mauvaise touche peut altérer irrémédiablement un chef‑d’œuvre. Les techniques numériques antérieures copiaient soit des pixels voisins, soit s’appuyaient sur des outils photo à usage général. Elles pouvaient colmater un trou dans une photo de rue, mais échouaient souvent sur des peintures, produisant des rochers maladroits, des troncs d’arbres brisés, ou un geste d’encre qui « semblait faux » aux experts.

Comment la nouvelle IA apprend la structure et le sens

Pour dépasser ces limites, les auteurs ont conçu un système de restauration qui examine une peinture simultanément selon trois approches complémentaires. D’abord, il extrait un « tracé » détaillé montrant la force de chaque trait, des arêtes montagneuses marquées aux coups de pinceau les plus légers, en utilisant un réseau de détection de contours adapté pour préserver les transitions subtiles d’encre. Ensuite, il construit une carte codée par couleur indiquant ce que représente chaque région — ciel, eau, roche, feuillage — à l’aide d’un modèle de segmentation sémantique non supervisé. Troisièmement, il analyse l’image partiellement masquée elle‑même. Ces trois flux sont fusionnés et injectés dans un Transformer, une architecture d’IA puissante développée à l’origine pour le langage, qui prédit l’apparence des zones manquantes afin qu’elles s’harmonisent à la fois avec la structure sous‑jacente et l’ensemble de la scène.

Apprendre à l’IA à imiter le geste d’encre, pas seulement les formes

Reproduire la composition n’est que la moitié du défi ; le remplissage doit aussi correspondre à la main de l’artiste. L’équipe a donc ajouté un module léger d’extraction de caractéristiques stylistiques qui se concentre sur les qualités subtiles du geste et de l’encre — comment les traits s’affinent, comment la texture se construit sur les faces rocheuses, comment les lavis s’estompent sur le papier vierge. Ce module distille les informations pertinentes du style à partir des parties visibles de la peinture et les injecte à plusieurs étapes pendant que le système reconstruit les régions manquantes, orientant la sortie vers le même rythme et la même tonalité que l’original. L’entraînement est guidé par un objectif composite qui pénalise non seulement les erreurs au niveau des pixels, mais aussi les discordances dans la structure perçue, les statistiques de texture et le style global, encourageant des résultats qui « paraissent justes » à l’œil humain, pas seulement à un calculateur.

Mise à l’épreuve de la méthode

Pour évaluer l’approche, les chercheurs ont rassemblé un large jeu de données de près de 5 000 peintures de paysage de haute qualité issues de collections muséales publiques et d’un benchmark public, équilibrant œuvres des écoles du Nord et du Sud. Ils ont appliqué numériquement des masques irréguliers imitant des dommages réels — petites pertes, larges éraflures et trous groupés de vers — et comparé leur méthode à six systèmes d’inpainting de référence, incluant des réseaux convolutionnels largement utilisés, des modèles Transformer et des modèles de diffusion modernes. Sur une gamme de niveaux de dommage, le nouveau modèle a systématiquement obtenu de meilleurs scores de netteté, de similarité structurelle et de réalisme visuel. Des comparaisons en gros plan montraient des contours montagneux plus lisses, des branches d’arbres plus convaincantes et des textures d’encre se fondant sans heurt dans les zones intactes. Des évaluateurs humains, y compris des peintres formés, ont également préféré ses restaurations, les jugeant plus cohérentes tant sur le plan de la structure que du style.

Ce que cela signifie pour le patrimoine culturel

En termes simples, l’étude montre qu’un système d’IA peut être entraîné non seulement à « boucher des trous » dans des images, mais à respecter la logique interne et la personnalité de la peinture de paysage chinoise traditionnelle. En combinant dessins linéaires, sens des régions et indices stylistiques, le modèle reconstruit des parties manquantes qui semblent pouvoir appartenir authentiquement au rouleau original. S’il ne peut remplacer les conservateurs, il offre aux musées et aux chercheurs un outil puissant et non invasif pour visualiser des restaurations possibles, planifier des traitements et créer des substituts numériques plus complets d’œuvres fragiles — aidant ces paysages à perdurer et à être étudiés longtemps après que le papier soit devenu trop délicat pour être déroulé.

Citation: Cao, S., Mu, D., Zhang, Y. et al. An improved semantic and sketch biconditional guided image inpainting model for Chinese landscape painting. npj Herit. Sci. 14, 103 (2026). https://doi.org/10.1038/s40494-026-02371-4

Mots-clés: restauration numérique, peinture de paysage chinoise, inpainting d’image, patrimoine culturel, conservation d’art