Inpainting d’images automatisé pour la restauration d’artefacts historiques par hybridation de l’apprentissage par transfert avec des modèles génératifs profonds

Pourquoi la réparation de l’art ancien par l’IA compte

Musées et archéologues du monde entier courent contre la montre. Les anciennes fresques, peintures murales et parois décorées se délabrent, s’estompent et fissurent après des siècles d’exposition à l’humidité, à la pollution et à des manipulations inappropriées. Les restaurations manuelles sont lentes, coûteuses et parfois irréversibles. Cette étude présente un nouveau système d’intelligence artificielle capable de réparer numériquement des images d’œuvres historiques endommagées, offrant aux conservateurs et aux chercheurs un moyen sûr de visualiser ce à quoi auraient pu ressembler des scènes perdues et de les préserver pour les générations futures.

Murs fissurés, peinture manquante et un filet de sécurité numérique

La restauration traditionnelle implique souvent qu’un conservateur retouche physiquement l’œuvre, ajoutant de la peinture là où l’ancienne a disparu. Même réalisée avec soin, cette intervention est difficilement réversible et peut introduire des biais contemporains. La restauration numérique suit une voie différente : des photographies haute résolution de fresques abîmées sont traitées par des algorithmes qui proposent comment combler les zones manquantes. Parce que tout se passe en logiciel, les restaurations proposées peuvent être comparées, révisées ou rejetées sans toucher à l’objet physique. Les auteurs se concentrent sur des fresques de Dunhuang en Chine — un complexe célèbre de temples rupestres dont les peintures murales souffrent de fissures, d’écaillage, de moisissures et de larges lacunes. Leur objectif est de construire un système capable de réparer automatiquement ces images tout en préservant le style, les couleurs et les détails fins d’origine autant que possible.

Des photos bruitées à des points de départ clairs

La première étape du système consiste à nettoyer les photographies d’entrée pour que le traitement ultérieur ne soit pas trompé par le bruit de l’appareil ou un mauvais éclairage. La méthode utilise un filtre médian adaptatif, une technique qui lisse les tavelures et les pixels aléatoirement plus clairs ou plus sombres tout en préservant les bords nets, comme les contours dans une scène murale. Elle améliore ensuite le contraste afin que les traits faibles et les couleurs fanées deviennent plus faciles à distinguer. Ces ajustements agissent comme un polissage léger d’une lentille poussiéreuse : ils n’inventent pas de contenu, mais rendent les détails existants plus visibles. En réglant soigneusement cette étape, les auteurs évitent la sur-lissage qui pourrait effacer des coups de pinceau délicats importants pour les spécialistes.

Apprendre au système à reconnaître les dommages

Une fois l’image nettoyée, le modèle doit décider quelles parties d’une fresque sont intactes et lesquelles sont endommagées. Pour cela, les auteurs utilisent un réseau neuronal compact mais puissant appelé SqueezeNet, ajusté par un mécanisme d’attention pour qu’il se concentre sur les régions informatives. Ce réseau apprend à lire le langage visuel des fresques — textures de plâtre, motifs de pigments et formes des fissures ou des zones nues. Sa sortie alimente un autre réseau appelé U-Net, conçu pour des tâches de type « découpe » précises. U-Net étiquette chaque pixel comme peinture saine, zone manquante ou autre forme de détérioration. Grâce aux connexions de saut et à l’ajout de blocs d’attention et résiduels, il conserve à la fois la disposition générale (où se situe une figure ou une bordure) et les très petits détails (comme des chevelures et des ornements), cartographiant exactement où l’inpainting est nécessaire.

Laisser un peintre IA combler les vides

Avec les régions endommagées repérées, l’étape finale consiste à imaginer à quoi ces zones ont pu ressembler à l’origine. Ici, les auteurs combinent deux idées de pointe : les réseaux antagonistes génératifs (GAN), experts pour créer des images réalistes, et les réseaux transformer, qui excellent à capter les relations à longue portée. Leur hybride « GAN basé sur transformer » observe la peinture intacte environnante et la fresque dans son ensemble pour inférer des textures, des formes et des couleurs plausibles pour les zones manquantes. Il ne se contente pas de copier-coller des pixels voisins ; il synthétise du contenu nouveau qui se fond harmonieusement dans la scène et respecte la composition globale, comme la symétrie des motifs ou la continuité des drapés et des lignes architecturales.

Performance du restaurateur numérique

Pour évaluer leur système, les chercheurs ont utilisé un jeu de données spécialisé d’images de fresques de Dunhuang comprenant des versions volontairement endommagées et des originaux de référence. Cela leur permet de mesurer à quel point la restauration numérique se rapproche de la référence indemne. Ils rapportent que leur méthode, nommée HDLIP-SHAR, surpasse plusieurs techniques existantes sur plusieurs scores de qualité, y compris la clarté globale (PSNR), la similarité structurelle (SSIM) et une mesure perceptuelle moderne (LPIPS) qui reflète mieux le jugement visuel humain. Le modèle est aussi efficace en calcul, nécessitant moins de ressources et de temps que de nombreuses approches concurrentes, ce qui est important si les musées souhaitent traiter de grandes collections.

Ce que cela signifie pour la sauvegarde de l’histoire

Pour les non-spécialistes, l’idée principale est que ce système d’IA agit comme un assistant prudent et réversible plutôt que comme un peintre trop sûr de lui. Il peut proposer comment compléter des visages, des motifs ou des scènes manquantes dans des fresques anciennes, offrant aux chercheurs un outil de visualisation puissant sans mettre les originaux en danger. Les auteurs notent cependant des limites : la méthode dépend encore de références relativement claires, peine face à des dommages extrêmement sévères et n’intègre pas encore les connaissances historiques ou l’analyse matérielle dans ses hypothèses. Néanmoins, des approches hybrides comme HDLIP-SHAR représentent une étape importante vers l’utilisation de l’IA non seulement pour embellir des images, mais aussi pour aider à préserver un patrimoine culturel irremplaçable de manière transparente, testable et non invasive.

Citation: Swathi, B., Rao, D.B.J. Automated image inpainting for historical artifact restoration using hybridisation of transfer learning with deep generative models. Sci Rep 16, 4810 (2026). https://doi.org/10.1038/s41598-026-35056-w

Mots-clés: restauration numérique de fresques, inpainting d’images, apprentissage profond, patrimoine culturel, modèles GAN-transformer