AFMNet : un réseau de restauration de fresques sans fonctions d’activation via un mécanisme d’attention multi-têtes

Pourquoi il est important de sauver les peintures murales décolorées

Les peintures murales anciennes dans les temples et les grottes ne sont pas de simples décorations : elles constituent des archives visuelles de la façon dont vivaient, priaient, s’habillaient et imaginaient le monde les anciens. Malheureusement, beaucoup de ces fresques sont fissurées, écaillées ou partiellement perdues. Les restaurer manuellement est lent, risqué et parfois impossible. Cette étude présente AFMNet, une nouvelle méthode informatique capable de « combler » numériquement les zones endommagées des images de fresques de manière convaincante pour l’œil, d’exécuter efficacement sur du matériel modeste et d’aider à protéger ces trésors culturels fragiles pour la recherche et l’exposition virtuelle.

Le problème des images abîmées

Les outils de réparation numériques traditionnels recopient généralement les couleurs et textures voisines dans les régions manquantes, ce qui fonctionne pour de petites rayures mais échoue lorsque des visages entiers, des mains ou des motifs décoratifs ont disparu. Les méthodes d’intelligence artificielle modernes peuvent imaginer un contenu plausible pour de larges lacunes, mais la plupart ont été conçues pour des photos ordinaires, et non pour les styles uniques de l’art ancien. Les fresques présentent souvent des personnages singuliers, des bordures complexes et des fissures irrégulières qui ne suivent pas des formes nettes. Les systèmes existants estompent soit des détails importants, introduisent des formes maladroites, soit demandent une puissance de calcul lourde qui est impraticable pour de nombreux musées et laboratoires de conservation.

Un réseau léger conçu pour les fresques

AFMNet est un réseau de traitement d’image compact en forme de U, avec un encodeur qui décompose une image endommagée en caractéristiques et un décodeur qui la reconstruit en image complète. Sa particularité est une conception à double flux : un flux transporte l’information sur les parties visibles de la fresque et l’autre transporte une carte des pixels manquants ou peu fiables. Cette carte est mise à jour à chaque étape, de sorte que le système sait toujours où faire confiance à l’image d’origine et où il doit inventer du contenu. En séparant explicitement les régions saines et abîmées, AFMNet concentre ses efforts là où ils sont les plus nécessaires et évite de modifier inutilement les zones intactes.

Mêler motifs globaux et détails fins

Pour produire des réparations crédibles, le système doit comprendre à la fois la scène d’ensemble et les minuscules coups de pinceau. Le bloc central d’AFMNet relève ce défi en regardant l’image de trois manières complémentaires à la fois. Dans la vue spatiale, il examine les voisinages locaux de pixels, ce qui aide à gérer les fissures et les bords. Dans la vue fréquentielle, il utilise une transformée mathématique pour voir des structures plus larges et des motifs répétitifs à l’échelle de la fresque entière. Dans la vue des canaux, il apprend quelles combinaisons de couleur et de texture portent les signaux artistiques les plus importants, et il met discrètement en avant ces combinaisons tout en ignorant les informations moins utiles. Plutôt que de s’appuyer sur des fonctions d’activation standard, coûteuses en calcul, AFMNet utilise un simple mécanisme de porte qui multiplie par paires des cartes de caractéristiques pour créer la non-linéarité, réduisant ainsi la taille et le coût computationnel du modèle sans sacrifier son expressivité.

Permettre aux régions éloignées de communiquer

Beaucoup de fresques contiennent des personnages, des ornements et des arrière-plans liés sur de grandes distances sur le mur. Pour relier ces éléments éloignés, AFMNet ajoute un module d’attention multi-têtes léger au point le plus étroit du U. Là, le réseau permet à chaque partie de l’image de « regarder » toutes les autres parties valides et de décider lesquelles doivent influencer la réparation. Différentes têtes d’attention peuvent se spécialiser dans des relations distinctes — par exemple, maintenir la courbe d’un halo cohérente ou aligner un motif de bordure répété. De manière cruciale, le module d’attention voit aussi la carte des dommages, de sorte qu’il apprend à ne pas fonder ses décisions sur des régions déjà remplies de manière synthétique et potentiellement incertaines.

Prouver que cela fonctionne en pratique

Pour tester AFMNet de manière rigoureuse, les auteurs l’ont d’abord entraîné sur une grande collection de scènes quotidiennes puis ils l’ont affiné sur un jeu de fresques des grottes de Dunhuang soigneusement sélectionné. Ils ont créé des masques de dommages réalistes en utilisant un processus de marche aléatoire qui imite les fissures et l’écaillage réels. À travers plusieurs niveaux de dégradation, AFMNet a systématiquement surpassé des méthodes concurrentes bien connues sur des mesures standard de qualité d’image, tout en utilisant environ un tiers de paramètres en moins qu’une référence performante. Des comparaisons visuelles sur des fresques synthétiques et réellement endommagées ont montré qu’AFMNet préserve mieux les traits du visage, les lignes décoratives et les textures subtiles, avec moins d’artéfacts distrayants, même lorsqu’il travaille à des résolutions plus élevées, courantes en imagerie muséale.

Ce que cela signifie pour le patrimoine culturel

En termes simples, AFMNet est un restaurateur numérique intelligent et efficace qui peut reconstituer les parties manquantes de fresques anciennes tout en respectant leur style et leur structure. Il gère les fissures complexes et la perte de pigments de manière plus élégante que beaucoup d’outils existants et peut s’exécuter suffisamment vite sur des ordinateurs ou des ordinateurs portables standards pour être utilisé sur site. S’il reste en difficulté face aux dommages les plus sévères dus à la suie et aux textures très complexes, il offre aux conservateurs et aux chercheurs un outil puissant pour visualiser à quoi les œuvres endommagées ont pu ressembler, planifier des interventions physiques en toute sécurité et créer des expositions numériques engageantes qui font revivre les peintures murales fragiles pour un public plus large.

Citation: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

Mots-clés: restauration numérique de fresques, reconstruction d’images, patrimoine culturel, apprentissage profond, réseaux d’attention