AFMNet: una rete di completamento murale senza funzioni di attivazione tramite meccanismo di attenzione multi-testa

Perché salvare gli affreschi sbiaditi è importante

Gli antichi affreschi nei templi e nelle grotte non sono solo decorazioni: sono documenti visivi di come la gente viveva, pregava, si vestiva e immaginava il mondo. Purtroppo molti di questi murali sono crepati, sfogliati o parzialmente perduti. Il restauro manuale è lento, rischioso e talvolta impossibile. Questo studio presenta AFMNet, un nuovo metodo computazionale in grado di "riempire" digitalmente le aree danneggiate delle immagini murali in modo convincente per l'occhio, efficiente su hardware modesto e utile per proteggere tesori culturali fragili a fini di ricerca e esposizione virtuale.

Il problema delle immagini rotte

Gli strumenti di riparazione digitale tradizionali di solito copiano colori e trame dalle aree vicine nelle regioni mancanti, il che funziona per graffi piccoli ma fallisce quando vengono a mancare interi volti, mani o motivi decorativi. I metodi di intelligenza artificiale moderni possono immaginare contenuti plausibili per ampie lacune, ma la maggior parte sono pensati per fotografie quotidiane, non per gli stili unici dell'arte antica. I murali spesso mostrano figure uniche, bordi intricati e crepe irregolari che non seguono forme nette. I sistemi esistenti o sfocano dettagli importanti, o introducono forme incongrue, o richiedono potenza di calcolo elevata impraticabile per molti musei e laboratori di conservazione.

Una rete snella costruita per i murali

AFMNet è una rete di elaborazione delle immagini compatta a forma di U, con un encoder che scompone l'immagine danneggiata in caratteristiche e un decoder che la ricostruisce in un'immagine completa. Ciò che la rende speciale è un design a doppio flusso: un flusso trasporta informazioni sulle parti visibili del murale e l'altro trasporta una mappa dei pixel mancanti o inaffidabili. Questa mappa viene aggiornata a ogni stadio, così il sistema sa sempre dove fidarsi dell'immagine originale e dove deve inventare nuovo contenuto. Separando esplicitamente le regioni integre da quelle danneggiate, AFMNet concentra gli sforzi dove servono di più ed evita di modificare inutilmente aree intatte.

Mischiare motivi globali con dettagli fini

Per ottenere riparazioni credibili, il sistema deve comprendere sia la scena nel suo insieme sia le minuscole pennellate. Il blocco di base di AFMNet affronta questo esaminando l'immagine in tre modalità complementari contemporaneamente. Nella vista spaziale analizza i vicini locali di pixel, utile per gestire crepe e bordi. Nella vista in frequenza utilizza una trasformata matematica per cogliere strutture più ampie e motivi ripetuti su tutto il murale. Nella vista canale impara quali combinazioni di colore e texture trasportano i segnali artistici più importanti, amplificandoli discretamente e ignorando informazioni meno utili. Invece di affidarsi a funzioni di attivazione standard e pesanti nei calcoli, AFMNet usa un semplice meccanismo a gate che moltiplica coppie di mappe di caratteristiche per creare non linearità, riducendo dimensioni e computazione del modello senza sacrificare l'espressività.

Far dialogare regioni distanti

Molti murali contengono figure, ornamenti e sfondi correlati su grandi distanze della parete. Per collegare questi elementi distanti, AFMNet aggiunge un modulo di attenzione multi-testa leggero al punto più stretto della U. Qui la rete permette a ciascuna parte dell'immagine di "guardare" tutte le altre parti valide e decidere quali dovrebbero influenzare la riparazione. Diverse teste di attenzione possono specializzarsi in relazioni diverse—for example, mantenere la curva di un'aureola coerente o allineare un motivo di bordo ripetuto. Fondamentale, il modulo di attenzione vede anche la mappa del danno, così impara a non basare le decisioni su regioni già riempite sinteticamente e potenzialmente ancora incerte.

Dimostrarne l'efficacia nella pratica

Per testare AFMNet in modo rigoroso, gli autori l'hanno addestrata prima su una vasta raccolta di scene quotidiane e poi l'hanno messa a punto su un set curato di affreschi delle grotte di Dunhuang. Hanno creato maschere di danno realistiche usando un processo di random-walk che imita crepe e sfogliature reali. Su diversi livelli di danno, AFMNet ha costantemente superato metodi concorrenti noti sulle misure standard di qualità dell'immagine, usando circa un terzo di parametri in meno rispetto a un solido baseline. Confronti visivi su murali sia sintetici che realmente danneggiati hanno mostrato che AFMNet preserva meglio i tratti del volto, le linee decorative e le texture sottili, con meno artefatti distraenti, anche lavorando a risoluzioni più alte comuni nell'imaging museale.

Cosa significa per il patrimonio culturale

In termini semplici, AFMNet è un restauratore digitale intelligente ed efficiente che può ricostruire parti mancanti di antichi murali rispettandone stile e struttura. Gestisce crepe complesse e perdite di pigmento in modo più elegante rispetto a molti strumenti esistenti e può funzionare abbastanza velocemente su computer o laptop standard per essere usato in loco. Pur avendo ancora difficoltà con i danni da fuliggine più gravi e texture molto intricate, fornisce conservatori e ricercatori di uno strumento potente per visualizzare come le opere danneggiate potrebbero essere apparse, pianificare interventi fisici in modo più sicuro e creare mostre digitali coinvolgenti che restituiscono vita agli affreschi fragili per un pubblico più ampio.

Citazione: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

Parole chiave: restauro digitale murale, inpainting di immagini, patrimonio culturale, deep learning, reti di attenzione