Un metodo di annotazione automatico per mesh triangolari 3D colorate orientato alla segmentazione del deterioramento dei reperti culturali

Perché occhi digitali sui tesori antichi sono importanti

Nei musei e nei siti storici, sculture, murali e pareti intagliate si crepano, sfogliano e sbiadiscono lentamente. I conservatori devono sapere esattamente dove si manifesta questo danno per decidere cosa riparare e con quale urgenza, ma tracciare con cura ogni area danneggiata sui dettagliati modelli 3D degli oggetti può richiedere settimane. Questo articolo presenta un metodo automatico per marcare il deterioramento su modelli 3D riccamente colorati di reperti culturali, trasformando un compito tedioso e riservato agli esperti in un processo digitale rapido e preciso.

Da statue fragili a gemelli digitali 3D dettagliati

Oggi molti reperti importanti sono registrati come modelli 3D a elevata fedeltà e a colori ottenuti da fotografie. Questi modelli catturano sia la forma sia la pittura superficiale senza toccare l’oggetto originale, e istituzioni dai templi di Dunhuang al British Museum li stanno adottando. Gran parte di quella ricchezza digitale però rimane inutilizzata: i modelli vengono impiegati principalmente per visualizzazione e archiviazione, non per analisi approfondite. Per i lavori di conservazione, una sfida centrale è identificare e misurare con precisione dove la vernice si sfoglia o il materiale si incrina su superfici curve complesse. Farlo manualmente su modelli 3D è lento e faticoso; farlo sulle foto piatte fa invece perdere informazioni cruciali sulla posizione reale del danno sull’oggetto.

Collegare immagini piatte e forme 3D

Gli autori propongono un sistema che permette a 2D e 3D di “parlarsi”, in modo da sfruttare i punti di forza di entrambi contemporaneamente. Prima, i conservatori caricano un modello 3D a colori su una piattaforma dedicata e selezionano grossolanamente con un riquadro l’area di interesse, ad esempio il braccio o la base di una statua. Il software quindi “sfoglia” matematicamente quella parte di superficie, disponendola come un’unica immagine di texture piatta—una sorta di pelle digitale sbucciata e distesa con distorsione minima. Ogni pixel di questa mappa piatta conosce esattamente da quale piccolo triangolo della superficie 3D proviene, e viceversa. Questo collegamento bidirezionale permette che qualsiasi segno disegnato—o in questo caso, rilevato—sull’immagine piatta venga fedelmente proiettato di nuovo sull’oggetto 3D curvo.

Addestrare il computer a vedere la vernice che si sfoglia

Una volta che la superficie è stata appiattita in un’immagine chiara e continua, il sistema si concentra sull’individuazione delle regioni danneggiate, in particolare dei punti in cui la vernice è venuta via. Invece di affidarsi a semplici soglie cromatiche, gli autori usano una versione migliorata di un metodo chiamato SLIC, che divide l’immagine in numerosi piccoli “superpixel” uniformi. Numero e forma di questi superpixel vengono scelti automaticamente in base alla complessità visiva dell’immagine, utilizzando una misura del contrasto di texture. Successivamente, un passaggio di clustering raggruppa i superpixel in aree “danneggiate” e “sane”. Questo approccio segue più da vicino i bordi irregolari della pittura scrostata e riduce il rumore rispetto ad altre tecniche di segmentazione popolari. Il risultato è una maschera di danno precisa disegnata a livello di pixel sulla mappa di texture 2D.

Rimettere il danno sull’artefatto 3D

Con l’aiuto del collegamento 2D–3D precedente, il software rimappa ogni pixel danneggiato al punto esatto della mesh 3D a cui appartiene. Usando semplici trasformazioni geometriche, converte coordinate 2D in posizioni 3D complete che seguono la curvatura dell’oggetto. Questi punti vengono poi combinati in una “guscio” colorato e pulito di deterioramento che aderisce al modello 3D originale. Su una statua lignea dipinta di Guanyin della Dinastia Song cinese, gli autori dimostrano che le loro maschere automatiche corrispondono strettamente al lavoro manuale meticoloso realizzato con software professionali di modellazione, anche su aree molto curve o altamente dettagliate. Arricchiscono inoltre i dati copiando e trasformando digitalmente questi pattern di danno 2D e 3D, creando molti esempi realistici di addestramento per futuri sistemi di deep learning.

Cosa significa per preservare il passato

Lo studio dimostra che un’accurata coordinazione tra immagini piatte e geometria 3D può trasformare repliche digitali grezze di reperti in strumenti pratici per la conservazione. La loro piattaforma riduce il lavoro e la soggettività dell’etichettatura manuale, produce mappe di danno coerenti e ad alta precisione e supporta l’elaborazione in batch per gestire vaste collezioni. In termini semplici, fornisce ai conservatori un “evidenziatore” semi‑automatico affidabile per il deterioramento su oggetti complessi e genera l’abbondante dato 3D ben annotato di cui i metodi di IA moderni hanno bisogno. Pur dipendendo ancora da texture di buona qualità e da un buon processo di distensione per evitare distorsioni, offre un passo potente verso cure scalabili e basate sui dati per il patrimonio culturale mondiale.

Citazione: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Parole chiave: conservazione del patrimonio culturale, digitalizzazione 3D, rilevamento automatico dei danni, mappatura della texture, dataset per deep learning