En automatisk annoteringsmetod för färgade 3D-triangelnät inriktad på segmentering av kulturföremålsförvittring

Varför digitala ögon på gamla skatter spelar roll

I museer och historiska platser spricker, flagar och bleks skulpturer, muralmålningar och utskurna väggar långsamt. Konservatorer behöver veta exakt var skadorna uppstår för att avgöra vad som ska repareras och hur brådskande insatsen är, men att noggrant spåra varje skadat parti på detaljerade 3D‑register av föremål kan ta veckor. Denna artikel introducerar ett automatiskt sätt att märka förvittring på rikt färgade 3D‑modeller av kulturföremål och förvandlar en tidsödande, expertberoende uppgift till en snabb och precis digital process.

Från sköra statyer till detaljerade 3D‑tvillingar

Idag dokumenteras många viktiga artefakter som högupplösta 3D‑färgmodeller byggda från fotografier. Dessa modeller fångar både form och ytans färg utan att vidröra det ursprungliga föremålet, och institutioner från Dunhuang‑grottorna till British Museum använder dem. Ändå slösas det mesta av denna digitala rikedom bort: modellerna används främst för visning och arkivering, inte för fördjupad analys. För bevarandearbete är en nyckelutmaning att identifiera och mäta exakt var färgen flagar eller materialet spricker över komplexa, krökta ytor. Att göra detta för hand på 3D‑modeller är långsamt och utmattande; att göra det på platta foton förlorar viktig information om var skadan sitter på själva objektet.

Att länka platta bilder och 3D‑former

Författarna föreslår ett system som låter 2D och 3D ”prata” med varandra så att bådas styrkor utnyttjas samtidigt. Först laddar konservatorer in en 3D‑färgmodell i en specialplattform och markerar grovt ett område de bryr sig om, till exempel statyns arm eller fotstödet. Mjukvaran ”vecklar ut” sedan matematiskt den delen av ytan och lägger ut den som en kontinuerlig, platt texturbild — en slags digital hud som skalats av och bretts ut med minimal distortion. Varje pixel i denna plana karta vet exakt från vilken liten triangel på 3D‑ytan den kommer, och vice versa. Denna tvåvägsförbindelse innebär att alla markeringar som görs — eller i detta fall detektioner — på den platta bilden kan projiceras tillbaka troget på det krökta 3D‑objektet.

Att lära datorn se flagnande färg

När ytan väl är utplattad till en klar, kontinuerlig bild koncentrerar sig systemet på att hitta skadade områden, särskilt platser där färg har lossnat. Istället för att förlita sig på grova färgtrösklar använder författarna en förbättrad version av en metod kallad SLIC, som delar bilden i många små, enhetliga ”superpixlar”. Antalet och formen på dessa superpixlar väljs automatiskt baserat på hur visuellt komplex bilden är, med hjälp av ett mått på texturkontrast. Därefter grupperar ett klustringssteg superpixlar i ”skadade” och ”friska” områden. Denna metod följer de oregelbundna kanterna hos flagnande färg mer tätt och minskar brus jämfört med andra populära segmenteringstekniker. Resultatet är en precis skademask ritad på pixelnivå i den 2D texturkartan.

Att föra skadan tillbaka på 3D‑artefaktet

Med hjälp av den tidigare 2D–3D‑länken spårar mjukvaran varje skadad pixel tillbaka till den exakta platsen på 3D‑nätet där den hör hemma. Genom enkla geometriska transformationer omvandlas 2D‑koordinater till fullständiga 3D‑positioner som följer objektets krökning. Dessa punkter kombineras sedan till ett rent, färgat ”skal” av förvittring som sitter tätt mot den ursprungliga 3D‑modellen. På en målad trästaty av Guanyin från Kinas Song‑dynasti visar författarna att deras automatiska masker stämmer väl överens med noggrant manuellt arbete utfört i professionell modelleringsmjukvara, även på skarpt krökta eller mycket detaljerade områden. De berikar dessutom datan genom att digitalt kopiera och transformera dessa 2D‑ och 3D‑skademönster, vilket skapar många realistiska träningsexempel för framtida djupinlärningssystem.

Vad detta innebär för att bevara det förflutna

Studien visar att noggrann samordning mellan platta bilder och 3D‑geometri kan förvandla råa digitala kopior av artefakter till praktiska verktyg för konservering. Deras plattform minskar arbetsinsats och subjektivitet vid manuell märkning, producerar konsekventa, högprecisa skadekartor och stödjer batchbearbetning för att hantera stora samlingar. Enkelt uttryckt ger den konservatorer en tillförlitlig, semi‑automatisk ”markeringspenna” för förvittring på komplexa föremål och genererar den rikliga, välannoterade 3D‑data som moderna AI‑metoder behöver. Även om tillvägagångssättet fortfarande är beroende av texturer av god kvalitet och smart utviktning för att undvika distortion, erbjuder det ett kraftfullt steg mot skalbar, datadriven vård av världens kulturarv.

Citering: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Nyckelord: bevarande av kulturarv, 3D-digitalisering, automatisk skadedetektion, texturkartläggning, datamängder för djupinlärning