Ett SfM-system för digitalisering av väggmålningar med uppmärksamhetsstyrd matchning av kännetecken och robust gles återuppbyggnad

Varför bevarandet av antika väggmålningar kräver nya digitala metoder

Över nordvästra Kinas öknar bleknar, spricker och flagar målningarna på väggarna i Mogao-grottorna sakta bort. Konservatorer vill ha detaljerade digitala kopior av dessa muraler så att forskare och allmänheten kan studera dem långt efter att originalen förfallit. Men att omvandla tusentals närbildsfotografier till en enda, platt och odistorderad vy av en böjd, skadad vägg är förvånansvärt svårt. Denna artikel presenterar ett nytt datorseendesystem speciellt utformat för grottmålningar, vilket gör digitala rekonstruktioner skarpare, mer pålitliga och praktiska i stor skala.

Från lapptäcksiga foton till en enda sömlös vägg

Att digitalisera en mural är inte så enkelt som att ta ett enda foto. Högupplösta kameror fångar många överlappande bilder från ett railsystem som rör sig över väggen, vilket ger ett tätt nät av lokala vyer. Traditionell mjukvara ”syr ihop” ofta dessa bilder i 2D och vrider och blandar dem som ett panorama. Det fungerar när väggarna är plana och belysningen jämn, men grottmålningar böjer sig, buktar, mörknar i hörn och innehåller både blanka och mycket repetitiva områden. Under sådana förhållanden kan sömsättning skapa synliga fogar, felställda figurer eller förvrängda former. Författarna väljer istället en 3D-strategi kallad Structure-from-Motion (SfM): datorn uppskattar var kameran stod för varje bild och rekonstruerar muralens yta i rummet innan den projicerar den tillbaka till en precis, frontalt vy.

Att lära datorn att upptäcka rätt detaljer

Kärnan i SfM är att matcha små visuella detaljer—”känneteckenpunkter”—mellan bildpar. På muraler är detta förrädiskt: rader av nästan identiska figurer, utblekta pigment och stora blanka ytor kan lura algoritmer att koppla fel punkter eller hitta för få matchningar. Det nya systemet tacklar detta med en ”uppmärksamhetsstyrd” matchningsmetod inspirerad av moderna djupinlärningstekniker. Istället för att bedöma varje kännetecken isolerat tittar algoritmen på mönster av kännetecken tillsammans och lär sig vilka som sannolikt överensstämmer mellan överlappande vyer. Den bygger också in en förståelse för var överlappning bör förekomma: kännetecken långt utanför det delade området mellan två bilder nedviktas försiktigt, även om de ser lika ut, medan de i sannolika överlappningszoner gynnas. Denna kombination av visuell kontext och rumslig medvetenhet minskar kraftigt falska matchningar samtidigt som beräkningen förblir hanterbar för tusentals högupplösta bilder.

Återuppbygga väggen i 3D, en kant i taget

Även med bättre matchningar kan SfM snubbla om det gissar fel på kameraparametrar eller försöker justera för många vyer samtidigt. Muraler utgör ett särskilt problem eftersom kamerametadata ofta saknas eller är opålitliga efter bearbetning, och scenen är nästan plan, vilket kan få den återvunna väggen att "böja" sig inåt eller utåt i den virtuella modellen. Författarna introducerar två mural-specifika åtgärder. För det första omberäknar de kamerans brännvidd—inte från filtaggar, utan genom att testa kandidatvärden och välja de värden som ger koherent geometri, och sedan dela ett medelvärde över vyer inspelade med samma uppställning. För det andra ersätter de global förbättring med "kantbaserad bundle adjustment": istället för att ständigt finjustera varje kamera justerar systemet endast kameror och 3D-punkter vid den växande gränsen för rekonstruktionen och lämnar välbegränsade inre vyer orörda. Denna fokuserade optimering minskar drift, håller den virtuella väggen plan och kortar beräkningstiden.

Sätta systemet på prov i verkliga grottor

Forskarlaget utvärderade sitt system på nästan 1 800 bilder från nio grottor i Mogao och på en stor publik datasats kallad MuralDH, där de simulerade hur en kamera sveper över en mural. I direkta jämförelser med vida använda open-source-verktyg som COLMAP, VisualSFM, OpenMVG och MVE rekonstruerade den nya pipeline:n fler muralsatser framgångsrikt, gav lägre geometriska fel och körde snabbare. Några grottor som konkurrerande system misslyckades helt med att rekonstruera gav rena punktmoln och stabila kameraspår med den nya metoden. När de resulterande glesa 3D-modellerna matades in i kommersiell mjukvara för tät återuppbyggnad producerade de klara, nästan förvrängningsfria frontala bilder som konservatorer faktiskt kunde använda—något tidigare automatiska arbetsflöden inte pålitligt kunde leverera.

Tydligare digitala fönster in i det förflutna

För icke-specialister är slutsatsen enkel: detta arbete gör det mer genomförbart att bygga trogna, högupplösta digitala facsimiler av sköra väggmålningar i stor skala. Genom att skräddarsy datorseendeverktyg till grottmålningars egenheter—repetitiva motiv, subtil relief, saknad kameradata—omvandlar författarnas SfM-system stora, röriga fotoarkiv till geometriskt solida, sömlösa muralvyer. Dessa digitala rekonstruktioner kan stödja konserveringsplanering, vetenskaplig analys och publika utställningar och hjälpa till att bevara de visuella berättelserna på antika väggar även när de ursprungliga pigmenten långsamt och oundvikligen bleknar vidare.

Citering: Fang, K., Min, Z. & Diao, C. An SfM system for mural digitization with attention-guided feature matching and robust sparse reconstruction. npj Herit. Sci. 14, 166 (2026). https://doi.org/10.1038/s40494-026-02385-y

Nyckelord: digitalisering av väggmålningar, kulturarv, 3D-återuppbyggnad, datorseende, Dunhuang Mogao-grottorna