Multiskalig voxel-funktionsfusionsnätverk för storskalig, brusig punktmolnkomplettering vid kulturarvsrestaurering

Återföra forntida byggnader till digital skärpa

När historiker laser-skannar historiska tempel eller monument ser den resulterande 3D-datan ofta mer ut som TV med störningar än som en klar bild. Delar av tak eller skulpturer saknas, och slumpmässiga prickar av ”spökpunkter” rör till vyn. Denna artikel presenterar en ny metod inom artificiell intelligens (AI) som rengör och kompletterar dessa 3D-punktmoln, och hjälper kuratorer och forskare att se komplexa kulturarvsplatser — till exempel flera hundra år gamla japanska helgedomar — med avsevärt större klarhet.

Varför 3D-skanningar av kulturarv blir så stökiga

Moderna verktyg som LiDAR och djupkameror kan fånga miljontals 3D-punkter från byggnader och landskap på några minuter. Men träd, skuggor, svåra betraktningsvinklar och skannerns egna begränsningar gör att vissa områden aldrig blir ”sedda” alls, medan andra blir korrupta av brus. I praktiken leder detta till ojämna, fläckiga punktmoln där viktiga detaljer — som sammanfogade takbjälkar eller intrikata taknockar — antingen saknas eller ligger begravda under felaktiga punkter. Tidigare digitala reparationsmetoder fyllde antingen luckor grovt, suddade ut fina detaljer eller krävde tung beräkning som inte skalade till mycket stora utomhusscener.

Ett tredelat digitalt restaureringsflöde

Författarna bygger vidare på sitt tidigare arbete och föreslår ett trestegs AI-ramverk anpassat för stora, brusiga 3D-skanningar av kulturarv. Först kommer ett flerstegsfilter: algoritmen applicerar inledningsvis ett statistiskt test för att ta bort uppenbara avvikare, och använder sedan ett styrt filter som betraktar lokala ytfack för att jämna ut kvarvarande brus samtidigt som skarpa former som kanter bevaras. För det andra konverteras de rengjorda punkterna till 3D-”voxlar” — små kuber — och analyseras i flera upplösningar samtidigt. Grova galler fångar takets övergripande struktur; finare galler fångar nockar, takpannor och kanter. Dessa flerskaliga voxel-funktioner fusioneras sedan med uppmärksamhetsmekanismer som låter nätverket avgöra hur mycket varje skala ska litas på i olika delar av objektet.

Skärpa kanter och fylla i luckorna

I det tredje steget skickas de fusionerade funktionerna genom en Transformator-baserad modul som förutsäger ett sparse ”skelett” av nyckelpunkter som representerar de saknade regionerna. Ett särskilt kurvaturstyrt förbättringssteg mäter hur skarpt varje region böjer sig och använder denna information för att justera funktionerna, så att det förutsagda skelettet bättre följer verkliga kanter och hörn istället för att avrunda dem. Slutligen expanderar en uppsamplesmodul detta skelett till ett tätt, komplett punktmoln som syftar till att matcha den verkliga ytan samtidigt som punktfördelningen hålls jämn och undviker klumpar eller hål som skulle distrahera betraktare eller vilseleda analytiker.

Hur väl fungerar det i praktiken?

Teamet testade sin metod på både syntetiska former och verkliga skanningar. På en standardbenchmark av 3D-modeller (ShapeNet‑55) återvann deras metod saknade delar mer exakt än flera ledande nätverk, och förbättrade ett viktigt distansmått med upp till ungefär 16 procent samtidigt som hög fullständighet bibehölls. Viktigare för kulturarvsapplikationer samlade de även en datamängd av japanska temaktak härledd från faktiska laserskanningar som inkluderar verkligt brus. Här presterade metoden tydligt bättre än alternativen, särskilt när datan var kraftigt förorenad. I visuella jämförelser producerade den föreslagna pipeline:en skarpare takpannor, mer trogna taknockar och färre artefakter. Applicerat på storskaliga skanningen av Tamaki-jinja-helgedomen — över 25 miljoner punkter — kunde den rekonstruera saknade taksektioner och förfina brusiga ytor inom rimlig tids- och minnesbudget.

Se igenom ytor med tydligare data

Forskarna integrerade också sin kompletteringsmetod med en transparent visualiseringsteknik som de utvecklat tidigare, vilken låter betraktare ”se igenom” de yttre ytorna av täta punktmoln till interna strukturer. På den ursprungliga brusiga datan var genomskinliga vyer av Tamaki-jinjas tak förvirrande: gap, flyktiga punkter och saknade regioner skymde den verkliga strukturen. Efter att ha applicerat det nya kompletteringsramverket visade samma vyer mycket klarare konturer av tak och taknockar, vilket gjorde det enklare att tolka hur byggnaden är uppbyggd. Även om metoden fortfarande har svårigheter i områden där skanningarna är extremt ofullständiga eller överväldigade av brus, förbättrar den avsevärt både geometrisk noggrannhet och visuell läsbarhet i de flesta regioner.

Vad detta innebär för kulturarvet

Kort sagt erbjuder detta arbete en smartare ”digital konservator” för 3D-skanningar av historiska platser. Genom att noggrant rengöra data, förstå former i flera skalor och lägga särskild vikt vid kanter och kurvor kan metoden realistiskt rekonstruera saknade delar av byggnader utan att över-sudda eller förvränga resultatet. För kuratorer, arkitekter och historiker innebär detta mer pålitliga virtuella modeller för studier, bevarandeplanering och publika utställningar, inklusive omslutande genomskinliga vyer av komplexa träramar. Medan tillvägagångssättet inte ersätter fysisk konservering, erbjuder det ett kraftfullt verktyg för att bevara och utforska geometrin hos känsligt kulturarv i den digitala världen.

Citering: Li, W., Pan, J., Hasegawa, K. et al. Multiscale voxel feature fusion network for large scale noisy point cloud completion in cultural heritage restoration. npj Herit. Sci. 14, 93 (2026). https://doi.org/10.1038/s40494-026-02331-y

Nyckelord: 3D punktmoln, kulturarv, LiDAR-skanning, djupinlärning, digital restaurering