Multiscale voxel feature fusion network voor grootschalige, lawaaierige point cloud‑voltooiing in restauratie van cultureel erfgoed

Oude bouwwerken opnieuw in digitale focus brengen

Wanneer historici historische tempels of monumenten met lasers scannen, lijken de resulterende 3D‑gegevens vaak meer op ruis op een televisie dan op een helder beeld. Delen van daken of beelden ontbreken, en willekeurige vlekken met “spook”punten vervuilen het zicht. Dit artikel presenteert een nieuwe methode uit de kunstmatige intelligentie (AI) die deze 3D‑point clouds reinigt en aanvult, zodat curatoren en onderzoekers complexe erfgoedlocaties — zoals eeuwenoude Japanse schrijnen — veel duidelijker kunnen zien.

Waarom 3D‑scans van erfgoedlocaties zo rommelig zijn

Moderne hulpmiddelen zoals LiDAR en dieptecamera’s kunnen binnen enkele minuten miljoenen 3D‑punten van gebouwen en landschappen vastleggen. Maar bomen, schaduwen, ongunstige kijkhoeken en de beperkingen van de scanners zelf betekenen dat sommige regio’s helemaal niet “gezien” worden, terwijl andere worden aangetast door ruis. In de praktijk leidt dit tot ongelijkmatige point clouds waarbij belangrijke kenmerken — zoals ineengrijpende dakbalken of gedetailleerde dakranden — ontbreken of begraven zijn onder foutieve punten. Eerdere digitale hersteltechnieken vulden gaten vaak grofweg op, vervaagden fijne details of vergden zware rekencapaciteit die niet schaalde naar zeer grote buitenscans.

Een driedelig digitaal restauratie‑proces

De auteurs bouwen voort op eerder werk en stellen een drie‑delige AI‑pipeline voor die is afgestemd op grote, lawaaierige 3D‑scans van cultureel erfgoed. Eerst komt een meertraps filterstap: het algoritme past aanvankelijk een statistische test toe om duidelijke uitbijters te verwijderen en gebruikt vervolgens een geleid filter dat naar lokale oppervlaktemerkstukken kijkt om resterende ruis weg te vlakken terwijl scherpe vormen zoals randen behouden blijven. Ten tweede worden de gereinigde punten omgezet in 3D “voxels” — kleine kubussen — en tegelijk op meerdere resoluties geanalyseerd. Grove rasters vangen de algemene structuur van een dak; fijnere rasters leggen nokken, dakpannen en randen vast. Deze meer­schaals voxel‑kenmerken worden vervolgens samengevoegd met aandachtmechanismen die het netwerk laten beslissen hoeveel het elke schaal in verschillende regio’s van het object vertrouwt.

Randen verscherpen en gaten opvullen

In de derde fase worden de gefuseerde kenmerken door een op Transformers gebaseerd module geleid die een spaarzaam “skelet” van sleutelpunten voorspelt die de ontbrekende gebieden vertegenwoordigen. Een speciale kromt‑geleide versterkingsstap meet vervolgens hoe scherp elk gebied buigt en gebruikt die informatie om de kenmerken aan te passen, zodat het voorspelde skelet randen en hoeken beter volgt in plaats van ze af te ronden. Ten slotte breidt een upsampling‑module dit skelet uit tot een dichte, voltooide point cloud die erop gericht is het ware oppervlak te benaderen en tegelijkertijd een evenwichtige puntverdeling te behouden, zodat klonten of gaten die kijkers kunnen afleiden of analisten misleiden worden vermeden.

Hoe goed werkt het in de praktijk?

Het team testte hun aanpak op zowel synthetische vormen als echte scans. Op een standaard benchmark van 3D‑modellen (ShapeNet‑55) herstelde hun methode ontbrekende onderdelen nauwkeuriger dan meerdere leidende netwerken, met een verbetering van een belangrijke afstandsmaat tot ongeveer 16 procent terwijl een hoge volledigheid behouden bleef. Belangrijker voor erfgoedtoepassingen: ze stelden een dataset samen van Japanse tempeldaken afgeleid van daadwerkelijke laserscans met reële ruis. Hier presteerde de methode duidelijk beter dan alternatieven, vooral wanneer de data zwaar verontreinigd waren. In visuele vergelijkingen produceerde de voorgestelde pipeline scherpere pannen, trouwere dakranden en minder artefacten. Toegepast op de grootschalige scan van de Tamaki‑jinja‑schrijn — meer dan 25 miljoen punten — kon het ontbrekende daksecties reconstrueren en lawaaierige oppervlakken verfijnen binnen een praktisch tijds- en geheugenbudget.

Door muren heen kijken met helderder data

De onderzoekers integreerden hun voltooiingsmethode ook met een transparante visualisatietechniek die ze eerder hadden ontwikkeld, waarmee kijkers door de buitenoppervlakken van dichte point clouds heen naar interne structuren kunnen “kijken”. Bij de oorspronkelijke lawaaierige data waren transparante weergaven van de daken van Tamaki‑jinja verwarrend: gaten, losse punten en ontbrekende gebieden verhulden de ware structuur. Na toepassing van het nieuwe voltooiingsframework toonden dezelfde weergaven veel duidelijkere contouren van daken en dakranden, waardoor het eenvoudiger werd te interpreteren hoe het gebouw in elkaar zit. Hoewel de methode nog moeite heeft in gebieden waar scans extreem incompleet zijn of door ruis worden overstemd, verbetert zij in de meeste regio’s zowel de geometrische nauwkeurigheid als de visuele leesbaarheid aanzienlijk.

Wat dit betekent voor cultureel erfgoed

Simpel gezegd biedt dit werk een slimere “digitale restaurator” voor 3D‑scans van historische locaties. Door de data zorgvuldig te reinigen, vormen op meerdere schalen te analyseren en speciale aandacht te besteden aan randen en krommingen, kan de methode plausibel ontbrekende delen van gebouwen reconstrueren zonder te sterke gladstrijking of vervorming. Voor curatoren, architecten en historici betekent dit betrouwbaardere virtuele modellen voor studie, conserveringsplanning en publieke tentoonstellingen, inclusief meeslepende doorzichtige weergaven van complexe houten constructies. Hoewel de aanpak fysieke conservatie niet vervangt, biedt zij een krachtig hulpmiddel om de geometrie van kwetsbaar cultureel erfgoed digitaal te bewaren en te verkennen.

Bronvermelding: Li, W., Pan, J., Hasegawa, K. et al. Multiscale voxel feature fusion network for large scale noisy point cloud completion in cultural heritage restoration. npj Herit. Sci. 14, 93 (2026). https://doi.org/10.1038/s40494-026-02331-y

Trefwoorden: 3D point cloud, cultureel erfgoed, LiDAR‑scanning, deep learning, digitale restauratie