Multiskaliges Voxel‑Feature‑Fusionsnetzwerk für großflächige, verrauschte Punktwolkenvervollständigung in der Restaurierung des kulturellen Erbes

Alte Bauwerke wieder digital in den Fokus rücken

Wenn Historiker historische Tempel oder Denkmäler mit Lasern scannen, sieht die resultierende 3D‑Darstellung oft eher wie mit Rauschen überfülltes Fernsehbild als wie ein klares Abbild aus. Teile von Dächern oder Skulpturen fehlen, und zufällige „Geistpunkte“ stören die Ansicht. Diese Arbeit stellt eine neue Methode der künstlichen Intelligenz (KI) vor, die diese 3D‑Punktwolken säubert und vervollständigt und so Kuratoren und Forschern ermöglicht, komplexe Kulturerbestätten – etwa jahrhundertealte japanische Schreine – deutlich klarer zu sehen.

Warum 3D‑Scans von Kulturerbestätten so unordentlich sind

Moderne Werkzeuge wie LiDAR und Tiefenkameras können innerhalb von Minuten Millionen von 3D‑Punkten von Gebäuden und Landschaften erfassen. Bäume, Schatten, ungünstige Blickwinkel und die Grenzen der Scanner selbst bedeuten jedoch, dass manche Bereiche überhaupt nicht „gesehen“ werden, während andere durch Rauschen verfälscht sind. In der Praxis führt das zu lückenhaften, ungleichmäßigen Punktwolken, in denen wichtige Details – etwa ineinandergreifende Dachbalken oder filigrane Traufen – entweder fehlen oder unter störenden Punkten verborgen sind. Frühere digitale Reparaturverfahren füllten Lücken oft grob, verwischten feine Details oder erforderten rechenintensive Verfahren, die sich nicht auf sehr große Außenaufnahmen skalieren ließen.

Eine dreistufige Pipeline zur digitalen Restaurierung

Die Autorinnen und Autoren bauen auf ihrer früheren Arbeit auf und schlagen ein dreistufiges KI‑Framework vor, das auf große, verrauschte 3D‑Scans von Kulturerbe zugeschnitten ist. Zuerst folgt ein mehrstufiger Filterungsschritt: Der Algorithmus entfernt zunächst offensichtliche Ausreißer mittels eines statistischen Tests und verwendet anschließend einen geführten Filter, der lokale Oberflächenpatches betrachtet, um verbleibendes Rauschen zu glätten und gleichzeitig scharfe Formen wie Kanten zu erhalten. Im zweiten Schritt werden die bereinigten Punkte in 3D‑Voxel – kleine Würfel – überführt und gleichzeitig auf mehreren Auflösungen analysiert. Grobe Raster erfassen die Gesamtstruktur eines Dachs; feinere Raster erfassen Gratlinien, Ziegel und Kanten. Diese multiskaligen Voxel‑Features werden dann mittels Aufmerksamkeitsmechanismen fusioniert, die dem Netzwerk erlauben zu entscheiden, welchem Maßstab in verschiedenen Regionen des Objekts mehr Vertrauen geschenkt wird.

Kanten schärfen und Lücken füllen

Im dritten Stadium werden die fusionierten Merkmale durch ein Transformer‑basiertes Modul geleitet, das ein sparsames „Skelett“ von Schlüsselpunkten vorhersagt, die die fehlenden Bereiche repräsentieren. Ein spezieller, krümmungsgeführter Verstärkungsschritt misst anschließend, wie stark sich jede Region krümmt, und nutzt diese Information, um die Features anzupassen, sodass das vorhergesagte Skelett echte Kanten und Ecken besser nachzeichnet, statt sie zu abrunden. Schließlich erweitert ein Upsampling‑Modul dieses Skelett zu einer dichten, vervollständigten Punktwolke, die die wahre Oberfläche nachbilden soll und dabei eine gleichmäßige Punktverteilung beibehält, um Klumpen oder Löcher zu vermeiden, die Betrachter irreführen oder Analysen stören würden.

Wie gut funktioniert das in der Praxis?

Das Team testete seinen Ansatz an synthetischen Formen und echten Scans. An einem Standardbenchmark für 3D‑Modelle (ShapeNet‑55) stellte die Methode fehlende Teile genauer wieder her als mehrere führende Netzwerke und verbesserte ein zentrales Distanzmaß um bis zu etwa 16 Prozent bei gleichbleibend hoher Vollständigkeit. Wichtiger für Anwendungen im Kulturerbe: Die Forschenden stellten einen Datensatz japanischer Tempeldächer zusammen, der auf realen Laserscans mit realem Rauschen basiert. Hier schnitt die Methode deutlich besser ab als Alternativen, insbesondere bei stark kontaminierten Daten. In visuellen Vergleichen erzeugte die vorgeschlagene Pipeline schärfere Dachziegel, getreuere Traufen und weniger Artefakte. Auf den großflächigen Scan des Tamaki‑jinja‑Schreins – über 25 Millionen Punkte – angewandt, konnte sie fehlende Dachabschnitte rekonstruieren und verrauschte Oberflächen innerhalb eines praktikablen Zeit‑ und Speicherbudgets verfeinern.

Durch Wände sehen mit klareren Daten

Die Forschenden integrierten ihre Vervollständigungs‑Methode zudem in eine transparente Visualisierungstechnik, die sie zuvor entwickelt hatten, und die es Betrachtern erlaubt, durch äußere Oberflächen dichter Punktwolken hindurch interne Strukturen zu „sehen“. Bei den ursprünglichen verrauschten Daten waren transparente Ansichten der Dächer von Tamaki‑jinja verwirrend: Lücken, verstreute Punkte und fehlende Bereiche verdeckten die wahre Struktur. Nach Anwendung des neuen Vervollständigungsframeworks zeigten dieselben Ansichten deutlich klarere Konturen von Dächern und Traufen, was die Interpretation der Bauweise erleichtert. Auch wenn die Methode in Bereichen mit extrem unvollständigen oder vom Rauschen überlagerten Scans noch Probleme hat, verbessert sie für die meisten Regionen sowohl die geometrische Genauigkeit als auch die visuelle Lesbarkeit erheblich.

Was das für das kulturelle Erbe bedeutet

Einfach gesagt liefert diese Arbeit einen intelligenteren „digitalen Restaurator“ für 3D‑Scans historischer Stätten. Durch sorgfältiges Säubern der Daten, das Erfassen von Formen auf mehreren Skalen und besondere Aufmerksamkeit für Kanten und Krümmungen kann die Methode plausibel fehlende Gebäudeteile rekonstruieren, ohne die Ergebnisse zu sehr zu glätten oder zu verzerren. Für Kuratoren, Architekten und Historiker bedeutet das zuverlässigere virtuelle Modelle für Forschung, Konservierungsplanung und öffentliche Ausstellungen, einschließlich immersiver Durchsichtansichten komplexer Holzstrukturen. Während der Ansatz die physische Konservierung nicht ersetzt, bietet er ein leistungsfähiges Werkzeug, um die Geometrie empfindlichen Kulturerbes im digitalen Raum zu bewahren und zu erforschen.

Zitation: Li, W., Pan, J., Hasegawa, K. et al. Multiscale voxel feature fusion network for large scale noisy point cloud completion in cultural heritage restoration. npj Herit. Sci. 14, 93 (2026). https://doi.org/10.1038/s40494-026-02331-y

Schlüsselwörter: 3D-Punktwolke, kulturelles Erbe, LiDAR-Scanning, Deep Learning, digitale Restaurierung