Wieloskalowa sieć fuzji cech wypełniających woksele dla uzupełniania dużych zaszumionych chmur punktów w renowacji dziedzictwa kulturowego

Przywracanie dawnych struktur do cyfrowej ostrości

Gdy historycy skanują laseriem zabytkowe świątynie czy pomniki, otrzymane dane 3D często przypominają ekran telewizyjny z zakłóceniami, a nie wyraźny obraz. Brakuje fragmentów dachów lub rzeźb, a losowe kropki „duchów” zaśmiecają widok. W artykule przedstawiono nową metodę sztucznej inteligencji (AI), która oczyszcza i uzupełnia takie chmury punktów 3D, pomagając kustoszom i badaczom zobaczyć skomplikowane obiekty dziedzictwa kulturowego — na przykład wiekowe japońskie sanktuaria — z dużo większą klarownością.

Dlaczego skany zabytków są tak nieporządne

Nowoczesne narzędzia, takie jak LiDAR i kamery głębokości, mogą w kilka minut przechwycić miliony punktów 3D budynków i krajobrazów. Jednak drzewa, cienie, niekorzystne kąty widzenia i ograniczenia samych skanerów sprawiają, że niektóre obszary w ogóle nie są „widoczne”, a inne są zniekształcone przez szum. W praktyce prowadzi to do niekompletnych, nierównych chmur punktów, gdzie kluczowe elementy — jak zazębiające się belki dachowe czy misternie zdobione okapy — albo znikają, albo są zasypane fałszywymi punktami. Wcześniejsze techniki cyfrowej naprawy albo prymitywnie wypełniały luki, rozmazywały drobne detale, albo wymagały dużej mocy obliczeniowej, która nie skalowała się do bardzo rozległych scen zewnętrznych.

Trzystopniowy pipeline cyfrowej restauracji

Autorzy rozwijają swoje wcześniejsze badania i proponują trzyetapowe ramy AI dostosowane do dużych, zaszumionych skanów 3D dziedzictwa kulturowego. Najpierw stosowany jest wielostopniowy filtr: algorytm najpierw wykonuje test statystyczny, aby usunąć ewidentne odchylenia, a następnie używa filtrowania prowadzonego, które analizuje lokalne fragmenty powierzchni, wygładzając pozostały szum przy zachowaniu ostrych kształtów, takich jak krawędzie. Po drugie, oczyszczone punkty są konwertowane na „woksele” 3D — małe sześciany — i analizowane jednocześnie na kilku rozdzielczościach. Grubsze siatki wychwytują ogólną strukturę dachu; drobniejsze siatki rejestrują grzbiety, dachówki i krawędzie. Te wieloskalowe cechy wokselowe są następnie integrowane mechanizmami uwagi, które pozwalają sieci zdecydować, ile ufać każdej skali w różnych regionach obiektu.

Wyostrzanie krawędzi i wypełnianie braków

W trzecim etapie zintegrowane cechy przechodzą przez moduł oparty na Transformerze, który prognozuje rzadkie „szkielety” kluczowych punktów reprezentujących brakujące obszary. Specjalny krok wzmocnienia prowadzony krzywizną mierzy, jak ostro każdy region się załamuje, i wykorzystuje tę informację do korekty cech, tak aby przewidywany szkielet lepiej podążał za rzeczywistymi krawędziami i narożnikami zamiast je zaokrąglać. Na końcu moduł upsampingu rozszerza ten szkielet do gęstej, uzupełnionej chmury punktów, która ma odpowiadać prawdziwej powierzchni, jednocześnie utrzymując równomierne rozmieszczenie punktów i unikając skupisk czy dziur, które zmyliłyby oglądających lub badaczy.

Jak to działa w praktyce?

Zespół przetestował podejście na modelach syntetycznych i rzeczywistych skanach. Na standardowym benchmarku modeli 3D (ShapeNet‑55) ich metoda odtwarzała brakujące części dokładniej niż kilka czołowych sieci, poprawiając kluczową miarę odległości nawet o około 16 procent przy jednoczesnym zachowaniu wysokiej kompletności. Co ważniejsze dla zastosowań w dziedzictwie, zebrali zestaw danych dachów japońskich świątyń pochodzących z rzeczywistych skanów laserowych, zawierających realny szum. W tym przypadku metoda wyraźnie przewyższała alternatywy, szczególnie gdy dane były mocno zanieczyszczone. W porównaniach wizualnych proponowany pipeline generował ostrzejsze dachówki, wierniejsze okapy i mniej artefaktów. Zastosowany do skanu na dużą skalę sanktuarium Tamaki‑jinja — ponad 25 milionów punktów — potrafił zrekonstruować brakujące fragmenty dachu i dopracować zaszumione powierzchnie w praktycznym czasie i w przyjętym budżecie pamięciowym.

Widzenie przez ściany dzięki czystrzejszym danym

Badacze zintegrowali także swoją metodę uzupełniania z przejrzystą techniką wizualizacji, którą opracowali wcześniej, co pozwala widzom „przejrzeć” zewnętrzne powierzchnie gęstych chmur punktów i zobaczyć struktury wewnętrzne. Na oryginalnych zaszumionych danych przejrzyste widoki dachów Tamaki‑jinja były mylące: luki, porozrzucane punkty i brakujące regiony zasłaniały prawdziwą strukturę. Po zastosowaniu nowego frameworka uzupełniającego te same widoki ukazały znacznie czyściejsze kontury dachów i okapów, ułatwiając interpretację konstrukcji budynku. Chociaż metoda nadal ma trudności w obszarach, gdzie skany są ekstremalnie niekompletne lub przytłoczone szumem, istotnie poprawia zarówno dokładność geometryczną, jak i czytelność wizualną w większości regionów.

Co to oznacza dla dziedzictwa kulturowego

Mówiąc prosto, praca ta dostarcza inteligentniejszego „cyfrowego restauratora” dla skanów 3D zabytków. Poprzez staranne oczyszczanie danych, analizę kształtów na wielu skalach i szczególną uwagę dla krawędzi i krzywizn, metoda potrafi wiarygodnie odtworzyć brakujące części budowli, unikając nadmiernego wygładzenia lub zniekształceń. Dla kustoszy, architektów i historyków oznacza to bardziej wiarygodne modele wirtualne do badań, planowania konserwacji i wystaw publicznych, w tym immersyjnych widoków „przejrzystych” złożonych drewnianych struktur. Choć podejście nie zastąpi fizycznej konserwacji, oferuje potężne narzędzie do zachowania i badania geometrii delikatnego dziedzictwa kulturowego w przestrzeni cyfrowej.

Cytowanie: Li, W., Pan, J., Hasegawa, K. et al. Multiscale voxel feature fusion network for large scale noisy point cloud completion in cultural heritage restoration. npj Herit. Sci. 14, 93 (2026). https://doi.org/10.1038/s40494-026-02331-y

Słowa kluczowe: chmura punktów 3D, dziedzictwo kulturowe, skanowanie LiDAR, uczenie głębokie, restauracja cyfrowa