Framework Gaussian splatting napędzany podwójnym priorem do wysokiej jakości rekonstrukcji zabytków muzealnych

Dlaczego zachowywanie artefaktów w 3D ma znaczenie

Muzea na całym świecie ścigają się w tworzeniu szczegółowych cyfrowych kopii kruchych eksponatów, od dzwonów brązowych po porcelanowe wazy. Te wirtualne odpowiedniki można przeglądać online, badać bez dotykania oryginałów i zachować nawet w przypadku uszkodzenia fizycznych obiektów. Jednak wiele zbiorów ma jedynie surowe dane skanów 3D zapisane jako kolorowe chmury punktów — miliony kropek w przestrzeni — bez odpowiadających im fotografii. Artykuł przedstawia nowy sposób przekształcania tych samych kropek w realistyczne modele 3D, otwierając ogromne archiwa „uśpionych” danych dziedzictwa dla żywej prezentacji cyfrowej.

Problem z dzisiejszymi replikami cyfrowymi

Do tej pory wysokiej jakości rekonstrukcje 3D zwykle podążały dwoma ścieżkami. Jedna wykorzystuje zwykłe zdjęcia z wielu kątów do oszacowania zarówno kształtu, jak i koloru, ale ma problemy z gładkimi, mało teksturowanymi powierzchniami, które są częste w artefaktach, i trudno jej odtworzyć rzeczywisty rozmiar. Druga korzysta z precyzyjnych skanerów laserowych do bezpośredniego zapisania geometrii, czasem z oddzielnymi kamerami dla koloru. Ta droga jest dokładna, lecz kosztowna, a mimo to nie daje od razu bogatych, świadomych oświetlenia wizualizacji wymaganych przez nowoczesne wystawy wirtualne. Nowsza technika zwana 3D Gaussian splatting może renderować sceny w czasie rzeczywistym z imponującą realistycznością, jednak zwykle zależy od obrazów z kamer i od szorstkiej początkowej chmury punktów zbudowanej z tych obrazów. Dla przedmiotów muzealnych zarchiwizowanych wyłącznie jako chmury punktów cały ten łańcuch zawodny.

Nowa droga od kropek do cyfrowych dubli

Autorzy proponują ramy „podwójnego priora”, które zaczynają od wysokiej jakości kolorowej chmury punktów i prowadzą do szczegółowego, gotowego do renderowania modelu — bez potrzeby oryginalnych zdjęć. Pierwszy prior jest geometryczny: inteligentna metoda próbkowania przechodzi przez gęsty skan, mierząc zarówno kształt, jak i zróżnicowanie kolorów na wielu skalach. Punkty, które przechwytują krawędzie powierzchni, rzeźbienia, pęknięcia lub ostre zmiany barwy, otrzymują wyższe znaczenie, podczas gdy obszary płaskie lub jednolite są przerzedzane. Starannie wybrana podzbiór punktów służy następnie do inicjalizacji milionów drobnych trójwymiarowych elementów konstrukcyjnych, zwanych prymitywami Gaussa, które tworzą szkielet końcowego modelu i niosą poprawną skalę rzeczywistą.

Nauczanie modelu, jak obiekt powinien wyglądać

Drugi prior jest wizualny: zamiast używać prawdziwych fotografii, metoda generuje „idealne” obrazy treningowe bezpośrednio z chmury punktów. Wirtualne kamery umieszczane są wokół artefaktu, w tym z kątów trudnych do osiągnięcia w rzeczywistej galerii, a każdy punkt jest projektowany do tych widoków, tworząc syntetyczne obrazy kolorowe. Algorytm widoczności usuwa punkty, które powinny być ukryte z danego kąta, zapobiegając efektowi duchów, gdy detale tła błędnie pojawiają się z przodu. Ponieważ obrazy i geometria pochodzą z tego samego źródła, nie ma rozregulowania między kształtem a kolorem — częstym utrapieniem w tradycyjnych przepływach pracy łączących oddzielne skany i zestawy zdjęć.

Czyszczenie i wyostrzanie syntetycznych widoków

Surowe projekcje z punktów mają tendencję do postrzępienia krawędzi i lekkiego rozmycia w drobnych detalach. Aby to naprawić, syntetyczne obrazy przechodzą etap antyaliasingu, który wygładza „schodkowe” kontury przy zachowaniu wzorców, a następnie przez sieć do super-rozdzielczości opartą na transformatorach. Sieć traktuje wiele widoków jak klatki w wideo i uczy się pożyczać drobne elementy szczegółu z sąsiednich obrazów, które obserwują ten sam obszar z nieco innych kątów. Efektem jest zestaw ostrych, wysokorozdzielczych widoków, które stanowią silny sygnał treningowy: model 3D Gaussian jest wielokrotnie renderowany i dostosowywany tak, aby jego wyjścia jak najwierniej odpowiadały tym ulepszonym obrazom.

Co to oznacza dla muzeów i nie tylko

Testy na nowym zbiorze danych dziedzictwa kulturowego oraz na standardowych benchmarkach 3D pokazują, że podejście z podwójnym priorem daje wyraźniejsze, bardziej dokładne renderingi niż kilka wiodących wariantów Gaussian splatting, z zauważalnie lepszym odtworzeniem delikatnych zdobień i bardziej wiernością ogólnego kształtu. Dla muzeów, które już posiadają precyzyjne chmury punktów, ale brakuje im użytecznych fotografii, metoda oferuje praktyczny sposób ożywienia starych skanów, przekształcając je w interaktywne cyfrowe zastępniki odpowiednie do wystaw, edukacji i badań. Głównym zastrzeżeniem jest to, że podejście zakłada, iż pierwotne skany są gęste i kompletne — jeśli dane są rzadkie lub silnie uszkodzone, korzyści maleją. Mimo to, dla wielu kolekcji spełniających ten warunek, framework stanowi potężny most od surowych pomiarów do przekonujących wirtualnych artefaktów.

Cytowanie: He, Y., Zhang, X., Xie, Z. et al. A dual-prior driven Gaussian splatting framework for high-fidelity reconstruction of museum artifacts. npj Herit. Sci. 14, 69 (2026). https://doi.org/10.1038/s40494-026-02330-z

Słowa kluczowe: dziedzictwo cyfrowe, rekonstrukcja 3D, chmury punktów, Gaussian splatting, zabytki muzealne