System SfM do digitalizacji malowideł ściennych z dopasowywaniem cech kierowanym uwagą i odporną rekonstrukcją rzadką

Dlaczego ratowanie starożytnych malowideł ściennych wymaga nowych cyfrowych trików

Wzdłuż pustyń północno-zachodnich Chin malowane ściany grot Mogao stopniowo blakną, pękają i łuszczą się. Konserwatorzy potrzebują szczegółowych cyfrowych kopii tych fresków, aby badacze i publiczność mogli je badać długo po tym, jak oryginały ulegną dalszemu zniszczeniu. Jednak przekształcenie tysięcy zbliżonych zdjęć w jednorodny, płaski, niezmieniony widok krzywej, uszkodzonej ściany okazuje się zaskakująco trudne. Artykuł przedstawia nowy system widzenia komputerowego zaprojektowany specjalnie dla malowideł grot, dzięki któremu cyfrowe rekonstrukcje są ostrzejsze, bardziej niezawodne i praktyczne na dużą skalę.

Z placków zdjęć do jednej bezszwowej ściany

Digitalizacja malowidła to nie to samo co zrobienie pojedynczego zdjęcia. Aparaty o wysokiej rozdzielczości wykonują wiele nakładających się ujęć z systemu poruszającego się po szynie wzdłuż ściany, tworząc gęstą siatkę lokalnych widoków. Tradyjne oprogramowanie często „zszywa” te obrazy w 2D, deformując i mieszając je jak panoramę. To działa, gdy ściany są płaskie i oświetlenie równomierne, ale malowidła grot są wygięte, wypukłe, przyciemniają się w narożnikach i mają zarówno puste, jak i silnie powtarzalne obszary. W takich warunkach zszywanie może dawać widoczne szwy, źle dopasowane postacie lub zdeformowane kształty. Autorzy zamiast tego przyjmują strategię 3D zwaną Structure-from-Motion (SfM): komputer szacuje pozycję kamery dla każdego ujęcia i rekonstruuje powierzchnię malowidła w przestrzeni, zanim zaprojektuje precyzyjny, frontalny obraz.

Nauka komputera, by dostrzegał właściwe detale

Rdzeń SfM to dopasowywanie drobnych detali wizualnych — „punktów cech” — pomiędzy parami zdjęć. W przypadku malowideł jest to niebezpieczne: rzędy niemal identycznych postaci, wyblakłe pigmenty i rozległe puste pola mogą zmylić algorytmy, łącząc niewłaściwe punkty lub znajdując ich zbyt mało. Nowy system radzi sobie z tym dzięki metodzie dopasowywania „kierowanej uwagą”, inspirowanej współczesnymi technikami uczenia głębokiego. Zamiast oceniać każdą cechę w izolacji, algorytm analizuje wzory cech razem i uczy się, które z nich prawdopodobnie będą się zgadzać w nakładających się widokach. Wbudowano też rozumienie, gdzie powinno występować nakładanie: cechy leżące daleko poza obszarem wspólnym dwóch obrazów są delikatnie osłabiane, nawet jeśli wyglądają podobnie, podczas gdy te w prawdopodobnych strefach nakładania są faworyzowane. To połączenie kontekstu wizualnego i świadomości przestrzennej znacząco zmniejsza liczbę fałszywych dopasowań, jednocześnie utrzymując obciążenie obliczeniowe na poziomie wykonalnym dla tysięcy zdjęć o wysokiej rozdzielczości.

Odbudowa ściany w 3D, krawędź po krawędzi

Nawet przy lepszych dopasowaniach SfM może zawieść, jeśli źle odgadnie ustawienia kamery lub spróbuje jednocześnie dostosować zbyt wiele punktów widzenia. Malowidła stwarzają szczególny problem, ponieważ metadane kamer często są brakujące lub zawodzą po obróbce, a scena jest niemal planarna, co może spowodować, że odtworzona ściana będzie się „wypuklać” do wewnątrz lub na zewnątrz w modelu wirtualnym. Autorzy wprowadzają dwa poprawki specyficzne dla malowideł. Po pierwsze, ponownie estymują ogniskową kamer — nie z tagów plików, lecz poprzez testowanie kandydatów i wybieranie tych, które dają spójną geometrię, a następnie uśredniają wartość dla widoków zarejestrowanych tym samym ustawieniem. Po drugie, zastępują globalne udoskonalanie „optymalizacją wiązki opartą na krawędziach” (edge-based bundle adjustment): zamiast ciągle poprawiać każdą kamerę, system jedynie dopracowuje kamery i punkty 3D przy rosnącym brzegu rekonstrukcji, pozostawiając dobrze określone widoki wewnętrzne w spokoju. Skoncentrowana optymalizacja redukuje dryft, utrzymuje wirtualną ścianę płaską i skraca czas przetwarzania.

Testy systemu w prawdziwych grotach

Naukowcy ocenili swój system na prawie 1800 zdjęciach z dziewięciu grot w Mogao oraz na dużym publicznym zbiorze danych MuralDH, gdzie symulowali sposób, w jaki kamera przesuwałaby się po malowidle. W bezpośrednich porównaniach z powszechnie używanymi narzędziami open-source, takimi jak COLMAP, VisualSFM, OpenMVG i MVE, nowy pipeline zrekonstruował więcej zestawów malowideł z powodzeniem, dał mniejsze błędy geometryczne i działał szybciej. Niektóre groty, których konkurencyjne systemy w ogóle nie zrekonstruowały, dały czyste chmury punktów i stabilne trajektorie kamer dzięki nowej metodzie. Gdy powstałe rzadkie modele 3D przekazano do komercyjnego oprogramowania do rekonstrukcji gęstej, wygenerowały klarowne, niemal pozbawione zniekształceń obrazy frontalne, z których konserwatorzy mogli rzeczywiście korzystać — coś, czego poprzednie automatyczne przepływy pracy nie potrafiły niezawodnie dostarczyć.

Czytelniejsze cyfrowe okna w przeszłość

Dla osób spoza specjalizacji wniosek jest prosty: praca ta ułatwia tworzenie wiernych, wysokorozdzielczych cyfrowych faksymile delikatnych malowideł ściennych na dużą skalę. Dostosowując narzędzia widzenia komputerowego do specyfiki malowideł grot — powtarzalnych motywów, subtelnego reliefu, brakujących danych kamery — system SfM autorów przekształca ogromne, chaotyczne archiwa zdjęć w geometrycznie poprawne, bezszwowe widoki malowideł. Te cyfrowe rekonstrukcje mogą wspierać planowanie konserwacji, analizy naukowe i wystawy publiczne, pomagając zachować wizualne historie na starożytnych ścianach, nawet gdy oryginalne pigmenty kontynuują swoje powolne, nieuchronne blaknięcie.

Cytowanie: Fang, K., Min, Z. & Diao, C. An SfM system for mural digitization with attention-guided feature matching and robust sparse reconstruction. npj Herit. Sci. 14, 166 (2026). https://doi.org/10.1038/s40494-026-02385-y

Słowa kluczowe: digitalizacja malowideł ściennych, dziedzictwo kulturowe, rekonstrukcja 3D, widzenie komputerowe, Groty Mogao w Dunhuang