Automatyczna metoda adnotacji kolorowych trójwymiarowych siatek trójkątnych ukierunkowana na segmentację degradacji zabytków

Dlaczego cyfrowe „oczy” nad starymi skarbami mają znaczenie

W muzeach i na zabytkowych stanowiskach rzeźby, freski i rzeźbione ściany powoli pękają, łuszczą się i blakną. Konserwatorzy muszą dokładnie wiedzieć, gdzie pojawiają się te uszkodzenia, by zdecydować, co naprawić i z jakim priorytetem, ale ręczne oznaczanie każdego uszkodzonego fragmentu na szczegółowych trójwymiarowych zapisach obiektów może zająć tygodnie. Artykuł przedstawia automatyczny sposób oznaczania degradacji na bogato kolorowanych modelach 3D zabytków, przekształcając nużące, zarezerwowane dla ekspertów zadanie w szybki i precyzyjny proces cyfrowy.

Od kruchych posągów do szczegółowych bliźniaków 3D

Współcześnie wiele ważnych artefaktów jest zapisywanych jako wierne kolorowe modele 3D tworzone na podstawie fotografii. Modele te odwzorowują zarówno kształt, jak i powłokę malarską bez dotykania oryginalnego obiektu, a instytucje od jaskiń Dunhuang po British Museum korzystają z nich. Jednak większość tej cyfrowej bogactwa jest niewykorzystana: modele służą głównie do oglądania i archiwizacji, a nie do dogłębnej analizy. Dla prac konserwatorskich kluczowym wyzwaniem jest zidentyfikowanie i precyzyjne zmierzenie miejsc, w których farba się łuszczy lub materiał pęka na złożonych, zaokrąglonych powierzchniach. Robienie tego ręcznie na modelach 3D jest powolne i wyczerpujące; wykonywanie tego na płaskich zdjęciach pozbawia natomiast istotnej informacji o tym, gdzie uszkodzenie znajduje się na samym obiekcie.

Łączenie płaskich zdjęć i kształtów 3D

Autorzy proponują system, który pozwala na „rozmowę” między 2D i 3D, tak aby wykorzystać zalety obu reprezentacji jednocześnie. Najpierw konserwatorzy ładują kolorowy model 3D do niestandardowej platformy i w przybliżeniu wybierają obszar, którym są zainteresowani, na przykład ramię lub podstawę posągu. Oprogramowanie matematycznie „rozwija” tę część powierzchni, rozkładając ją jako ciągły, płaski obraz tekstury — coś w rodzaju cyfrowej skóry odklejonej i rozciągniętej z minimalnymi zniekształceniami. Każdy piksel na tej płaskiej mapie wie dokładnie, z którego małego trójkąta na powierzchni 3D pochodzi, i odwrotnie. Ta dwukierunkowa łączność oznacza, że wszelkie oznaczenia narysowane — lub w tym przypadku wykryte — na płaskim obrazie mogą zostać wiernie odwzorowane z powrotem na zakrzywiony obiekt 3D.

Nauka komputera rozpoznawania łuszczącej się farby

Gdy powierzchnia zostanie spłaszczona do czytelnego, ciągłego obrazu, system koncentruje się na znalezieniu obszarów uszkodzonych, zwłaszcza miejsc, w których farba odpada. Zamiast polegać na prostych progach koloru, autorzy używają ulepszonej wersji metody zwanej SLIC, która dzieli obraz na wiele małych, jednorodnych „superpikseli”. Liczba i kształt tych superpikseli są dobierane automatycznie na podstawie wizualnej złożoności obrazu, przy użyciu miary kontrastu tekstury. Następnie krok klastrowania grupuje superpiksele na obszary „uszkodzone” i „zdrowe”. Podejście to lepiej podąża za nieregularnymi krawędziami łuszczącej się farby i redukuje szum w porównaniu z innymi popularnymi technikami segmentacji. Wynikiem jest precyzyjna maska uszkodzeń narysowana na poziomie pikseli na dwuwymiarowej mapie tekstury.

Przeniesienie oznaczeń z powrotem na obiekt 3D

Dzięki wcześniej utworzonemu łączu 2D–3D oprogramowanie śledzi każdy uszkodzony piksel z powrotem do dokładnego miejsca na siatce 3D, do którego należy. Przy użyciu prostych przekształceń geometrycznych konwertuje współrzędne 2D na pełne pozycje 3D, które podążają za krzywizną obiektu. Punkty te są następnie łączone w czystą, kolorową „powłokę” degradacji, która przylega do oryginalnego modelu 3D. Na przykładzie malowanego drewnianego posągu Guanyin z dynastii Song autorzy pokazują, że ich automatyczne maski są bliskie dokładności pracom ręcznym wykonywanym w profesjonalnym oprogramowaniu modelującym, nawet na ostrych zakrzywieniach i silnie szczegółowych obszarach. Dodatkowo wzbogacają dane, cyfrowo kopiując i przekształcając te wzory uszkodzeń 2D i 3D, tworząc wiele realistycznych przykładów treningowych dla przyszłych systemów uczących się głęboko.

Co to oznacza dla ochrony przeszłości

Badanie pokazuje, że staranne powiązanie obrazów płaskich i geometrii 3D potrafi przekształcić surowe cyfrowe repliki artefaktów w praktyczne narzędzia konserwatorskie. Ich platforma zmniejsza nakład pracy i subiektywność ręcznego oznaczania, wytwarza spójne, wysokoprecyzyjne mapy uszkodzeń i obsługuje przetwarzanie wsadowe dużych kolekcji. Mówiąc prosto, daje konserwatorom niezawodny, półautomatyczny „zakreślacz” do wskazywania degradacji na złożonych obiektach i generuje obfite, dobrze oznakowane dane 3D, których potrzebują współczesne metody AI. Choć podejście nadal zależy od wysokiej jakości tekstur i inteligentnego rozwijania powierzchni, aby uniknąć zniekształceń, stanowi mocny krok w kierunku skalowalnej, opartej na danych opieki nad światowym dziedzictwem kulturowym.

Cytowanie: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

Słowa kluczowe: konserwacja dziedzictwa kulturowego, digitalizacja 3D, automatyczne wykrywanie uszkodzeń, mapowanie tekstur, zbiory danych do uczenia głębokiego