Cyfrowa rekonstrukcja starożytnych fresków Jiangnan za pomocą uczenia przez proxy i wskazówek strukturalnych

Ratowanie wyblakłych malowideł ściennych

W wilgotnych krainach rzecznych południowych Chin wiekowe malowidła ścienne cichnie znikają. Ciepło, wilgoć i czas niszczą tynk, powodując pęknięcia, plamy i łuszczenie farby — naprawy ręczne są kosztowne i ryzykowne. Artykuł opisuje nowy sposób, w jaki komputery mogą cyfrowo „odrestaurować” te kruche freski Jiangnan, przywracając ich sceny i pociągnięcia pędzla na ekranie bez dotykania oryginalnych ścian. Praca ma znaczenie nie tylko dla miłośników sztuki, lecz dla każdego, komu zależy na tym, jak nowoczesne technologie mogą pomóc zachować pamięć kulturową świata.

Ukryte skarby Jiangnan

Badane tu malowidła rozsiane są po salach przodków, świątyniach i starych domach w prowincji Zhejiang. W odróżnieniu od słynnych pustynnych grot w Dunhuang, te dzieła znajdują się w gorącym, wilgotnym klimacie wyjątkowo nieprzyjaznym dla materiałów ziemnych, drewnianych i wapiennych. Ankiety pokazują, że wiele fresków ma nakładające się uszkodzenia: pęknięcia, pleśń, blaknięcie, ślady po wodzie i miejsca, gdzie warstwa farby się odkleiła. Naprawy fizyczne są drogie, nieodwracalne i technicznie wymagające, dlatego cyfrowa rekonstrukcja — odbudowa obrazu w pikselach zamiast w tynku — oferuje bezpieczniejszą pierwszą linię ochrony. Jednak cechy, które czynią te freski wyjątkowymi, utrudniają ich przetwarzanie komputerowe.

Dlaczego zwykłe AI zawodzi

Nowoczesne programy naprawy obrazów oparte na głębokim uczeniu zazwyczaj polegają na ogromnych zbiorach par „przed i po” do treningu. Dla fresków Jiangnan takie dane po prostu nie istnieją: dzieła są rozproszone, malowali je różni ludowi artyści, a ich pierwotny, nienaruszony wygląd nie jest znany. Jednocześnie samo uszkodzenie myli standardowe algorytmy. Ciemne pęknięcia i plamy pleśni mogą wyglądać bardzo podobnie do delikatnych linii tuszem, więc model, który bezkrytycznie podąża za widocznymi krawędziami, ma tendencję do kopiowania uszkodzeń zamiast ich usuwania. W rezultacie gotowe narzędzia do rekonstrukcji albo pozostawiają niedoskonałości, albo wymyślają detale niezgodne z tradycyjnym stylem fresków.

Nauka stylu z pokrewnych dzieł

Aby wydostać się z tego impasu, autorzy proponują przepływ pracy nazwany Strukturalnie Sterowaną Rekonstrukcją Proxy (Structurally Guided Proxy Restoration, SGPR). Pierwszy krok polega na rozdzieleniu „nauki stylu” od „naprawy fresku”. Zamiast trenować bezpośrednio na rzadkich zdjęciach fresków, zgromadzili duży zestaw zastępczy — ponad sześć tysięcy klasycznych obrazów chińskich z muzeów. Te obrazy dzielą ten sam język artystyczny co malowidła Jiangnan: sposób płynięcia linii, warstwowanie tuszu, kompozycję scen. Mocny generator obrazów, oparty na współczesnej technologii dyfuzji, został następnie dostrojony na tym zbiorze proxy. Specjalna funkcja straty zachęca model nie tylko do naśladowania tekstur, lecz do uchwycenia szerszych cech artystycznych, takich jak rytm pociągnięć pędzla czy równowaga kolorystyczna. Efekt, nazwany ArtBooth, to generator „mówiący” tradycyjnym językiem malarstwa chińskiego, choć nigdy nie widział rzeczywistych uszkodzonych fresków.

Wyszukiwanie czystych linii w zanieczyszczonych obrazach

Drugi kluczowy krok polega na wydobyciu pierwotnej struktury fresków z chaotycznych fotografii. Autorzy wprowadzają tu algorytm Selektywnej Ekstrakcji Cech, który nie wymaga uczenia. Analizuje to samo uszkodzone malowidło w dwóch skalach obrazu i uruchamia dwa proste detektory krawędzi dla każdej wersji. Cechy pojawiające się konsekwentnie w obu detektorach i obu skalach prawdopodobnie są autentycznymi liniami rysunku — na przykład konturem szaty czy pnia drzewa — podczas gdy losowe kropki i plamy to częściej pleśń lub zacieki. Poprzez scalanie tych sygnałów w „maskę kopertową”, algorytm wzmacnia wiarygodne linie i tłumi szum, produkując dwie czyste mapy prowadzące: wyraźny rysunek linii i dopracowaną mapę krawędzi, które podkreślają prawdziwą strukturę ignorując większość degradacji.

Praktyczna, sterowana cyfrowa naprawa

Ostatnia część SGPR łączy te czyste mapy strukturalne z generatoriem wyczulonym na styl przez zoptymalizowaną sieć kontrolną. Podczas rekonstrukcji, uszkodzony obraz fresku i krótki tekstowy prompt są podawane do ArtBooth, podczas gdy przefiltrowane mapy linii i krawędzi służą jako swego rodzaju rusztowanie. Zaadaptowana wersja frameworku ControlNet wstrzykuje te mapy do wewnętrznych warstw generatora, delikatnie sterując każdym krokiem odszumiania tak, aby nowe piksele podążały za pierwotnym układem i pociągnięciami pędzla, zamiast dryfować w kierunku ogólnych scen. Testy na symulowanych uszkodzeniach i rzeczywistych freskach ze wsi Songxi pokazują, że zintegrowany system usuwa plamy i pęknięcia bardziej skutecznie niż istniejące metody, utrzymuje postacie i obiekty na właściwych miejscach i tworzy obrazy, które eksperci uznali za zbliżonej jakości do starannej ręcznej rekonstrukcji cyfrowej.

Co to znaczy dla ochrony dziedzictwa

Dla laików wniosek jest prosty: ucząc się wizualnego języka pokrewnych dzieł i starannie oddzielając prawdziwe linie od uszkodzeń, AI może dziś zaoferować cyfrowe poprawki na poziomie muzealnym dla kruchych fresków, które w przeciwnym razie mogłyby zniknąć. Metoda wciąż ma trudności, gdy brakuje całych fragmentów malowidła, i nie została jeszcze rozszerzona na bogato kolorowane prace, lecz już daje konserwatorom potężne nowe narzędzie. Szerzej, badanie pokazuje, jak inteligentne wykorzystanie danych proxy i wskazówek strukturalnych może pomóc chronić różne obiekty dziedzictwa, które są zbyt rzadkie, zbyt zniszczone lub zbyt cenne, by dostarczyć ogromnych zbiorów treningowych wymaganych przez współczesne AI.

Cytowanie: Yang, C., Liu, Y. & Cai, Y. Digital restoration of ancient Jiangnan murals via proxy learning and structural guidance. npj Herit. Sci. 14, 182 (2026). https://doi.org/10.1038/s40494-026-02369-y

Słowa kluczowe: cyfrowa rekonstrukcja fresków, konserwacja dziedzictwa kulturowego, Sztuczna inteligencja do generowania obrazów, styl malarstwa chińskiego, ekstrakcja cech odporna na uszkodzenia