DCADif: rozdzielone warunkowe adaptacyjne czasowo-dynamiczne łączenie cech w dyfuzyjnym inpaintingu tradycyjnych chińskich malowideł ściennych

Przywracanie dawnego malarstwa ściennego do życia

W całych Chinach ściany świątyń i sklepienia grot pokryte są wiekowymi freskami, które blakną, łuszczą się i pękają. Te malowidła to nie tylko piękno; to wizualne zapisy wierzeń, opowieści i codziennego życia sprzed wieków. Ręczna konserwacja bywa trudna, czasochłonna i ryzykowna dla kruchych powierzchni. W badaniu przedstawiono nową metodę sztucznej inteligencji (AI), nazwaną DCADif, która pomaga ekspertom cyfrowo „inpaintować” brakujące lub uszkodzone fragmenty malowideł, zachowując zarówno rysunek, jak i styl wierny oryginałowi.

Dlaczego stare freski są tak trudne do naprawy

Tradycyjne chińskie malowidła ścienne to znacznie więcej niż barwne obrazy na ścianie. Splatają złożone kompozycje, delikatne kreskowanie i subtelne tekstury wynikające z dawnych pigmentów i narzędzi. Gdy czas, wilgoć i zanieczyszczenia pozostawiają ubytki i plamy, konserwatorzy muszą domyślać się, co kiedyś zajmowało te miejsca. Narzędzia do cyfrowego inpaintingu próbują robić to samo, ale większość istniejących metod zaciera dwa kluczowe zadania: odtworzenie struktury oraz zachowanie unikalnego stylu artystycznego. W efekcie naprawione fragmenty mogą wyglądać strukturalnie nieprawidłowo, albo odwzorowywać kształty, lecz tracić historyczną atmosferę oryginalnego pociągnięcia pędzla i kolorystyki. Wyzwanie polega na jednoczesnym odzyskaniu „kości” i „duszy” obrazu.

Nauczanie AI rozróżniania struktury i stylu

System DCADif mierzy się z tym problemem, dzieląc go na dwa strumienie. Najpierw badacze przekształcają malowidło w prostą kreskówkę, podobną do atramentowego konturu. Ta odarta wersja uchwytuje położenie postaci, obiektów i ram bez rozpraszania kolorami czy teksturą. Potężny model wzrokowy (dostosowany z narzędzia pierwotnie trenowanego na milionach obrazów) analizuje tę liniową grafikę i kondensuje ją do zwartego opisu struktury malowidła. W osobnej ścieżce nowy enkoder „SwinStyle” bada oryginalne uszkodzone malowidło, ucząc się jego stylowego odcisku palca: sposobu mieszania kolorów, zakrzywień pociągnięć pędzla oraz sposobu spękań i blaknięcia powierzchni. Zachowując te dwa opisy — strukturę i styl — oddzielnie, DCADif może później kontrolować je niezależnie podczas rekonstrukcji.

Pozwalając obrazowi wyłonić się z szumu

W sercu DCADif leży model dyfuzyjny, rodzaj AI, który tworzy obrazy, zaczynając od losowego szumu i stopniowo go „odszumiając” do realistycznego obrazu. Proces ten przebiega przez wiele małych kroków, trochę jak obserwowanie rozmytego obrazu powoli uzyskującego ostrość. Autorzy zaprojektowali moduł Time-Adaptive Feature Fusion, który działa jak inteligentny regulator między strukturą a stylem, podczas gdy obraz się wyłania. We wczesnych, bardzo zaszumionych etapach model silniej polega na strukturze, używając rysunku liniowego do ułożenia poprawnych kształtów i konturów. W miarę jak szum ustępuje, a obraz staje się wyraźniejszy, regulator stopniowo przełącza się w stronę stylu, pozwalając na wprowadzenie bogatych kolorów, tekstur i historycznych detali bez zniekształcania podstawowego rysunku.

Testy na nowej bibliotece malowideł i fresków

Aby ocenić, czy DCADif rzeczywiście usprawnia cyfrową renowację, zespół zebrał duży nowy zbiór danych nazwany MuralVerse-S, stworzony z malowideł z regionów takich jak Dunhuang, Gansu, Hebei i Mongolia Wewnętrzna, wraz z realistycznymi maskami naśladującymi prawdziwe pęknięcia i łuszczenie farby. Porównali DCADif z dziewięcioma wiodącymi metodami inpaintingu, obejmującymi starsze sieci konwolucyjne, modele oparte na transformerach i inne podejścia dyfuzyjne. Przy różnych poziomach symulowanych uszkodzeń DCADif generował obrazy o ostrzejszej strukturze, bardziej spójnych układach globalnych i teksturach, które obserwatorzy oceniali jako bliższe oryginałom. Metoda dobrze poradziła sobie także na oddzielnej kolekcji chińskich pejzaży malarskich, skutecznie rekonstruując subtelne pociągnięcia tuszem i kontury gór, co sugeruje, że może uogólniać się poza samymi freskami.

Co to oznacza dla dziedzictwa kulturowego

Ponad liczby i wykresy, badacze poprosili 50 specjalistów od sztuki i studentów studiów magisterskich o ocenę różnych rezultatów renowacji. Uczestnicy konsekwentnie oceniają DCADif najwyżej pod względem dokładności treści, wierności stylu i ogólnej jakości. Rzeczywiste przykłady, w tym słynne dzieła takie jak „Dworskie damy w kwiatowych hełmach”, pokazały, że system potrafi uzupełnić brakujące twarze, stroje i motywy dekoracyjne w sposób płynnie wtapiający się w otaczające malowidło. Nadal jednak autorzy przyznają ograniczenia: gdy ogromne obszary są zniszczone, każda cyfrowa hipoteza niesie ryzyko nieścisłości historycznych, a metoda pozostaje obliczeniowo wymagająca. Mimo to DCADif oferuje konserwatorom nowe, nieinwazyjne narzędzie — potrafiące proponować staranne, wysokiej jakości rekonstrukcje, pozostawiając oryginalną ścianę nietkniętą i pomagając muzeom oraz badaczom lepiej badać, wizualizować i chronić niezastąpione skarby kulturowe.

Cytowanie: Peng, X., Li, C., Hu, Q. et al. DCADif: decoupled conditional adaptive time-dynamic fusion diffusion inpainting of traditional Chinese mural paintings. npj Herit. Sci. 14, 61 (2026). https://doi.org/10.1038/s40494-026-02327-8

Słowa kluczowe: cyfrowa konserwacja malowideł, inpainting obrazu, modele dyfuzyjne, chińskie dziedzictwo kulturowe, technologia konserwatorska