Udoskonalony semantyczno‑szkicowy model dwukierunkowo sterowanego uzupełniania obrazów do chińskich pejzaży

Nadawanie kruchemu arcydziełu nowego cyfrowego życia

Starożytne chińskie pejzaże, cenione za mgławicowe góry i płynne pociągnięcia pędzla, są jednocześnie obiektami delikatnymi: wieki użytkowania, owady i wilgoć pozostawiają je popękane, z otworami po robakach i brakującymi fragmentami. Konserwatorzy muszą wyważyć zachowanie tego, co pozostało, z unikaniem dalszych uszkodzeń. W tym badaniu zaproponowano metodę sztucznej inteligencji (AI) zaprojektowaną specjalnie do wspomagania cyfrowej restauracji tych malowideł, wypełniając ubytki przy jednoczesnym zachowaniu oryginalnej struktury i stylu twórcy.

Dlaczego stare obrazy potrzebują nowej technologii

Tradycyjne chińskie pejzaże wpisują się w dwie szerokie tradycje: Szkołę Północną, charakteryzującą się śmiałymi, strzelistymi szczytami, oraz Szkołę Południową, znaną z miękkich washów tuszem i pustej przestrzeni. Obie opierają się na subtelnych wariacjach linii i tonów, które łatwo zostają zaburzone, gdy papier lub jedwab ulegają degradacji. Ręczne retusze są czasochłonne i nieodwracalne; jeden zły pociągnięcie może trwale zmienić arcydzieło. Wcześniejsze techniki cyfrowe albo kopiowały sąsiednie piksele, albo polegały na ogólnego przeznaczenia narzędziach do zdjęć. Potrafiły załatać dziurę na fotografii ulicy, ale często zawodziły w przypadku malowideł, generując niezgrabne skały, złamane pnie drzew czy pociągnięcia pędzla, które dla ekspertów „brzmiały nieprawidłowo”.

Jak nowa AI uczy się struktury i znaczenia

Aby przezwyciężyć te ograniczenia, autorzy zaprojektowali system restauracji, który równocześnie patrzy na obraz na trzy komplementarne sposoby. Po pierwsze, wydobywa szczegółowy „szkic” pokazujący siłę każdej linii — od wyraźnych grzbietów gór po delikatne fakturalne pociągnięcia — przy użyciu sieci detekcji krawędzi dostrojonej do zachowania subtelnych przejść tuszu. Po drugie, tworzy mapę zakodowaną kolorami, wskazującą, co reprezentuje każdy region — niebo, wodę, skałę, roślinność — wykorzystując niesuperwizowany model segmentacji semantycznej. Po trzecie, analizuje częściowo zamaskowany obraz. Te trzy strumienie są łączone i wprowadzane do Transformera, potężnej architektury AI pierwotnie rozwiniętej dla języka, która przewiduje, jak powinny wyglądać brakujące fragmenty, tak aby pasowały zarówno do podstawowej struktury, jak i do całości sceny.

Nauka imitowania pociągnięć pędzla, nie tylko kształtów

Dopasowanie kompozycji to tylko połowa wyzwania; wypełnienie musi też odpowiadać ręce artysty. Zespół dodał zatem lekki moduł wyodrębniania cech stylistycznych, który skupia się na subtelnych cechach pociągnięć i tuszu — jak kończą się pociągnięcia, jak buduje się faktura na skałach, jak wash’e zanikaną na pustym papierze. Moduł ten destyluje informacje istotne dla stylu z widocznych części obrazu i wstrzykuje je na wielu etapach rekonstrukcji brakujących obszarów, kierując wynik w stronę tego samego rytmu i tonacji co oryginał. Trenowanie odbywa się przy użyciu złożonego celu, który karze nie tylko błędy na poziomie pikseli, ale też rozbieżności w postrzeganej strukturze, statystykach tekstury i ogólnym stylu, zachęcając do rezultatów, które wydają się „właściwe” dla oka człowieka, a nie tylko dla kalkulatora.

Próba metody w praktyce

Aby ocenić podejście, badacze zebrali dużą bazę prawie 5 000 wysokiej jakości pejzaży z publicznych zbiorów muzealnych i z publicznego benchmarku, równoważąc prace Szkoły Północnej i Południowej. Cyfrowo nałożyli nieregularne maski naśladujące rzeczywiste uszkodzenia — drobne ubytki, szerokie zadrapania i skupiska otworów po robakach — i porównali swoją metodę z sześcioma wiodącymi systemami uzupełniania, w tym powszechnie używanymi sieciami konwolucyjnymi, modelami Transformer oraz nowoczesnymi modelami dyfuzyjnymi. W szerokim zakresie poziomów uszkodzeń nowy model konsekwentnie osiągał wyższe wyniki pod względem ostrości, podobieństwa strukturalnego i realizmu wizualnego. Porównania przy powiększeniu wykazały gładsze kontury gór, bardziej przekonujące gałęzie drzew i faktury tuszu, które płynnie wtapiały się w nienaruszone obszary. Recenzenci‑ludzie, w tym wyszkoleni malarze, również preferowali jego restauracje, oceniając je jako bardziej spójne zarówno pod względem struktury, jak i stylu.

Co to oznacza dla dziedzictwa kulturowego

Mówiąc wprost, badanie pokazuje, że system AI może być trenowany nie tylko do „łatania dziur” na obrazach, lecz także do poszanowania wewnętrznej logiki i osobowości tradycyjnego chińskiego pejzażu. Poprzez połączenie rysunków linii, znaczenia regionów i wskazówek stylistycznych, model rekonstruuje brakujące części, które wyglądają tak, jakby rzeczywiście mogły należeć do oryginalnego zwoju. Choć nie zastąpi konserwatorów, oferuje muzeom i badaczom potężne, nieinwazyjne narzędzie do wizualizacji możliwych restauracji, planowania zabiegów i tworzenia pełniejszych cyfrowych substytutów kruchych dzieł — pomagając tym pejzażom przetrwać i być badanym długo po tym, jak papier stanie się zbyt delikatny, by go rozwijać.

Cytowanie: Cao, S., Mu, D., Zhang, Y. et al. An improved semantic and sketch biconditional guided image inpainting model for Chinese landscape painting. npj Herit. Sci. 14, 103 (2026). https://doi.org/10.1038/s40494-026-02371-4

Słowa kluczowe: cyfrowa konserwacja, chiński pejzaż, uzupełnianie obrazów, dziedzictwo kulturowe, konserwacja dzieł sztuki