AFMNet: sieć do uzupełniania malowideł bez aktywacji wykorzystująca mechanizm wielogłowej uwagi

Dlaczego ratowanie wyblakłych malowideł ściennych ma znaczenie

Starożytne malowidła ścienne w świątyniach i jaskiniach to nie tylko ozdoba; są wizualnym zapisem tego, jak ludzie kiedyś żyli, modlili się, ubierali i wyobrażali sobie świat. Niestety wiele z tych fresków jest popękanych, łuszczy się lub częściowo zaginęło. Ręczna rekonstrukcja jest powolna, ryzykowna, a czasem niemożliwa. Niniejsze badanie przedstawia AFMNet — nową metodę komputerową, która potrafi cyfrowo „uzupełnić” uszkodzone obszary obrazów malowideł w sposób przekonujący dla oka, działa wydajnie na umiarkowanym sprzęcie i pomaga chronić kruche zabytki dla badań i prezentacji wirtualnych.

Problem z uszkodzonymi obrazami

Tradycyjne narzędzia cyfrowej naprawy zazwyczaj kopiują pobliskie kolory i tekstury do brakujących regionów, co sprawdza się przy drobnych zadrapaniach, ale zawodzi, gdy zaginą całe twarze, dłonie czy wzory dekoracyjne. Nowoczesne metody sztucznej inteligencji potrafią wygenerować prawdopodobne treści dla dużych ubytków, lecz większość z nich została opracowana z myślą o zdjęciach codziennych scen, a nie o unikalnych stylach starożytnej sztuki. Malowidła często przedstawiają jedyne w swoim rodzaju postaci, misternie zdobione bordiury i nieregularne pęknięcia, które nie układają się w porządne kształty. Istniejące systemy albo rozmywają istotne detale, wprowadzają niezgrabne formy, albo wymagają dużej mocy obliczeniowej, co jest niepraktyczne dla wielu muzeów i pracowni konserwatorskich.

Szczupła sieć zaprojektowana dla malowideł

AFMNet to kompaktowa sieć przetwarzania obrazu o kształcie litery U, z enkoderem, który rozkłada uszkodzony obraz na cechy, oraz dekoderem, który odbudowuje go do pełnego obrazu. Jej wyróżnikiem jest dwutorowa konstrukcja: jeden tor przenosi informacje o widocznych częściach malowidła, a drugi niesie mapę pikseli brakujących lub zawodnych. Mapa ta jest aktualizowana na każdym etapie, dzięki czemu system zawsze wie, którym częściom oryginalnego obrazu można ufać, a gdzie trzeba tworzyć nową treść. Dzięki wyraźnemu rozdzieleniu regionów nienaruszonych i uszkodzonych, AFMNet koncentruje wysiłki tam, gdzie są najbardziej potrzebne, i unika niepotrzebnej ingerencji w zachowane obszary.

Mieszanie ogólnych wzorców z drobnymi detalami

Aby naprawy wyglądały wiarygodnie, system musi rozumieć zarówno ogólną scenę, jak i drobne pociągnięcia pędzla. Podstawowy blok konstrukcyjny AFMNet rozwiązuje to, analizując obraz jednocześnie na trzy komplementarne sposoby. W widoku przestrzennym bada lokalne sąsiedztwa pikseli, co pomaga przy pęknięciach i krawędziach. W widoku częstotliwościowym wykorzystuje transformację matematyczną, by dostrzec szersze struktury i powtarzające się motywy na całym malowidle. W widoku kanałów uczy się, które kombinacje koloru i faktury niosą najważniejsze sygnały artystyczne, dyskretnie je wzmacniając i ignorując mniej przydatne informacje. Zamiast polegać na standardowych, kosztownych obliczeniowo funkcjach aktywacji, AFMNet stosuje prosty mechanizm bramkowania, który mnoży pary map cech, tworząc nieliniowość i zmniejszając rozmiar modelu oraz obciążenie obliczeniowe bez utraty wyrazistości.

Pozwalając odległym regionom ze sobą rozmawiać

Wielu malowidłom towarzyszą postaci, ornamenty i tła powiązane na dużych odległościach ściany. Aby połączyć te oddalone elementy, AFMNet dodaje lekki moduł wielogłowej uwagi w najwęższym punkcie litery U. Tam sieć pozwala każdej części obrazu „spojrzeć” na wszystkie inne prawidłowe części i zdecydować, które z nich powinny wpłynąć na rekonstrukcję. Różne głowy uwagi mogą specjalizować się w różnych relacjach — na przykład w zachowaniu krzywizny aureoli lub wyrównaniu powtarzanego wzoru bordiury. Co istotne, moduł uwagi również widzi mapę uszkodzeń, więc uczy się nie podejmować decyzji opartych na regionach, które zostały już syntetycznie wypełnione i mogą być nadal niepewne.

Dowód skuteczności w praktyce

Aby rzetelnie przetestować AFMNet, autorzy najpierw wytrenowali go na dużym zbiorze scen codziennych, a następnie dopracowali na starannie wyselekcjonowanym zestawie malowideł z jaskiń Dunhuangu. Stworzyli realistyczne maski uszkodzeń, używając procesu losowego spaceru, który naśladuje rzeczywiste pęknięcia i łuszczenie się farby. Na różnych poziomach uszkodzeń AFMNet konsekwentnie przewyższał znane konkurencyjne metody w standardowych miarach jakości obrazu, jednocześnie używając około jednej trzeciej mniej parametrów niż silny punkt odniesienia. Porównania wizualne na obrazach syntetycznych i rzeczywiście uszkodzonych malowidłach wykazały, że AFMNet lepiej zachowuje rysy twarzy, linie ozdobne i subtelne tekstury, z mniejszą liczbą rozpraszających artefaktów, nawet przy wyższych rozdzielczościach typowych dla dokumentacji muzealnej.

Co to oznacza dla dziedzictwa kulturowego

Mówiąc prosto: AFMNet to inteligentny, wydajny cyfrowy konserwator, który potrafi odtworzyć brakujące części starożytnych malowideł w sposób szanujący ich styl i strukturę. Radzi sobie z złożonymi pęknięciami i ubytkami pigmentu bardziej elegancko niż wiele istniejących narzędzi i może działać wystarczająco szybko na standardowych komputerach czy laptopach, by być użytecznym na miejscu. Choć nadal ma trudności z najsilniejszym osmoleniem i bardzo drobiazgowymi fakturami, stanowi potężne wsparcie dla konserwatorów i badaczy przy wizualizowaniu, jak uszkodzone dzieła mogły kiedyś wyglądać, planowaniu bezpieczniejszych interwencji fizycznych oraz tworzeniu angażujących wystaw cyfrowych, które udostępniają kruche malowidła szerszej publiczności.

Cytowanie: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

Słowa kluczowe: cyfrowa rekonstrukcja malowideł ściennych, inpainting obrazu, dziedzictwo kulturowe, uczenie głębokie, sieci uwagi