Restauracja materiału archiwalnego z dużymi obszarami uszkodzeń strukturalnych

Dlaczego ratowanie starych filmów nadal ma znaczenie

Wiele filmów i kronik, które utrwaliły minione stulecie, przetrwało jedynie na kruchej taśmie. Czas, kurz, wielokrotna projekcja i niewłaściwe przechowywanie wyżłobiły zadrapania i wydziobały dziury w tych obrazach, wymazywając twarze, obiekty, a nawet całe fragmenty scen. Ręczne naprawianie takich uszkodzeń klatka po klatce jest żmudne i kosztowne. Artykuł przedstawia nową metodę sztucznej inteligencji, która automatycznie wykrywa i naprawia duże, nieregularne defekty w filmach archiwalnych, obiecując szybsze i wierniejsze uratowanie ruchomego zapisu historii.

Co sprawia, że uszkodzenia filmu są tak trudne

Nie wszystkie wady na starym filmie są takie same. Niektóre problemy — jak ziarnisty szum, ogólne rozmycie czy wyblakłe kolory — dotyczą całego obrazu i można je leczyć narzędziami do ogólnego oczyszczania. Najbardziej niszczycielskie są jednak uszkodzenia strukturalne, takie jak długie pionowe rysy czy plamiste czarno-białe obszary. One nie tylko pogarszają jakość, lecz faktycznie niszczą zawartość obrazu. Tradycyjne metody cyfrowe opierają się na ręcznie opracowanych regułach lub traktują każdą klatkę niezależnie, często myląc poruszające się obiekty z uszkodzeniami lub pozostawiając duże dziury tylko częściowo naprawione. Z kolei pełne, czarnoskrzynkowe systemy end-to-end, które próbują wszystko oczyścić i uzupełnić jednym krokiem, mogą przeoczyć uszkodzone obszary albo wymyślić ostre, lecz nierealistyczne detale.

Patrząc przez czas, aby wykryć defekty

Kluczową obserwacją nowej pracy jest wykorzystanie czasu, a nie tylko przestrzeni. Rzeczywista zawartość sceny zmienia się płynnie między klatkami, podczas gdy rysy i plamy pojawiają się losowo i nie podążają za akcją. Autorzy modelują tę różnicę, podając do sieci detekcyjnej trzy sąsiednie klatki, co naśladuje sposób, w jaki obserwator przewija w przód i w tył, żeby dostrzec anomalie. Najpierw moduł uwagi kanałowej porównuje ogólną zawartość trzech klatek i wyróżnia regiony, których zachowanie w czasie nie pasuje do reszty sceny. Ten etap daje wstępne wskazanie, gdzie może występować uszkodzenie. Następnie drugi moduł, zwany modułem uwagi źródło-referencja, przybliża lokalne detale, wykorzystując informacje z relatywnie czystej sąsiedniej klatki do doprecyzowania krawędzi i kształtu obszaru uszkodzonego. Razem te kroki dają precyzyjną maskę obrysowującą defekty strukturalne.

Nauczanie systemu przy ograniczonej liczbie rzeczywistych przykładów

Ponieważ autentyczne, uszkodzone materiały archiwalne z perfekcyjnymi etykietami są rzadkie i kosztowne w anotacji, zespół stosuje sprytną strategię szkoleniową. Najpierw tworzą dużą syntetyczną bazę danych, nakładając nieregularne maski — zastępujące rysy i plamy — na prawdziwe klatki filmowe. Dzięki temu detektor uczy się podstawowego pojęcia rzadkich, niezależnych w czasie uszkodzeń. W drugim etapie model jest dopracowywany na małym zbiorze prawdziwych, uszkodzonych sekwencji, których etykiety nie są idealne, ale nadal dostarczają informacji. Łącząc idealne, syntetyczne nadzory z niedoskonałą, rzeczywistą wskazówką, system uczy się przenosić wiedzę z czystych symulacji na zabrudzone, historyczne materiały, a wieloskalowa fuzja cech pomaga mu radzić sobie zarówno z drobnymi plamkami, jak i szerokimi brakami.

Jak odtwarza się brakujące fragmenty obrazu

Gdy maska uszkodzeń jest znana, osobna sieć naprawcza koncentruje się wyłącznie na rekonstrukcji brakującej zawartości. Sieć ta przyjmuje trzy wejścia: uszkodzoną klatkę, wykrytą maskę oraz jedną sąsiednią klatkę-referencję, która wciąż zawiera nienaruszoną scenę. Następnie wykorzystuje ramy generatywno-adwersarialne do syntezowania prawdopodobnych wypełnień wewnątrz zamaskowanych dziur, kierowana wieloma terminami straty, które promują dokładność, wizualny realizm i spójność stylu. Co ważne, system wykorzystuje fakt, że uszkodzenia zajmują jedynie niewielką część każdej klatki i są niezależne w czasie, dzięki czemu może skoncentrować wysiłek na tych rzadkich obszarach zamiast próbować odtworzyć cały obraz. Projekt jest celowo prosty i wydajny: zaledwie trzy klatki do detekcji i jedna klatka referencyjna do naprawy, co przypomina sposób, w jaki konserwator zwykle sprawdza tylko kilka sąsiadów przy łataniku defektu.

Jak to działa w praktyce

Aby przetestować podejście, autorzy dodają symulowane rysy i plamy do czystych klipów archiwalnych z publicznego zbioru danych i porównują swój system z kilkoma silnymi metodami bazowymi, w tym klasycznymi detektorami łatek oraz nowoczesnymi restauratorami opartymi na głębokim uczeniu dla zdjęć i filmów. Ich detektor ponad dwukrotnie zwiększa miarę pokrycia (średni współczynnik intersection over union) w porównaniu z tymi metodami, co oznacza, że znacznie dokładniej wykrywa uszkodzone piksele. Pod względem jakości rekonstrukcji, mierzonej przez stosunek sygnału do szumu (PSNR) i podobieństwo strukturalne (SSIM), metoda również wyraźnie przewyższa inne i wykazuje szczególnie duże zyski przy użyciu własnych masek. Na rzeczywistych materiałach archiwalnych porównania wizualne pokazują, że konkurencyjne metody albo pomijają części uszkodzeń, nadmiernie wyostrzają detale tworząc nienaturalne tekstury, albo zawodzą całkowicie przy dużych brakach, podczas gdy nowy system potrafi całkowicie usunąć długie rysy i duże plamy, wypełniając je gładko i spójnie — a jednocześnie przetwarzając sekwencje w wysokiej rozdzielczości w ułamkach sekundy na klatkę.

Co to znaczy dla naszej przeszłości obrazowej

Mówiąc prościej, praca pokazuje, że dokładne modelowanie zachowania uszkodzeń w czasie pozwala automatycznie odrestaurować stare filmy, które w innym wypadku pozostałyby porysowane lub nieużyteczne. Najpierw precyzyjnie określając, gdzie taśma jest zniszczona, a potem używając sąsiednich klatek do odbudowy tylko tych obszarów, metoda dostarcza czystszych rezultatów niż podejścia „wszystko w jednym” i robi to przy mniejszym koszcie obliczeniowym. Choć perfekcyjne wykrycie każdej rysy wciąż jest poza zasięgiem, ramy te stanowią istotny krok w kierunku przystępnej, skalowalnej cyfrowej restauracji historycznych filmów, kronik i nagrań domowych, pomagając zachować wizualne wspomnienia dla przyszłych pokoleń.

Cytowanie: Liu, Q., Liu, Y., Wang, L. et al. Restoration of archival film with large areas of structural damage. npj Herit. Sci. 14, 272 (2026). https://doi.org/10.1038/s40494-025-02235-3

Słowa kluczowe: restauracja filmu archiwalnego, naprawa zadrapań i plam, video inpainting, uczenie głębokie dla dziedzictwa, cyfrowa konserwacja