Восстановление архивной киноплёнки с крупными областями структурных повреждений

Почему важно спасать старые фильмы

Многие фильмы и хроники прошлого столетия ныне сохраняются лишь на хрупких катушках плёнки. Время, пыль, многократная прокрутка и неподходящее хранение оставили на них царапины и проделали дыры, стёрев лица, предметы и целые фрагменты сцен. Ручной почин каждой рамки занимает долгое время и обходится дорого. В этой статье представлена новая методика на основе искусственного интеллекта, которая автоматически обнаруживает и восстанавливает крупные нерегулярные дефекты в архивной плёнке, обещая более быстрое и более точное возвращение подлинного движения изображения.

Почему повреждения плёнки так сложны

Не все дефекты старой плёнки одинаковы. Некоторые проблемы — шумовая зернистость, общая потеря резкости или выцветание цвета — затрагивают всю картинку и поддаются общим средствам очистки. Наиболее разрушительными являются структурные повреждения, такие как длинные вертикальные царапины или пятна чёрно‑белого запечатывания. Они уничтожают содержимое изображения, а не просто ухудшают его. Традиционные цифровые методы либо опираются на вручную разработанные правила, либо обрабатывают каждый кадр независимо, что часто приводит к путанице движущихся объектов с повреждениями или оставляет большие дыры только частично восстановленными. Между тем целостные «чёрные ящики», пытающиеся и очистить, и заполнить всё за один шаг, могут пропустить поврежлённые участки или придумать резкие, но нереалистичные детали.

Смотрим во времени, чтобы заметить дефекты

Ключевая идея новой работы — использовать время, а не только пространство. Реальное содержимое сцены меняется плавно из кадра в кадр, тогда как царапины и пятна появляются в случайных местах и не следуют за действием. Авторы моделируют это различие, подавая в детектор три соседних кадра, имитируя то, как человек листает назад и вперёд, чтобы заметить аномалию. Сначала модуль channel attention сравнивает общее содержание трёх кадров и выделяет области, поведение которых во времени не соответствует остальной сцене. Этот этап даёт грубую догадку о возможных повреждениях. Затем второй модуль, называемый source-reference attention, приближается к локальным деталям, используя информацию из относительно чистого соседнего кадра, чтобы уточнить границы и форму повреждённой области. Вместе эти шаги дают точную маску, обрисовывающую структурные дефекты.

Обучение системы при малом числе реальных примеров

Поскольку настоящих повреждённых архивных материалов с точными эталонными метками мало и их разметка дорога, команда использует хитрую стратегию обучения. Сначала создаётся большой синтетический набор, накладывая на реальные кадры нерегулярные маски, имитирующие царапины и пятна. Это позволяет детектору выучить базовую концепцию редких, временно несвязанных повреждений. На втором этапе модель дообучают на небольшом наборе реальных повреждённых последовательностей, метки которых не идеальны, но информативны. Комбинируя идеальное синтетическое наблюдение с несовершенным реальным руководством, система учится переносить знания из чистых симуляций на запутанные исторические материалы, а слияние признаков на нескольких масштабах помогает справляться как с мелкими пятнами, так и с широкими областями пропадания.

Как заполняют сломанные изображения

Как только маска повреждений известна, отдельная сеть восстановления сосредотачивается на реконструкции утраченного содержимого. Эта сеть принимает три входа: повреждённый кадр, обнаруженную маску и один соседний референсный кадр, где сцена ещё цела. Далее используется генеративно‑состязательная схема для синтеза правдоподобных замен внутри маскированных областей, управляемая множественными термами ошибки, поощряющими точность, визуальную реалистичность и согласованный стиль. Важно, что система использует тот факт, что повреждения занимают лишь малую часть кадра и независимы во времени, поэтому она может сконцентрироваться на этих редких областях вместо того, чтобы заново воспроизводить всё изображение. Дизайн намеренно прост и эффективен: всего три кадра для обнаружения и один референс для восстановления, что отзывается с практикой реставратора, который обычно смотрит лишь на несколько соседей при починке дефекта.

Насколько хорошо это работает на практике

Чтобы проверить подход, авторы добавляют симулированные царапины и пятна к чистым архивным клипам из открытого датасета и сравнивают свою систему с несколькими сильными базовыми методами, включая классические детекторы патчей и современные реставраторы на глубоком обучении для фото и видео. Их детектор более чем вдвое увеличивает показатель перекрытия (mean intersection over union) по сравнению с этими базами, то есть он гораздо точнее находит повреждённые пиксели. По качеству реконструкции, измеряемому отношением сигнал/шум в пике (PSNR) и структурным сходством (SSIM), их метод также явно превосходит другие и показывает особенно большие выигрыши при использовании собственных масок. На реальных архивных кадрах визуальные сравнения показывают, что конкуренты либо пропускают части повреждений, либо чрезмерно повышают резкость, создавая неестественные текстуры, либо совсем не справляются с большими пропусками, тогда как новая система может полностью удалить длинные царапины и крупные пятна с плавными и согласованными заполнениями — и всё это при обработке HD‑последовательностей за доли секунды на кадр.

Что это значит для нашего движущегося визуального прошлого

Проще говоря, исследование демонстрирует, что аккуратное моделирование поведения повреждений во времени делает возможным автоматическое восстановление старых фильмов, которые в противном случае остались бы иссечёнными или непригодными. Сначала точно определив, где плёнка нарушена, а затем используя соседние кадры для восстановления только этих областей, метод даёт более чистые результаты, чем универсальные подходы, и при этом требует меньше вычислительных ресурсов. Хотя идеальное обнаружение каждой царапины пока недостижимо, эта схема представляет собой значительный шаг к доступной масштабной цифровой реставрации исторических фильмов, хроник и домашних видеозаписей, помогая сохранять визуальные воспоминания для будущих поколений.

Цитирование: Liu, Q., Liu, Y., Wang, L. et al. Restoration of archival film with large areas of structural damage. npj Herit. Sci. 14, 272 (2026). https://doi.org/10.1038/s40494-025-02235-3

Ключевые слова: восстановление архивной плёнки, ремонт царапин и пятен, видеозаполнение (video inpainting), глубокое обучение для наследия, цифровое сохранение