Набор данных по сверхразрешению видео китайской традиционной оперы на основе «Real-world+» слияния деградаций

Возвращая старым оперным фильмам прежнюю жизнь

Многие записи китайской традиционной оперы сохранились лишь в хрупком, низкокачественном виде. Время, пыль и многократные копии размыли лица, потускнили костюмы и наполнили сцены визуальным шумом. В этой работе предлагается новый способ цифровой «очистки» и повышения резкости таких видео — не путём ручного восстановления каждого фильма, а посредством создания специализированной тренировочной библиотеки для искусственного интеллекта. Цель — помочь алгоритмам научиться превращать размытые, постаревшие кадры в более чёткие и насыщенные изображения, сохраняя важную часть культурной памяти человечества.

Почему старые оперные видео выглядят так плохо

Китайская традиционная опера, включая такие знаменитые стили, как пекинская опера и куньцю, признана ЮНЕСКО частью общего культурного наследия человечества. Тем не менее многие сохранившиеся видеозаписи этих постановок прошли долгий и тяжёлый путь. Сначала исходное съёмочное оборудование добавляло размытие и шум от камеры. Затем хранение на плёнке, ленте или дисках приводило к царапинам, деформациям и потере данных. В конце концов многократное копирование, сжатие для интернета и нестабильная передача по сети вносили блочные артефакты, мерцание и пропуски кадров. В результате получался не просто банальный эффект размытия, а запутанная смесь разных типов повреждений, из-за чего методам восстановления крайне трудно угадать, как выглядела оригинальная сцена.

Создание пар размытых и четких кадров

Современные методы видео «сверхразрешения» обучают компьютеры предсказывать резкий, детализированный кадр по низкокачественному. Чтобы освоить это, нужны многочисленные примеры, где размытый кадр точно соответствует той же сцене в высоком качестве. Существующие наборы данных обычно полагаются либо на упрощённые искусственные повреждения, либо на реальные ролики, в которых низко- и высококачественные версии не идеально выровнены. Авторы создали новый ресурс CTOVSR, начав с четырёх традиционных оперных фильмов, которые были профессионально восстановлены с оригинальных плёнок и доведены до очень высокого разрешения. Затем они нашли совпадающие версии тех же постановок в стандарте низкого разрешения, выпущенные онлайн. Эти копии низкого качества прошли полный путь естественного старения, что делает их идеальными «до»-изображениями.

Тщательное выравнивание каждого кадра

Сопоставление восстановленных и постаревших видео оказалось далеко не тривиальной задачей. Различия в частоте кадров, пропущенные сцены, добавленные водяные знаки, чёрные поля и меняющиеся соотношения сторон означали, что простые автоматические методы не справлялись. Команда извлекла пригодные фрагменты и провела тщательное трёхэтапное выравнивание. Сначала они использовали собственный инструмент eye_comparer для ручной корректировки временных проблем — потери кадров, неправильного порядка и «призрачных» кадров на стыках сцен. Затем устраняли пространственные несоответствия, накладывая кадры в графическом редакторе, точно выравнивая содержимое и обрезая поля, логотипы и субтитры при максимальном сохранении сцены. Наконец, был выполнен автоматический контроль с помощью меры сходства, после чего в набор вошли только пары кадров, почти идентичные по структуре. В результате получилось 250 высококачественных пар реальных последовательностей, покрывающих сотни тысяч кадров.

Смешение реальных повреждений и моделируемого износа

Хотя эти тщательно выровненные пары отражали реальные следы старения, их всё ещё было недостаточно, чтобы охватить всё многообразие способов, которыми видео может разрушаться. Чтобы расширить тренировочный материал, авторы добавили второй компонент: синтетические повреждения, применённые к 41 дополнительному видео в высоком разрешении. Они смоделировали пространственные повреждения — такие как размытие и шум — через двухэтапную цепочку деградаций, а временные дефекты — посредством сжатия видео с использованием широко применявшегося старого стандарта, отражающего то, как многие интернет-клипы кодировались в прошлом. Слив эту синтетическую часть с парами «Real-world+», они собрали набор CTOVSR, содержащий 900 строго выровненных пар низко- и высококачественных видео, каждая продолжительностью 100 кадров и демонстрирующая широкий спектр опер, сцен и условий освещения.

Доказательство ценности нового набора

Чтобы проверить, действительно ли CTOVSR помогает алгоритмам восстанавливать старые видео, авторы обучили несколько современных моделей сверхразрешения, используя исключительно этот набор. Они сравнили результаты с простыми методами масштабирования и обнаружили, что обученные модели дают значительно более чёткие изображения: более резкие детали костюмов, лучше различимую театральную гримировку и меньше видимых артефактов. Абляционный анализ показал, что сочетание реальных и синтетических повреждений значительно лучше, чем использование каждого типа по отдельности. Исследователи также опробовали свои модели на совершенно новом материале: постаревших оперных клипах из интернета и даже видеозаписях выступлений других культур, таких как итальянская опера и индийский классический танец. Человеческие наблюдатели оценили улучшенные кадры заметно выше по сравнению с оригиналами или простыми увеличенными версиями, что указывает на способность моделей, обученных на CTOVSR, обобщать результаты за пределы конкретных материалов набора.

Сохранение наследия с помощью более умных данных

Проще говоря, эта работа не предлагает ещё один алгоритм восстановления; она поставляет тщательно подготовленные «учебные материалы», необходимые этим алгоритмам для обучения. Тщательно сопоставляя повреждённые и высококачественные версии кадров традиционной оперы и дополняя их реалистично смоделированным износом, набор CTOVSR даёт искусственному интеллекту лучшее понимание того, как стареют видео и как они должны выглядеть после восстановления. Такой подход открывает практический путь не только для возвращения визуального блеска китайской традиционной оперы, но и для защиты многих других форм уникальных исторических видео от исчезновения в цифровой бездне.

Цитирование: Xi, W., Qin, B., Zhang, Y. et al. A Chinese Traditional Opera Video Super-Resolution Dataset Based on the “Real-world+” Degradation Fusion. Sci Data 13, 387 (2026). https://doi.org/10.1038/s41597-026-06776-5

Ключевые слова: видео сверхразрешение, сохранение цифрового наследия, китайская традиционная опера, восстановление изображений, наборы данных с деградированными видео