大面積の構造損傷を伴うアーカイブ映像の復元

古い映画を残すことが今も重要な理由

過去世紀を記録した多くの映画やニュース映画は、今ではもろいフィルムリールだけでしか残っていません。時間の経過、ほこり、繰り返しの投影、劣悪な保管状態によって、映像には引っかき傷や穴が刻まれ、顔や物体、あるいは場面の一部全体が消えています。こうした損傷をフレームごとに手作業で修復するのは非常に時間がかかり、費用も嵩みます。本稿は、大きく不規則な欠損を自動で検出・修復できる新しい人工知能手法を紹介し、動く映像という歴史資料のより迅速かつ忠実な救済を可能にすることを示します。

フィルム損傷が難しい理由

古いフィルムの欠陥は一様ではありません。粒状ノイズや全体的なブレ、色あせといった問題は画面全体に影響を及ぼし、広範なクリーンアップツールで扱えます。しかし最も深刻なのは、長い縦方向の引っかき傷や不規則な黒白の斑点のような構造的損傷です。これらは単に画質を劣化させるのではなく、画像の内容そのものを破壊します。従来のデジタル手法は手作りのルールに依存するか、各フレームを独立に処理するため、動く物体を損傷と誤認したり、大きな欠損を部分的にしか修復できなかったりします。一方で、すべてを一度に処理しようとするエンドツーエンドの「ブラックボックス」型システムは、損傷領域を見逃したり、鮮明だが非現実的な細部を捏造したりすることがあります。

時間軸を見て欠損を見分ける

新しい研究の重要な洞察は、空間だけでなく時間を利用する点にあります。本物のシーンの内容はフレーム間で滑らかに変化する一方、引っかき傷や斑点はランダムな位置に現れ、場面の動きに従いません。著者らはこの差を、隣接する3フレームを検出ネットワークに与えることでモデル化し、人が前後にフリップして異常を見つける様子を模倣しています。まずチャネル注意モジュールが3フレームの全体的な内容を比較し、時間的振る舞いが周囲と一致しない領域を浮かび上がらせます。この段階で損傷の粗い候補が得られます。次に、ソース-リファレンス注意モジュールと呼ばれる第2のモジュールが局所的な詳細にズームインし、比較的きれいな隣接フレームの情報を使って損傷領域の輪郭や形状を精緻化します。これらを組み合わせることで、構造的欠損を正確に囲うマスクが得られます。

限られた実例でシステムを教える

真に損傷したアーカイブ映像で完璧な正解ラベルが付いたデータは稀で、注釈にもコストがかかるため、研究チームは巧妙な学習戦略を採用しています。まず不規則なマスク（引っかき傷や斑点を模す）を実際のフィルムフレームに重ねて大規模な合成データセットを作成します。これにより検出器は、時間的に相関しないまばらな損傷という基本概念を学習できます。第2段階では、ラベルが完全に正確ではないものの有益な少数の実際の損傷シーケンスでモデルを微調整します。理想的な合成監督と不完全な実例による指導を組み合わせることで、モデルはクリーンなシミュレーションから得た知識を歴史的な混乱した素材へと転移させられるようになります。さらにマルチスケールの特徴融合により、小さな斑点から広い欠損領域まで対処できます。

欠損部分の再構築方法

損傷マスクが得られたら、別の修復ネットワークが欠落した内容の再構築に専念します。このネットワークは損傷フレーム、検出されたマスク、およびシーンがほぼ無傷で残っている隣接の参照フレームという3つの入力を受け取ります。次に生成対向ネットワーク（GAN）フレームワークを用いて、マスク内の領域にもっともらしい置き換えを合成します。複数の損失項により精度、視覚的リアリズム、スタイルの滑らかさが促進されます。重要な点は、損傷が各フレームのごく一部しか占めず時間的には独立しているという事実を利用し、画像全体を再学習するのではなくまばらな領域に努力を集中できることです。設計は意図的にシンプルで効率的にしてあり、検出にはわずか3フレーム、修復には1つの参照フレームという構成は、人の修復担当者が欠損を補修するときに数フレームだけを参照する様子を反映しています。

実際の性能はどの程度か

手法を検証するため、著者らは公開データセットのきれいなアーカイブクリップにシミュレートした引っかき傷や斑点を加え、自身のシステムを古典的なパッチ検出器や写真・映像向けの最新の深層学習型修復器と比較しました。検出器はオーバーラップ指標（平均IoU）でこれらのベースラインを大きく上回り、損傷ピクセルをより正確に見つけられることを示しました。再構成品質についても、ピーク信号対雑音比（PSNR）や構造類似度（SSIM）で他手法を明確に上回り、特に自前のマスクを使った場合に大きな優位が出ます。実世界のアーカイブ映像での視覚比較では、競合手法が損傷の一部を見逃したり、過度にシャープな人工的テクスチャを作ったり、大きな欠損領域で完全に失敗したりする一方で、新手法は長い引っかき傷や大きな斑点を滑らかで一貫性のある塗りつぶしで完全に除去できます。それを高精細シーケンスでフレーム当たり数分の一秒という処理速度で行える点も報告されています。

動く映像の過去にとっての意義

日常語で言えば、本研究は損傷が時間軸でどのように振る舞うかを慎重にモデル化することで、従来は傷ついたまま使えなかった古いフィルムを自動で復元できる可能性を示しています。まずどこが壊れているかを的確に特定し、隣接フレームを使ってその領域だけを再構築することで、オールインワンの手法よりもきれいな結果を、計算量を抑えて実現します。すべてのキズを完璧に検出することはまだ困難ですが、この枠組みは歴史的な映画、ニュース映画、ホームビデオの大規模で手頃なデジタル復元に向けた重要な一歩であり、視覚的記憶を次世代へ保存する助けとなります。

引用: Liu, Q., Liu, Y., Wang, L. et al. Restoration of archival film with large areas of structural damage. npj Herit. Sci. 14, 272 (2026). https://doi.org/10.1038/s40494-025-02235-3

キーワード: アーカイブフィルム復元, キズ・斑点修復, ビデオインペインティング, 文化遺産のための深層学習, デジタル保存