SAT: フロー推定を用いない映像デノイズのためのシフトアライメント・トランスフォーマ

ノイズの多い映像からより鮮明なビデオを

夜の屋内撮影や光量の限られたスマートフォンでの撮影を試したことがある人なら誰でも結果は知っています：ザラつきやチラつきが目立ち、細部がぼやけて色味が不自然になる映像。本文献は、そうした映像を補正してより鮮明で安定したシーケンスに変える新しい手法を提示します。従来のような重い動き追跡ソフトウェアに依存せずに動作するもので、Shift Alignment Transformer（シフトアライメント・トランスフォーマ、SAT）と呼ばれ、細かいディテールを保持しつつ実用的な計算効率を目指して設計されています。

なぜビデオのノイズ除去は難しいのか

単一の写真からノイズを取り除くのも既に難しい作業ですが、ビデオに対して同じことを行うのはさらに困難です。一方で各フレームはランダムな粒状ノイズや色のずれに汚染されています。他方でフレーム同士は時間的につながっており、物体が動き、カメラが揺れ、細部が現れたり消えたりします。従来のビデオデノイズ法はフレーム間の動きを推定することに頼ることが多く、しばしばオプティカルフローと呼ばれる手法を用いて各ピクセルの移動を追跡しようとします。強力ではあるものの、非常にノイズの多い映像や動きが高速かつ複雑な場合にはその推定は簡単に破綻しやすく、また大きな計算負荷を伴って処理を遅くしてしまいます。

追跡なしで位置合わせする新しい方法

すべてのピクセルを明示的に追跡しようとする代わりに、Shift Alignment Transformer（SAT）は別の道を取ります：特徴を巧みにシフトして比較することで、ネットワーク自身がフレーム間の関係を暗黙的に見つけ出せるようにします。モデルは長距離の関係性を見つけるのに優れた近代的なアーキテクチャであるトランスフォーマを基盤としています。その枠組みの中で、著者らは時空間シフトモジュール（Spatial-Temporal Shift Module）を導入し、時間と空間の両方にわたって情報を穏やかに移動させます。時間方向では、層ごとにフレーム特徴を周期的にシフトし、各層でフレームが過去や未来をより広く“参照”できるようにします。空間方向では、特徴を多くの小さなグループに分割し、それぞれを異なる方向にわずかにずらします。この組み合わせは物体の移動を効果的に模倣し、明示的な動き場を計算することなく異なるフレームからの情報を整合させることを可能にします。

新しい構成要素の動作原理

これらのシフトを最大限に活用するために、著者らはフレーム内外の情報を混合する特別な注意ブロックを設計しています。まず、隣接フレームからシフトされた特徴を集め、クロスアテンション操作を通じて比較します：モデルは各位置に対して他のフレームのどの領域が現在のフレームを最もよく補強するかを学習します。同時に、別個のアテンション操作が各単一フレーム内の関係に焦点を当て、局所的な構造やテクスチャを強化します。これら二つの流れはマージされ、粗から細へと解像度を変えつつ処理するマルチスケールのU字型ネットワーク内の単純な処理層を通過します。この配置により、大きなカメラ動作から薄いエッジや小さなパターンのような微細なディテールまで扱い、各フレームのクリーンな復元を段階的に行えます。

実際の性能

研究者らはこの手法を二つの難度の高いベンチマークで評価しています。第一は、クリーンな映像に人工的に異なるレベルのランダムノイズを加えたもので、復元フレームが原映像にどれだけ近いかを精密に測定できます。ここでは、新手法は従来の畳み込みや再帰型ネットワークの品質に一貫して匹敵または上回り、計算量を抑えながら既存のトランスフォーマベースの最良手法にも迫る結果を示しています。第二のベンチマークは、低照度下のイメージセンサーから取得された実映像を用いるもので、ノイズは不均一で色付きかつ予測困難です。このより現実的な評価では、Shift Alignment Transformerは従来の最先端手法を決定的に上回り、よりクリーンでシャープ、時間的にも安定した映像を生成し、色のズレや残留アーティファクトが少ないことが示されました。

将来のビデオツールへの示唆

要約すると、著者らは時間と空間の賢いシフト操作と注意に基づく特徴照合を組み合わせることで、動きの明示的な追跡なしに効果的に映像をデノイズできることを示しました。Shift Alignment Transformerは、特に従来の動き推定が脆弱になりがちな実世界の低照度映像において、精度と効率の良いバランスを提供します。注意機構ベースのモデルがより効率的になるにつれて、このような手法は日常のカメラやストリーミングサービスに導入され、ユーザーにとってノイズの多い見づらい映像を手軽に滑らかで鮮明な映像に変える助けとなる可能性があります。

引用: Zhang, X., Fan, S., Zhang, H. et al. SAT: shift alignment transformer for video denoising without flow estimation. Sci Rep 16, 8207 (2026). https://doi.org/10.1038/s41598-026-38431-9

キーワード: ビデオデノイズ, トランスフォーマ, 画像ノイズ, 低照度ビデオ, コンピュータビジョン