ブロック法とキーポイント法を組み合わせた深層学習による画像改ざん検出のハイブリッドモデル

写真に潜む微妙な改変が重要な理由

写真はニュースや政治から医療証拠、法廷での判断に至るまで、私たちの世界認識を形作ります。しかし現代の編集ツールは画像をあまりにも説得力を持って改変できるため、訓練を受けた目でも見落とすことがあります。本稿はHDBKと呼ぶ新しい手法を紹介します。これはコピー・ムーブ改ざんと呼ばれる一般的な手口――画像の一部をコピーして同じ画像の別の場所に貼り付け、物体を隠したり複製したりする――を検出するものです。目的は、鑑識現場で実用になるように、精度と処理速度の両方を備えたツールを提供することです。

信頼の危機：デジタル写真の問題は増大している

毎年、何十億もの写真が携帯電話、ソーシャルメディア、専門的なシステムで撮影・共有されています。同時に、使いやすい編集アプリによりほとんど誰でもシーンから人物を消したり、物体を複製したり、重要な部分を微妙に変更したりできます。コピー・ムーブ改ざんでは、不審な人物が路面のきれいな部分をコピーしてスキッドマークを覆い隠したり、群衆を複製してイベントを大きく見せたりすることがあります。コピー元が同一画像内にあるため、照明や色、テクスチャが自然に一致し、目視や単純なソフトウェア検査では見つけにくくなります。

従来手法とその弱点

既存の検出法は手がかりをさまざまな方法で探します。ブロックベース手法は画像を多数の小さなパッチに分け、類似する領域を比較します。これは有効ですが、すべてのパッチ対を検査するのは遅く、コピー領域が回転・拡大されたり、その後にぼかしや圧縮が加えられたりすると苦戦します。一方、キーポイントベース手法はコーナーやテクスチャのある点のような特徴点を検出して比較するため、高速で幾何学的変化に強いです。しかし、平滑な領域や小さな改ざん部分のように特徴点が少ないケースでは失敗しがちです。深層学習はニューラルネットワークがデータから特徴を学習し、画像全体やピクセルレベルで改ざんを検出できますが、通常は鑑識用途で作成が高コストとなる大規模で厳密にラベル付けされたデータセットを必要とします。

三段階のハイブリッド戦略

著者らはHDBKを提案します。これは深層学習、ブロック解析、キーポイント照合の強みを融合し、それぞれの弱点を補うハイブリッドシステムです。第1段階では、VGG16、MobileNet、EfficientNetB0という3つの既知のニューラルネットワークを統合した三枝のモデルを用います。真正画像と改ざん画像のベンチマークで訓練されたこのアンサンブルは、画像が改ざんされている可能性を迅速に判断し、ネットワークが疑わしいと見なした領域を強調するヒートマップ（色付きオーバーレイ）を生成します。訓練時に手描きマスクに依存する代わりに、システムは画像レベルのラベルのみから学習し、内部の特徴マップを用いて改ざんが疑われる領域を局所化します。

偽造箇所を正確に突き止めるためのズームイン

ヒートマップで疑わしい領域が特定されると、HDBKは探索範囲を絞ります。疑わしい領域を含むブロックを選んで画像から切り取り、その内容がどこからコピーされたかを見つけるために賢いブロックベースの検索を実行します。すべての可能なブロックを総当たりで比較する代わりに、この手法は進化に着想を得た最適化手法である遺伝的アルゴリズムを用いて、有望なブロック位置とサイズだけを探索します。各候補の評価は、疑わしいブロックとどれだけ多くの一致する特徴点を共有するかで行われ、SIFT、SURF、FASTという3つのキーポイント検出器を組み合わせて使用します。最良の一致が見つかると、対応するキーポイントを結び付け、ソース領域と貼り付け領域の周りに厳密なポリゴンを描き、形状を形態学的フィルタで洗練して改ざん領域のきれいな二値マスクを生成します。

手法の性能

HDBKの評価にはCoMoFoDデータセットが用いられました。これは小さく平滑なコピー領域や回転・スケーリング、ぼかし、ノイズ付加、明るさ変化、強いJPEG圧縮などの難しいケースを含む、コピー・ムーブ改ざんの代表的なコレクションです。画像レベルでは、ハイブリッド深層ネットワークは改ざん画像と真正画像の分類において約99%の正解率を示し、いくつかの現代的モデルを上回りました。ピクセルレベルでは、各ピクセルを真正か改ざんかで判断する評価において、HDBKは高い総合精度とグラウンドトゥルースマスクとの高い重なりを達成しつつ、誤検知を非常に低く抑えました。強いぼかしやノイズ、圧縮といった厳しい条件下でも堅牢な性能を維持し、改ざん領域の位置と形状の両方を明らかにしました。

日常の写真信頼性にとっての意義

簡潔に言えば、この研究はデジタル画像のためのより賢い捜査手段を提供します。まず深層ネットワークで大まかに異常箇所を示し、その後最適化されたブロック探索とキーポイント照合で何がどこからコピーされたかを精密にたどることで、HDBKは法的判断や報道、医療診断に影響を与えうる隠れた編集を確実に暴き出せます。非常に小さな改ざんやテクスチャのない改ざんは依然として課題であり、コピー・ムーブ以外の改ざん種別への拡張にはさらなる研究が必要ですが、このハイブリッドアプローチは画面上で見るものに対する信頼を回復する重要な一歩となります。

引用: Mehrjardi, F.Z., Zarchi, M.S. A hybrid model for image forgery detection using deep learning with block and keypoint methods. Sci Rep 16, 11169 (2026). https://doi.org/10.1038/s41598-026-41473-8

キーワード: 画像改ざん検出, コピー・ムーブ操作, 深層学習, デジタル鑑識, 画像の真正性