AFMNet：マルチヘッド注意機構による活性化なしの壁画補完ネットワーク

色あせた壁画を保存することが重要な理由

寺院や洞窟の古い壁画は単なる装飾ではなく、かつて人々がどのように暮らし、祈り、服を着て世界を想像していたかを示す視覚的記録です。不幸にして、これらの壁画の多くは亀裂や剥落、部分的な喪失を抱えています。手作業での修復は遅く、危険を伴い、時には不可能です。本研究はAFMNetを紹介します。これは損傷した壁画画像の欠損部分を視覚的に説得力のある形でデジタルに「補完」し、控えめなハードウェアでも効率的に動作し、壊れやすい文化財を研究や仮想展示のために保護する手助けをする新しい手法です。

壊れた絵の問題点

従来のデジタル修復ツールは通常、欠損領域に近傍の色や質感をコピーする手法を取りますが、これは小さなキズには有効でも、顔や手、装飾模様がまるごと失われた場合には破綻します。最新の人工知能手法は大きな欠損に対してもっともらしい内容を想像できますが、多くは日常写真向けに設計されており、古代芸術の独特な様式には最適ではありません。壁画はしばしば一意の人物像、複雑な縁飾り、不規則な亀裂を含み、整然とした形状に従いません。既存のシステムは重要なディテールをぼかしたり、不自然な形状を導入したり、博物館や保存研究所では実用的でない高い計算資源を必要としたりします。

壁画のために作られた軽量ネットワーク

AFMNetはU字型のコンパクトな画像処理ネットワークで、損傷画像を特徴に分解するエンコーダと、それを完全な画像に再構築するデコーダを備えています。特徴的なのは二重ストリーム設計です：一つのストリームは壁画の可視部分に関する情報を運び、もう一つはどのピクセルが欠損または信頼できないかを示すマップを運びます。このマップは各段階で更新されるため、システムは常に元の画像のどこを信頼し、どこに新たな内容を創出すべきかを把握しています。健全な領域と損傷領域を明示的に分離することで、AFMNetは必要な箇所に集中して働き、無駄に無傷の部分を変えてしまうことを避けます。

全体の模様と細部を混ぜ合わせる

説得力ある修復を行うには、全体の場面と微細な筆使いの両方を理解する必要があります。AFMNetの中核ブロックはこれを三つの補完的な視点で同時に見ることで解決します。空間的ビューではピクセルの局所的な近傍を調べ、亀裂やエッジを扱います。周波数ビューでは数学的変換を用いて壁画全体にわたる広範な構造や反復するモチーフを把握します。チャネルビューでは色や質感の組み合わせの中でどれが重要な芸術的シグナルを担っているかを学び、それらを静かに強調し、重要でない情報を無視します。標準的で計算負荷の高い活性化関数に依存する代わりに、AFMNetは単純なゲート機構を用い、特徴マップのペアを乗算して非線形性を生み出すことで、モデルのサイズと計算量を削減しつつ表現力を維持します。

離れた領域同士の対話を可能にする

多くの壁画には、壁面の広い距離にわたって関連する人物像や装飾、背景が含まれます。これら離れた要素を結びつけるために、AFMNetはUの最も狭い地点に軽量なマルチヘッド注意モジュールを追加します。ここでネットワークは、画像の各部分が他のすべての有効な部分を「参照」し、どれが修復に影響を与えるべきかを決められるようにします。異なる注意ヘッドは異なる関係性に特化でき、例えば光輪の曲線を整合させたり、繰り返される縁飾りを揃えたりします。重要なのは、この注意モジュールが損傷マップも参照するため、すでに合成的に埋められ不確かさを含む領域に基づいて判断することを学ばない点です。

実用面での有効性の実証

AFMNetを厳密に評価するため、著者らはまず大規模な日常風景データで訓練し、その後、慎重に選別した敦煌の洞窟壁画セットでファインチューニングしました。実際の亀裂や剥落を模倣するランダムウォーク過程を用いて現実的な損傷マスクを作成しました。複数の損傷レベルにわたり、AFMNetは標準的な画像品質指標で既知の競合手法を一貫して上回り、強力なベースラインよりも約3分の1少ないパラメータで動作しました。合成および実際に損傷した壁画での視覚比較では、AFMNetは顔の特徴、装飾線、微妙な質感をより良く保持し、気を散らすようなアーティファクトを減らし、博物館画像で一般的な高解像度でも優れた結果を示しました。

文化遺産にとっての意義

簡潔に言えば、AFMNetは古い壁画の欠損部分をその様式や構造を尊重して推測できる、賢く効率的なデジタル修復器です。多くの既存ツールよりも複雑な亀裂や顔料の喪失を巧みに扱い、標準的なコンピュータやラップトップで現場でも使えるだけの高速性を備えています。最も激しい煤汚れや非常に精緻な質感には依然苦戦しますが、損傷作品がかつてどのように見えたかを視覚化したり、物理的修復の計画をより安全に立てたり、壊れやすい壁画を幅広い観衆に伝える魅力的なデジタル展示を作るための強力な支援を保存担当者や研究者に提供します。

引用: Hu, C., Luo, D., Xia, G. et al. AFMNet: an activation-free mural completion network via multi-head attention mechanism. npj Herit. Sci. 14, 239 (2026). https://doi.org/10.1038/s40494-026-02379-w

キーワード: デジタル壁画修復, 画像インペインティング, 文化遺産, 深層学習, 注意機構ネットワーク