注意誘導型特徴マッチングと堅牢な疎再構築を備えた壁画デジタル化のためのSfMシステム

古い壁画を救うには新たなデジタル手法が必要な理由

中国北西部の砂漠地帯にある莫高窟の彩色壁は、徐々に色あせ、亀裂が入り、剥落しています。保存担当者は、原画が劣化した後でも研究者や一般が閲覧できるよう、これらの壁画の詳細なデジタル複製を求めています。しかし、数千枚に及ぶ接写写真を、湾曲し損傷した壁のひとつの平坦で歪みのない像にまとめるのは意外に難しい作業です。本稿は、洞窟壁画に特化して設計された新しいコンピュータビジョンシステムを紹介し、デジタル再構築をより鮮明で信頼性の高い、大規模に実用的なものにします。

断片的な写真群からシームレスな一枚の壁へ

壁画をデジタル化するのは一枚撮れば済む話ではありません。高解像度カメラは、壁面を横切るレール系の装置から多数の重複する撮影を行い、局所的な視点の密なグリッドを生成します。従来のソフトウェアはこれらの画像を2Dで“ステッチ”し、パノラマのようにワーピングやブレンドを行うことが多いです。壁が平坦で照明が均一ならそれでうまくいきますが、洞窟の壁画は曲がり、膨らみ、隅で暗くなり、無地の領域や非常に反復的な模様を含みます。そのような条件では、ステッチ処理が目に見える継ぎ目や人物のずれ、形状の歪みを生むことがあります。著者らは代わりに Structure-from-Motion（SfM）と呼ばれる3D戦略を採用します：各撮影時のカメラ位置を推定し、壁面を空間内で再構築してから、それを精密な正面像へ投影するのです。

コンピュータに適切な“手がかり”を見分けさせる

SfMの核心は、写真間で小さな視覚的手がかり—「特徴点」—を対応づけることにあります。壁画ではこれが非常に厄介です：ほぼ同一の連続した人物像、色素の退色、大きな無地領域がアルゴリズムを惑わせ、誤った点を結びつけたり、そもそも対応がほとんど得られなかったりします。新しいシステムは、現代の深層学習手法に触発された「注意誘導」マッチング法でこれに対処します。各特徴点を単独で判断するのではなく、特徴のパターンをまとめて見て、重複する視点間でどれが整合しやすいかを学習します。さらに、どこに重複が起きるべきかの空間的な見当も組み込みます：共有領域の外側に大きく離れた特徴点は、見た目が似ていても穏やかに重みを下げ、一方で重複がありそうなゾーンの特徴点は優先されます。視覚的文脈と空間的な認識を組み合わせることで、誤対応を大幅に減らしつつ、数千枚の高解像度画像でも計算負荷を管理可能に保ちます。

3Dで壁を再構築する——境界を一辺ずつ伸ばしていく

より良い対応が得られても、SfMは誤ったカメラ設定を推定したり、一度に多くの視点を調整しすぎたりすると頓挫することがあります。壁画は特に厄介で、撮影後にカメラのメタデータが欠落したり信頼できなかったりすることが多く、場面がほぼ平面であるため再構築された壁が仮想モデルで内側や外側に「弓なり」に歪むことがあります。著者らは壁画特有の2つの修正を導入します。まず、カメラの焦点距離をファイルタグからではなく、候補値を試行して整合した幾何が得られる値を選ぶことで再推定し、同じ撮影設定で得られた視点間で平均値を共有します。次に、全体を一度に微調整する代わりに「エッジベースのバンドル調整」を採用します：再構築の成長する境界にあるカメラと3D点だけを微調整し、内部の十分に拘束された視点はそのままにしておきます。この集中的な最適化はドリフトを減らし、仮想壁の平坦性を保ち、処理時間を短縮します。

実際の洞窟での試験運用

研究者らは、莫高窟の9つの洞窟から得た約1,800枚の画像と、カメラが壁を横切る様子を模擬した大規模公開データセット MuralDH を用いてシステムを評価しました。COLMAP、VisualSFM、OpenMVG、MVE といった広く使われるオープンソースツールと直接比較したところ、新しいパイプラインはより多くの壁画セットを正常に再構築し、幾何誤差が小さく、処理も高速でした。競合システムがまったく再構築できなかった洞窟のいくつかでも、新手法はきれいな点群と安定したカメラ軌跡を生み出しました。得られた疎な3Dモデルを市販のソフトウェアで密再構築にかけると、保存担当者が実用できる明瞭でほぼ歪みのない正面像が得られ、従来の自動ワークフローでは安定して提供できなかった成果が得られました。

過去へのより鮮明なデジタルの窓

非専門家にとっての結論は明快です：この研究は、脆弱な壁画の忠実で高解像度なデジタル複製を大規模に作成する現実性を高めます。反復するモチーフ、微妙な浮き彫り、欠落するカメラデータといった洞窟壁画の特徴にコンピュータビジョンを合わせることで、著者らのSfMシステムは膨大で散逸した写真アーカイブを幾何学的に正しいシームレスな壁画像へと変換します。こうしたデジタル再構築は、保存計画、学術研究、公開展示を支え、元の顔料がゆっくりと不可避に薄れていく中でも古い壁に描かれた視覚的物語を守る助けになります。

引用: Fang, K., Min, Z. & Diao, C. An SfM system for mural digitization with attention-guided feature matching and robust sparse reconstruction. npj Herit. Sci. 14, 166 (2026). https://doi.org/10.1038/s40494-026-02385-y

キーワード: 壁画のデジタル化, 文化遺産, 3D再構築, コンピュータビジョン, 敦煌莫高窟