文化財の劣化セグメンテーションに向けた着色3D三角メッシュの自動アノテーション手法

古い宝物にデジタルの目を向ける意義

博物館や史跡では彫刻、壁画、彫り壁が徐々にひび割れ、はがれ、色あせています。保存修復担当者はどこが損傷しているかを正確に把握する必要があり、それによって修復の対象や緊急度を決めますが、詳細な3D記録上で損傷箇所を丁寧にトレースするのは数週間を要することがあります。本論文は、色彩豊かな3Dモデル上で劣化を自動的にマークする手法を紹介し、専門家にしかできなかった面倒な作業を迅速かつ精度の高いデジタルプロセスに変えます。

もろい像から詳細な3Dツインへ

現在、多くの重要な遺物は写真から構築された高忠実度のカラー3Dモデルとして記録されています。これらのモデルは形状と表面の塗装を非接触で捉え、敦煌の洞窟から大英博物館まで多くの機関で活用されています。しかしそのデジタルの豊かさは十分には活かされていません：モデルは主に閲覧や保存に使われ、詳細な分析には使われていないのです。保存修復の現場での重要な課題は、複雑な曲面上で塗装がはがれている箇所や材料がひび割れている箇所を正確に特定・計測することです。3Dモデル上でこれを手作業で行うのは遅く骨の折れる作業になり、平面写真だけでやると損傷が実際に対象のどの位置にあるかという重要な情報が失われます。

平面画像と3D形状をつなぐ

著者らは、2Dと3Dが相互に補完し合うようにするシステムを提案します。まず保存担当者はカスタムプラットフォームにカラー3Dモデルを読み込み、像の腕や台座など関心のある領域を大まかにボックス選択します。ソフトウェアはその表面部分を数学的に「展開」し、連続した平坦なテクスチャ画像として敷き出します—最小限の歪みで剥がして広げたデジタルの皮膚のようなものです。この平坦なマップ上の各ピクセルは、それが由来する3D表面上のごく小さな三角形を正確に知っており、その逆も同様です。この双方向の対応により、平面上で描かれた（あるいは検出された）マークは曲面の3Dオブジェクト上に忠実に投影できます。

剥がれた塗装をコンピュータに識別させる

表面が明瞭で連続した画像に平坦化されると、システムは塗装の剥離など損傷領域の検出に集中します。単純な色しきい値に頼る代わりに、著者らは改良版のSLICと呼ばれる手法を用いて画像を多数の均一な「スーパーピクセル」に分割します。スーパーピクセルの数や形状は、テクスチャコントラストの指標を用いて視覚的複雑性に基づき自動で決定されます。次にクラスタリング工程でスーパーピクセルを「損傷」領域と「健全」領域に分類します。この手法は剥がれた塗装の不規則な境界により密着し、他の一般的なセグメンテーション技術に比べてノイズを減らします。その結果、2Dテクスチャマップ上にピクセル単位で精密な損傷マスクが得られます。

損傷情報を3D遺物へ戻す

先の2D–3D対応を利用して、ソフトウェアは損傷と判定した各ピクセルを3Dメッシュ上の正確な位置へたどります。単純な幾何学的変換により2D座標を物体の曲率に沿った完全な3D座標へ変換します。これらの点を組み合わせて、元の3Dモデルに沿って貼り付くきれいな着色された劣化の“シェル”が作られます。中国の宋代の木製観音像の例では、著者らの自動マスクが専門的なモデリングソフトでの手作業の結果と、鋭く曲がった部分や細部の多い領域でも高い一致を示すことを示しています。さらに彼らはこれらの2Dおよび3Dの損傷パターンをデジタルにコピーし変換することで、多数の現実的な学習例を生成し、将来の深層学習システム向けの訓練データを豊富にしています。

過去を保存することの意味

本研究は、平面画像と3D幾何の慎重な連携が遺物の生デジタル複製を実用的な保存ツールへと変えうることを示しています。彼らのプラットフォームは手作業によるラベリングの労力と主観性を削減し、一貫して高精度な損傷地図を生成し、大規模なコレクションを扱うためのバッチ処理を支援します。簡単に言えば、複雑な物体の劣化を示す信頼できる半自動の“蛍光ペン”を保存担当者に提供し、現代のAI手法が必要とする豊富で適切に注釈された3Dデータを生み出します。良質なテクスチャと歪みを避けるための賢い展開に依存する点は残るものの、本手法は世界の文化遺産に対するスケーラブルでデータ駆動型の保全への強力な一歩を提供します。

引用: Hu, C., Xie, Y., Xia, G. et al. An automatic annotation method for colored 3D triangular meshes oriented to cultural relic deterioration segmentation. npj Herit. Sci. 14, 150 (2026). https://doi.org/10.1038/s40494-026-02421-x

キーワード: 文化遺産保存, 3Dデジタル化, 自動損傷検出, テクスチャマッピング, 深層学習用データセット