転移学習と深層生成モデルのハイブリッド化による歴史的遺物修復の自動画像インペインティング

なぜ古代美術の修復にAIが重要なのか

博物館や考古学者は時間との戦いに直面しています。古い壁画やフレスコ画、彩色壁は、長年の湿気、汚染、不注意な取り扱いにより崩れ、色あせ、ひび割れています。手作業での修復は遅く、費用がかかり、時には元に戻せない処置になることがあります。本研究は、歴史的美術作品の損傷した画像をデジタルに修復できる新しい人工知能システムを提示し、学芸員や研究者が失われた場面の見え方を安全に可視化し、将来世代のために保存するための手段を提供します。

亀裂、欠落した塗料、そしてデジタルの安全網

従来の修復では、保存修復士が実際に作品に手を入れ、失われた部分に新たに絵具を加えることが多いです。慎重に行われても、その変更は簡単には元に戻せず、現代的な偏りを持ち込む可能性があります。デジタル修復は別の道を行きます：損傷した壁画の高解像度写真をコンピュータアルゴリズムで処理し、欠落領域の埋め方を提案します。すべてがソフトウェア内で完結するため、提案された修復は比較・修正・破棄が容易で、物理的対象に手を触れる必要がありません。著者らは中国敦煌の壁画群に着目しています——ひび割れ、剥落、カビ、大きな欠損が生じている有名な洞窟寺院群です。彼らの目標は、元の様式、色彩、細部をできるだけ損なわずに自動で画像を修復できるシステムを構築することです。

ノイズだらけの写真から明瞭な出発点へ

システムの最初の段階は、入力写真のノイズや不適切な照明が後続処理を誤らせないようにクリーンアップすることです。本手法は適応メディアンフィルタを用いて、斑点やランダムな明るい／暗い画素を滑らかにしつつ、壁画の輪郭のような鋭いエッジは保持します。続いてコントラストを強調して、かすれた線や色あせた部分を見分けやすくします。これらの調整は埃を払うようなもので、新しい内容を創出するのではなく既存の詳細を際立たせます。著者らはこの段階の調整を慎重に行うことで、研究者が重視する繊細な筆致が過度に平滑化されて消えてしまうことを避けています。

損傷を理解するようシステムに教える

画像が整えられたら、モデルは壁画のどの部分が健全でどこが損傷しているかを判断する必要があります。これには、アテンション機構を加えた小型ながら強力なニューラルネットワーク、SqueezeNetを使用します。このネットワークは漆喰のテクスチャ、顔料のパターン、ひびや露出した素地の形状といった壁画の視覚言語を読み取ることを学びます。その出力は、精密な「切り抜き」作業に適したU-Netへ渡されます。U-Netは各ピクセルを健全な塗料、欠落領域、その他の劣化形態としてラベリングします。スキップ接続と追加のアテンションや残差ブロックにより、人物や縁取りのような大域的配置と、髪の毛の細い線や装飾のような微細な特徴の両方を追跡し、インペインティングが必要な場所を正確にマッピングします。

AI画家に隙間を埋めさせる

損傷領域がマークされたら、最終段階はそれらの領域がもともとどのように見えていたかを想像することです。ここで著者らは二つの先端的アイデアを組み合わせます：リアリスティックな画像生成が得意な生成対向ネットワーク（GAN）と、長距離の関係性を捉えることに優れたトランスフォーマーネットワークです。ハイブリッドな「トランスフォーマーベースのGAN」は、周囲の健全な塗装や壁画全体を参照して、欠落部分に対して妥当なテクスチャ、形状、色合いを推定します。それは単に近傍の画素をコピー＆ペーストするのではなく、場面に滑らかに溶け込み、模様の対称性や衣服や建築線の連続性といった全体構図を尊重する新しい内容を合成します。

デジタル修復の性能

システムの評価には、人工的に損傷を与えたバージョンと真のオリジナルを含む、敦煌壁画の専門データセットを用いています。これにより、デジタル修復後の出力が損傷前の参照にどれだけ近いかを定量的に測定できます。著者らは、HDLIP-SHARと名付けた手法が、全体の鮮明さ（PSNR）、構造的類似性（SSIM）、人間の視覚判断をよりよく反映する現代的知覚尺度（LPIPS）といった複数の品質指標で既存の有力手法を上回ると報告しています。さらにモデルは効率的に動作し、多くの競合手法より少ない計算資源と短い時間で済むため、多数の所蔵品を処理したい博物館にとって重要です。

歴史保存にとっての意義

専門外の読者にとっての要点は、このAIシステムが過信する画家ではなく、慎重で可逆的なアシスタントのように振る舞うということです。欠けた顔や模様、場面の完成形を示唆することで、原物に危険を及ぼさずに研究者に強力な可視化ツールを提供します。一方で著者らは限界も認めています：本手法は合理的に鮮明な参照資料に依存し、極度の損傷には苦戦し、歴史的な学術知見や素材解析を推測に組み込んではいません。それでも、HDLIP-SHARのようなハイブリッド手法は、単に見栄えを良くするだけでなく、検証可能で非侵襲的な形でかけがえのない文化遺産を守るためにAIを活用する重要な一歩を示しています。

引用: Swathi, B., Rao, D.B.J. Automated image inpainting for historical artifact restoration using hybridisation of transfer learning with deep generative models. Sci Rep 16, 4810 (2026). https://doi.org/10.1038/s41598-026-35056-w

キーワード: デジタル壁画修復, 画像インペインティング, 深層学習, 文化遺産, GAN トランスフォーマーモデル