建築遺産解釈のための忠実度重視データ拡張：マルチモーダル大規模言語モデルに向けて

なぜ老朽建築に賢いデジタル支援が必要なのか

多くの歴史的都市では、装飾の施されたアーケードや風化した建物の正面が消えつつあるか、あるいは大幅に改築されています。専門家たちはこの建築遺産を記録・保護するために急いでいますが、その作業は遅く、様式や構造、歴史に関する深い知識を要します。本研究は、画像を見てテキストを読み取れるマルチモーダル大規模言語モデルという新しいタイプの人工知能がどのように役立ち得るか、そして単に推測するだけでなく古い建物を真に理解させるためにどのような精緻な学習データが必要かを探ります。

AIが建物を見て誤認するとき

著者らはまず、広州市（中国）の歴史的な商店兼住居のアーケード写真で、複数の最先端AIシステムを検証します。これらの建物（騎楼と呼ばれる）は中国と西洋の影響が混ざり、長い連続した街並みを形成します。専門家は50枚のファサード画像と、各場面に何が写っているかを問う数千の選択式質問（バルコニーが何階にまたがっているか、装飾支持がどの種類か、窓枠の材質は何か、損傷の評価方法など）をベンチマークとして作成しました。最大手の商用システムや大規模モデルであっても、しばしば画像を読み誤り—バルコニーの階を間違えたり、重要な建築要素を混同したり、色を頼りにアルミの現代窓を「木製」と判定したりします。

人がファサードを読む方法を分解する

こうした失敗を理解するため、研究者たちは遺産解釈を人間に似た三つの技能に分けてマッピングします。第一は視覚的知覚：窓や柱、表面材など存在するものに気づくこと。第二は空間的推論：開口部や装飾がどのように並び繰り返すか、左右対称性や垂直・水平のリズムを理解すること。第三は文脈的推論：例えば剥がれた塗装が重大な劣化を示すのか軽微な摩耗なのかを決めるといった、建物の状態や歴史が示す意味を判断すること。テストは、現行のAIが特に第二と第三の技能――正確な空間配置と微妙な意味理解――で苦労していることを示しています。これは訓練時に遺産向けの注意深くラベル付けされた例をほとんど見ていないためです。

真実性を保ちながら生成画像でAIを教える

実際の写真と専門家ラベルを大量に集めるのは非常にコストがかかります。そこで研究チームは、説得力のある合成ファサード画像と対応する問答ペアを作るデータ「アンプリファイア」を構築しました。重要な考え方は、ファサードの空間的骨格（開口部や飾りの正確な配列と比率）と意味的な風合い（材料、歴史様式、風化）を別々に扱うことです。最新の画像生成エンジンを用い、実建築から描き起こしたエッジマップに従って幾何を固定する専用モジュールと、小さく整合したスタイル群で学習された軽量アダプタにより様式的細部を制御するモジュールを追加します。レイアウトとスタイルを組み合わせることで、208枚の原画像から見た目や感触を実建築にしっかり根ざしたまま1,400点以上の新しいファサード変種を生成します。

合成世界が現実に一致するかを検証する

次に著者らは、これらの人工的なファサードが実際の遺産データと同様に振る舞うかを問います。構造的類似性、学習された特徴空間における意味的近接性、人間専門家の評価を比較します。定量的スコアは、構造重視モジュールが合成建物のレイアウトを実例により良く一致させる一方、様式重視モジュールは地域固有の性格から逸脱せずに多様性を高めることを示します。専門家のレビュアーは、拡張画像を通常の生成器が作るものよりも遥かにもっともらしく様式的に忠実だと評価し、重要な点として、材料・要素・損傷についての信頼できる問答に必要な細部が保持されていると判断しました。

小規模に調整したモデルが大規模汎用モデルを上回る

拡張データセットを用いて、チームは中規模のオープンソース視覚言語モデルをファインチューニングし、中国および欧州の混合ファサードベンチマークでテストしました。内部パラメータ数は主要商用システムに比べてはるかに少ないにもかかわらず、調整済みモデルはほとんどのタスクでそれらを上回り、特に対称性の読み取り、要素の数え上げと整列、材料の識別で顕著な成果をあげました。段階的説明に関する専門家監査では、根拠のない「幻覚」から、視覚的証拠を引用し建築ルールを一貫して適用するような、建物に即した推論への移行が確認されました。残る誤りの解析は、遠近歪みのより良い表現や、目に見える劣化が介入を要するかを定める専門基準の符号化など新たな課題を示しています。

歴史的な街並みを守るための意義

専門外の読者にとっての核心的メッセージは、建築遺産を守るには単にAIの能力を高めるだけでは不十分だということです。同等に重要なのは、これらのシステムに与えるデータの忠実度と構造です。本研究は、幾何学と意味を慎重に保持する合成ファサードを生成することで、コンパクトで公開可能なモデルが専門家にとってより信頼できるパートナーになり得ることを示しています。こうしたシステムは将来的に地区全体をスキャンし、危険な改変を警告し、修復判断を大規模に支援することで、急速な変化の中でも特徴ある歴史的な街路景観を維持する助けとなるでしょう。

引用: Huang, R., Lin, HC. & Zeng, W. Fidelity-driven data augmentation for multimodal large language model on architectural heritage interpretation. npj Herit. Sci. 14, 179 (2026). https://doi.org/10.1038/s40494-026-02446-2

キーワード: 建築遺産, マルチモーダルAI, データ拡張, 歴史的ファサード, 文化保存