強化されたグラフ検索フレームワークを用いた視覚情報の識別と無形文化遺産継承者のQ&A

隠れた伝統をデジタル時代へ

中国各地で、伝統演劇、切り紙、影絵などの継承者たちは、世代を超えて受け継がれてきた技術を守っています。しかし、これら継承者に関する情報の多くはオンライン上に散在するファイルや画像としてしか存在せず、一般市民や研究者が信頼できる情報にたどり着くのは難しいことが多いです。本論文は、無形文化遺産（ICH）継承者の「視覚的名刺」を自動で読み取り、高度な言語モデルを用いて質問に答えたり、読みやすい報告を生成したりする新しいコンピュータフレームワークを提示します。

名刺画像から構造化された知識へ

多くの文化機関は現在、各継承者を紹介するために、テキスト、レイアウト、簡単な図を組み合わせたデジタル名刺を公開しています：氏名、技芸、地域、経歴などです。人間は一目で要点を把握できますが、名刺は地域ごとにデザインが異なり、欠損や損傷した文字が含まれることも多いため、コンピュータにとっては扱いが難しい問題です。著者らは中国のICH継承者名刺5,237件からなる大規模データセットを構築し、各名刺をプロジェクト番号、プロジェクト名、地域、性別、所属機関、短い説明など十種類の重要情報で丁寧にラベリングしました。まず光学文字認識（OCR）で文字を読み取り、各断片が名刺上のどこに現れるかを記録し、その後、大規模言語モデルを用いてラベルの標準化を支援し、最終的に専門家が検証しています。

レイアウトと意味を機械に教える

各名刺をきれいな構造化データに変換するために、チームは人が言葉とレイアウトの両方を使う振る舞いを模した「Graph-Retrieval」モデルを設計しました。名刺上の各テキスト断片はグラフのノードとなり、断片間の空間的関係（左、右、上、下）がエッジを形成します。RoBERTaベースの言語成分と双方向LSTMがテキストの意味を学習し、約5,000語に及ぶICH特有の用語辞書により、珍しい技芸名や地域固有の表現も正しく扱えるようにします。その上でグラフニューラルネットワークが近隣ノード間で情報を伝搬させ、各テキスト断片が何を表しているか（例：地名が地域を示すのか所属機関を示すのか）についての予測精度を高めます。

現実の混乱に強くする工夫

実際の遺産記録は完璧ではなく、名刺が擦り切れたり切り取られたり、スキャン品質が低かったりします。これに対処するために、著者らはデータ拡張から借用した三つのアイデアでグラフモデルを強化しました。ノードをランダムにマスクして文脈から欠損情報を推測できるようにし、エッジをランダムに削除してレイアウトの変化に耐えられるようにし、名刺上の要素の全体的な「読み順」を捉える位置注意機構を導入しました。これらの工夫により、モデルは多様な様式や品質の文書に対して一般化する能力を獲得します。九つの既存手法と比較した試験では、この新手法がICH名刺データセットでマクロ平均F1スコア0.928という最高値を達成し、五つの公開ドキュメントベンチマークでもリードしており、遺産領域にとどまらない広い応用可能性を示しています。

ループ型検索による賢い質問応答

文字認識は全体の半分にすぎません。本論文の二つ目の貢献は、GPT-4、Llama、ChatGLMなどの大規模言語モデルと連携するLoop-RAG（ループ型Retrieval-Augmented Generation）戦略です。従来の検索補強型システムは背景文書を一度取得してから応答を生成しますが、それでも不完全だったり誤りを含んだりします。これに対しLoop-RAGは内部ループを追加し、言語モデルが現在の応答に十分な情報を持っているかを繰り返し確認し、不足していればベクトル化されたICH知識ベースに対してさらにターゲットを絞った検索を行います。外部ループは過去の多くのやり取りを学習し、どの検索経路やプロンプト様式が有効かを見極め、無駄な検索や事実誤認を徐々に減らします。

生の記録から信頼できる文化の物語へ

この統合フレームワークにより、システムは継承者について、技芸、地域、代表作、地位などを要約した短い報告を自動生成し、人々や慣習に関する何千もの事実質問に答えることができます。BLEU、METEOR、ROUGEなどの標準的な言語品質指標で評価すると、GPT-4を用いたLoop-RAGは単独の言語モデルやより単純な検索構成よりも優れており、少数の例しか与えられない場合でも質問応答で最高の精度（F1は最大0.941）を達成しました。一般の読者にとって、これは将来の文化遺産プラットフォームが要求に応じてインタラクティブで信頼できる伝統芸能の説明を提供し、散在するデジタル記録を豊かでナビゲート可能な物語へと変え、生きた伝統を可視化し価値づける助けになることを意味します。

引用: Wang, R., Zhang, X., Liu, Q. et al. Visual information identification and Q&A of intangible cultural heritage inheritors by using enhanced Graph-Retrieval framework. npj Herit. Sci. 14, 113 (2026). https://doi.org/10.1038/s40494-026-02384-z

キーワード: 無形文化遺産, 情報抽出, グラフニューラルネットワーク, 検索補強生成（retrieval-augmented generation）, デジタル人文学