デジタル文化遺産システムのマルチモーダルな相互作用強化：故宮博物院遺物スキャンライブラリの利用者行動分析とインターフェース再構築

画面の中に甦る故宮

北京の故宮を所蔵する故宮博物院は、所蔵品のデジタル化に多大な労力を注いできました。世界中の来訪者が、かつては拡大鏡や実地見学が必要だった精緻な細部を拡大して見ることができるようになりました。それでも、多くの人は数分でページを閉じてしまい、画像には感嘆するものの本当に何を学んだのかは分からないままです。本研究は単純だが重要な問いを投げかけます：専門家だけでなく一般の来訪者が、画像の背後にある文化を本当に感じ、理解できるようにデジタル博物館をどのように再設計すべきか？

高解像度の画像から浅い理解へ

研究者らは、デジタル遺産プロジェクトの核心にある緊張を指摘して始めます。高精細スキャンや3Dモデルは磁器の釉薬のひびや巻物の一筆一筆まで捉えます。しかし、これらを表示するオンラインシステムは多くの場合、利用者を受動的な閲覧者として扱います。操作は主に回転・ズーム・長文の技術的説明のスクロールに限られ、豊かな文化的意味は専門用語の下に埋もれてしまいます。その結果、ほとんどの来訪者は「物は見ても物語を知らない」状態に終わります。故宮のデジタル遺物ライブラリはその典型例で、技術的には印象的である一方、物語性が断片的で非専門家には扱いにくいのです。

視線を観察して心を理解する

異なる来訪者が実際にページ上で何をしているかを明らかにするため、チームは専門研究者、歴史愛好家、一般観光客の3グループを対象に目の動きを追跡する実験を行いました。参加者は自由探索から目的検索、関連遺物の比較のような複雑な操作までの課題をこなし、特殊なメガネに搭載した小型カメラが視線の着地点、滞在時間、画面上での視線の跳躍を記録しました。同時にソフトウェアはマウスのクリックやスクロールをログに取り、各セッション後には参加者が課題の認知的負荷を評価し、何が混乱を招き何が助けになったかについて詳細なインタビューを受けました。

同じ物を見る三つの視点

データは注意と行動に三つの顕著なパターンを示しました。研究者は主に材質・寸法・年代を列挙した技術的パネルに時間を費やし、メイン画像→データ→関連項目という整然とした線形の経路をたどりました。彼らは課題を迅速に完了し、認知的負荷も最も低いと報告しました。愛好家は主画像と歴史的背景や象徴性を説明するセクションを行き来し、物語を手がかりに理解を深めていました。観光客は主に3D画像や目を引く推薦に強く惹かれ、しばしばインターフェースに迷子になっていました。カテゴリラベルを誤読し、「金箔（gilded）」のような用語につまずき、誤クリックが格段に多く、過負荷を感じ次に何をすべきか分からないと報告しました。言い換えれば、同じページが専門家には有益で、愛好家には興味を引き、初心者には門を閉ざしていたのです。

聞いて応答する博物館の設計

共感の理論やメディアの「物質性」に基づき、著者らはデジタル遺産は静的な展示から感覚的で物語性に富んだ体験へ移行すべきだと主張します。彼らが提案するマルチモーダルな再設計は視覚と聴覚の融合を中心に据えます。視覚面では、重要な細部を強調するクリアで動的なガイド、龍文様や漆の質感のホットスポット表示、典型的な視線経路に基づいてセクションを再配置する仕組みを導入します。聴覚面では、各遺物に層状の音声説明を用意します：研究者向けの専門的解説、愛好家向けの物語的ナレーション、一般来訪者向けの平易な入門解説です。音声による質問応答システムで自然な問いかけに短く調整された応答を返し、微妙な音響シミュレーション—例えば青銅鈴の響きや漆仕事の擦れる音—が物の物理的存在感を呼び起こします。

クリックするだけから文化を生きる体験へ

一般読者への要点は、良いデジタル博物館は単なる高解像度の画像ギャラリーではないということです。それは、あなたが誰でどのように探索するかに適応するガイド付き訪問に近い感覚を与えるべきです。故宮のサイト上で異なるユーザータイプが実際にどのように振る舞うかを示すことで、本研究は技術そのものではなく人間の知覚に基づいてデジタル遺産システムを再設計する実践的根拠を提供します。著者らはまだその完全なビジョンを実装してはいませんが、実際の行動データを用いてより直感的な視覚、豊かな音声、層状の物語を導く明確なロードマップを提示しています。実現すれば、このアプローチは短時間の浅い閲覧を、古代の物品を鑑賞するだけでなく、それらが体現する生活、技術、価値観とつながる没入的な旅へと変える可能性があります。

引用: Ke, L., Qin, H., Long, J. et al. Multimodal interaction enhancement of digital cultural heritage system: user behavior analysis and interface reconstruction of the heritage scanning library of the palace museum. Sci Rep 16, 10654 (2026). https://doi.org/10.1038/s41598-026-44955-x

キーワード: デジタル文化遺産, 故宮博物院, 博物館インターフェース設計, マルチモーダル相互作用, ユーザー体験