物語文脈が視覚的顕著性から意味的顕著性へと視線を変える

なぜ私たちの目は単に最も明るいものを追わないのか

絵を見ているとき、目は素早く跳んで場面のさまざまな箇所に短く止まります。視線は最もカラフルだったりコントラストが高いところに向かう、と思うかもしれません。しかし日常生活では、私たちは普通、物語を追っています—映画を見たり、コミックを読んだり、写真をスクロールしたりして、何が起きているかを理解しようとします。この研究は単純だが強力な問いを投げかけます：物語が展開するにつれて、私たちの目は派手な部分を追い続けるのか、それとも筋を理解するために重要な部分へと向かうのか？

無言の絵物語を観る

研究者たちは成人被験者に、少年とその動物の友だちを描いた短い無言の絵物語を見てもらいました。各物語は24枚の手描き画像で構成され、元の順序では明確な始まり、中盤、終わりを形成します。参加者は時に画像を正しい順序で見て、心の中で一貫した物語を組み立てられるようにしました。別のときには、まったく同じ画像がランダムな順序にシャッフルされ、視覚的内容は同一のまま筋が崩されました。全体を通して、人々には単に自由に絵を見てよいと指示され、高精度の視線追跡装置で眼球運動が記録されました。

視覚的に目立つものと意味的に重要なものの測定

各画像のどの側面が視線を引きつけたかを理解するために、研究チームは二種類のまったく異なる「重要性」を比較しました。まず、視覚的顕著性を推定しました—対象がコントラストやエッジなど純粋に画像の性質によってどれほど目立つかを、単一画像で人がどこを見やすいかを予測する高度なコンピュータビジョンモデルを用いて評価しました。次に、意味的顕著性を推定しました—対象が物語を理解するうえでどれほど重要かを示す指標です。そのために、別のボランティア群が各絵の連続を一貫した順序で短い物語として記述しました。次に大規模言語モデル（テキストで訓練された現代的なAI）がこれらの物語の文脈を踏まえて各語の驚き度（予測困難さ）を算出し、その驚き度を特定の絵の対象（たとえば突然他のカエルを噛む嫉妬深いカエル）に対応させました。

物語の順序がどこをいつ見るかをどう変えるか

これらの指標を用いて著者らは視線の二つの側面を検討しました：各対象がどのくらい頻繁に注視されたか、そして最初の注視をどれだけ早く引きつけたかです。条件全体にわたって、強く視覚的に顕著な対象は予想どおり他の部分より多く、かつ早く見られました。しかし重要な発見は、物語が一貫した順序かシャッフルされた順序かを比較したときに現れました。画像が意味のある連続を形成するとき、閲覧者は同じ画像がバラバラに示された場合よりも意味的に重要な対象—物語の重みを担う要素—を比較的多く見ていました。また、各5秒の閲覧期間内でもこれらの意味的に重要な対象をより早く見る傾向がありました。対照的に、視覚的に目立つ対象の優位性は一貫した物語では増すことはなく、むしろ理にかなった物語を構築できるときにはその早期の優位はより速く衰える傾向がありました。

注意の時間的推移

研究はまた、このバランスが連続する眼球運動の間にどのように変化するかを追跡しました。新しい画像が表示されてからの最初の数回の注視は、文脈に関係なく視覚的顕著性によって強く駆動されました：目は初めに場面の物理的に目立つ部分へと素早く向かいます。しかし閲覧が続き、特にいくつかの注視が経過すると、分岐が現れました。シャッフルされた連続では、人々は視覚的に顕著な領域を引き続き好みました。対照的に一貫した連続では、彼らの目は展開する物語を更新するのに役立つ意味的に重要な対象へとますます移っていきました。このパターンは単に最も顕著な一つの対象に限らず、場面内のすべての対象にわたって観察されました：一貫した物語では、意味的重要性がどれくらい頻繁に、そしてどれくらい早く対象が注視されるかをよりよく予測しました。

場面理解について示すこと

これらの結果は、私たちの目が明るさやコントラストの単なる奴隷ではないことを示唆します。むしろ目は私たちの好奇心と理解を助けます。一見では、私たちは場面の視覚的に最も「うるさい」部分をサンプリングしますが、ほんの一瞬のうちに「ここで何が起きているのか？」という内的な感覚が視線を物語にとって重要な部分へと導き始めます—それらは視覚的には目立たない、平凡なドアやいらだつカエルのようなものかもしれません。眼球追跡、画像ベースのモデル、言語ベースのAIを組み合わせることで、本研究は物語文脈が私たちの絵の探索の仕方を再形成することを示しています。日常生活において、これは眼球運動が私たちが見るものだけでなく、心の中で構築している見えない物語への窓を提供することを意味します。

引用: Berlot, E., Schmitt, LM., Huber-Huber, C. et al. Narrative context shifts gaze from visual to semantic salience. Commun Psychol 4, 59 (2026). https://doi.org/10.1038/s44271-026-00426-7

キーワード: 眼球運動, 視覚的注意, 物語の知覚, 意味的顕著性, 言語モデル