因果推論は多感覚統合における事後判断を形作る

後からの視覚や聴覚が直前の経験を書き換える仕組み

にぎやかな通りで友人が自分の名前を呼んでいることに気づき、しばらく前から叫んでいたことに突然気づく場面を思い出してください。心が時間をさかのぼって、ほんの少し前に聞いたり見たりしたことを書き換えるように感じられることがあります。本研究は、脳が短い時間窓内で視覚と聴覚からの情報をどう統合するかを探り、後から来る光や音が文字通り過去に見たと信じている内容を変えうることを示しています。

点滅とビープ音の奇妙なトリック

研究者たちは「錯視的視聴覚（AV）ラビット」と「不可視のAVラビット」と呼ばれる二つの興味深い錯覚に注目しました。これらの錯覚では、画面上の短い光の点滅とスピーカーからの短いビープ音が組み合わせられます。点滅がないのにビープだけがある場合や、ビープがないのに点滅だけがある場合もあります。点滅とビープが特定の順序で、かつ時間的に近接して起こると、人は存在しない余分な点滅を見たと報告したり、実際にはあった点滅を見逃したりすることが確実に起こります。重要なのは、列の最後の点滅–ビープの対が、前の瞬間の知覚を変えうることであり、知覚が単に時間通りに前進するのではなく、事後に編集され得ることを示しています。

脳が一つの解釈を選ぶときの検証

こうした錯覚の背後にあるルールを理解するために、研究チームは28の入念に設計された条件を28人の被験者に提示しました。参加者には音を無視して、見えた点滅の数と、5つの可能な位置の列のどこに現れたかを報告するよう指示されました。点滅の列は左や右に移動したり方向を変えたりし、音は点滅と完全に同期する場合もあれば約0.2秒ずれる場合もありました。この設計は単純な推測戦略を減らし、いつ脳が視覚と聴覚を結合しいつ分けて扱うかを調べることを可能にしました。研究者たちは、被験者が中央の余分な点滅（「錯視的ラビット」）をどのくらい報告するか、あるいは実際の中央の点滅をどのくらい見逃すか（「不可視ラビット」）を測定しました。

タイミングが合うと錯覚が優勢になる

結果は、錯覚実験の方が、点滅だけが現れるかより単純な視聴覚の組み合わせで構成された対照実験よりもはるかに多くの錯視的あるいは欠落した点滅が報告されたことを示しました。点滅とビープが時間的に完全に一致しているとき、参加者はおよそ4割の試行で錯覚を報告しました。しかし音が点滅より225ミリ秒先行または遅れると、錯覚の頻度は低下しました。これは脳が視覚と聴覚を同一の出来事とみなすことを許す「多感覚時間窓」が数百ミリ秒程度の制限を持つことを示唆しています。この時間窓内では後からの出来事が前の点滅の知覚を遡って変え得ますが、窓の外では脳は視覚と聴覚を無関係の流れとして扱う可能性が高くなります。

統計家のように原因を秤にかける脳

これらの発見を説明するために、著者らは脳が感覚情報をどう結合するかを示す4つの計算モデルを比較しました。主要なモデルはベイズ因果推論（BCI）モデルで、脳は統計家のように振る舞い、先行期待とノイズを含む感覚証拠を秤にかけて視覚と聴覚が単一の共通原因から来ているか別々の原因から来ているかを判断すると仮定します。共通原因の可能性が高ければ、モデルは点滅とビープを一つの出来事として統合し、より信頼できる感覚に重みを置きます。本研究では鋭く正確なビープにより大きな重みが与えられます。代替の3つのモデルは、常に視覚と聴覚を融合するもの、常に分離して扱うもの、または因果推論を用いるが意思決定の際に最後の点滅–ビープの対を無視するもの（そのため事後判断を完全には説明できない）でした。

なぜベイズの説明が最も合致するのか

BCIモデルは全条件を通じて人々の挙動と最もよく一致しました。主要なラビット条件での高い錯覚率、対照試行での低い率、点滅とビープの同期が外れたときの錯覚率の低下を正確に再現しました。重要な点として、研究者が因果計算から最後の点滅–ビープ対の影響を取り除くと、モデルは錯覚が起こる頻度を一貫して過小評価しました。これは脳が単に最初の出来事から前へ向かって知覚を構築するのではなく、全ての列を通して証拠を蓄積し、その後で最もありそうな筋書きを遡って決定していることを示しています。最後の点滅–ビープが単一の共通原因を強く支持するとき、脳は中央の欠落した点滅を“補完”したり弱い点滅を消し去ったりする傾向が高まります。

日常の知覚にとっての意味

日常生活では、私たちの感覚は重なり合う視覚や音に常にあふれています。本研究は、脳が短い間を置いて過去・現在・やや未来の出来事から情報を集め、そして一貫した解釈に落ち着くことを示唆します—その過程で正確さを犠牲にすることもあります。ベイズ的因果推論の枠組みは簡潔な説明を与えます：脳は起こったことの一つの妥当な物語を好み、それゆえ事後に詳細を付け加えたり消したりします。言い換えれば、ほんの一瞬前に見たと信じているものは、次に聞いたり見たりしたものによって静かに書き換えられることがあり得るのです。

引用: Günaydın, G., Moran, J.K., Rohe, T. et al. Causal inference shapes crossmodal postdiction in multisensory integration. Sci Rep 16, 7490 (2026). https://doi.org/10.1038/s41598-026-36884-6

キーワード: 多感覚統合, 視聴覚錯覚, 因果推論, 事後判断, ベイズ知覚