シナプス・トランジスタを用いた動き解析により実現した人間能力を超える超高速視覚認識

なぜより速いロボット視覚が重要なのか

自動運転システムや飛行ドローンがわずかに遅れて反応すると、深刻な結果を招く可能性があります。現在の最良のコンピュータビジョンアルゴリズムは標準的なテストで人間に匹敵する、あるいはそれを上回る成果を出しますが、それでもリアルタイムで各ビデオフレームを処理するには時間がかかりすぎます。本稿では、脳に着想を得た新しいビジョンハードウェアを提案し、機械が精度を損なうことなく人間よりはるかに速く動きを検出できるようにします。

通常、機械に動きを教える方法

従来の動き解析はオプティカルフローと呼ばれる手法に依存しており、画像中の各点がフレーム間でどのように移動したかを推定します。これは有効ですが計算コストが高く、フルHDの画像を処理するには高性能なグラフィックスカードでも完了までに0.5秒以上かかることがあります。高速で移動する状況、たとえば高速道路での走行では、その遅延によりシステムが危険を認識するまでに数十メートル進んでしまうことがあります。人間の視覚系がシーンの最も重要な部分に素早く注目するのとは異なり、標準的なアルゴリズムは有益な情報が少ない静的背景領域であっても忠実にすべてのピクセルを処理します。

脳の初期視覚段階から借りるトリック

生物は眼や視床での初期フィルタリング層を用いて変化が起きている場所を強調し、それ以外を抑えることでこの問題を解決します。著者らはこの考えをシリコンで模倣し、ニューロモルフィックな「時間的注目」モジュールを構築しました。標準のカメラは引き続き画像を取得しますが、輝度の変化は小型のシナプス・トランジスタのグリッドにも供給されます。これらは脳の可変結合のように振る舞う電子デバイスです。各デバイスは割り当てられた領域で短い時間窓における光の変化量を局所的に蓄積します。グリッドの中で大きな変化を検出したパッチは注目領域として点灯し、比較的静かな領域は背景として薄れていきます。

動きを記憶するスマートなトランジスタ

このシステムの中核は、原子層に近い薄い材料を積層して作られた特殊な浮遊ゲート型シナプス・トランジスタです。短い電圧パルスを加えることでデバイスの導電率を調整し、数時間にわたって保持でき、最近の視覚活動の記憶を効果的に保存します。トランジスタの応答は約100マイクロ秒で、高速ビデオに十分対応し、何千回もの更新サイクルでも劣化しません。研究チームは単一デバイスを4×4アレイにスケールし、カメラの輝度変化が電圧パルスに変換され、一部のセルが高導電「動き」状態に選択的に押し込まれ、微小なちらつきやノイズが抑制される様子を示しました。

重い計算を必要な場所だけに集中させる

アレイの出力は動きの粗い「ヒートマップ」に変換され、注目すべきコンパクトな領域を示します。画像全体に対して高コストなオプティカルフロー処理を行う代わりに、システムはこれらの強調領域のみ（その周囲を少し余白を付けて）解析します。著者らはこのアプローチがFarnebackのような古典的アルゴリズムからRAFTやGMFlowのような現代の深層学習モデルに至るまで、いくつかの一般的なオプティカルフロー手法に直接組み込めることを示しました。車両、ドローン、産業用アーム、卓球のような高速スポーツを含むテスト全般で、ニューロモルフィックなフロントエンドは動き推定とその後の処理（物体の移動先予測、動く物体の背景からの分離、ターゲット追跡など）に費やす時間を概ね4倍程度短縮しました。

精度を失わずに人間の反応を凌駕する

重要なのは、この高速化が信頼性を犠牲にしていないことです。動きが起こりやすい場所に関する追加情報を提供することで、時間的手がかりは特に雑多なシーンでの物体追跡やセグメンテーションの精度をしばしば向上させます。車載や小型ドローンのシナリオでは、従来のパイプラインと比べてタスク性能指標が2倍以上になり、総処理時間は数十ミリ秒まで短縮されました。これは典型的な人間の反応時間（約150ミリ秒）と同等かそれより短い値です。著者らは、このニューロモルフィックな動き検出フロントエンドが多くの既存ビジョンアルゴリズムやオプティカルフロー以外の物体検出器とも組み合わせられ、ロボットや車両、インタラクティブな機械に対して動的環境をより速く、より焦点を絞って理解させる手段を提供すると主張しています。

引用: Wang, S., Zhao, J., Pu, T. et al. Ultrafast visual perception beyond human capabilities enabled by motion analysis using synaptic transistors. Nat Commun 17, 1215 (2026). https://doi.org/10.1038/s41467-026-68659-y

キーワード: ニューロモルフィック視覚, オプティカルフロー, シナプス・トランジスタ, ロボット知覚, 自動運転