連続視覚のためのワンピクセル・マルチメムリスターアーキテクチャを用いたデータインシチュ演算

なぜ高速な視覚が重要か

スマートフォン、ロボット、自動運転車のカメラが世界を記録するたびに、まず画像を取り込み、それを別のチップへ送って解析します。この往復が時間とエネルギーを浪費し、とくに動画ストリームでは顕著です。本記事の基礎となった研究は、光が当たる場所のほぼその場で視覚情報を保存し処理できる新しいタイプの電子「目」を探り、人間の脳が動く光景を扱う仕組みから着想を得ています。

目と脳が動きを扱う仕組み

人間では、目が光を微小な電気パルスに変換し、それが神経を通って脳へ送られます。脳内では短期的な視覚メモリが最近見た映像を保持し、深い認識が始まる前に素早い予備的な分類を行います。この早期フィルタリングにより移動させる情報量が減り、脳は高速かつ省エネで機能できます。新しい研究はこの考えを取り入れ、人工視覚システムに局所的な視覚ワーキングメモリを持たせることを目指しています。

新しいピクセルとメモリの協働

研究者たちは、各光検出ピクセルがチップ上の多数の微小メモリ素子と結びついたハードウェアシステムを構築しました。これらの素子（メムリスター）はオン／オフだけでなく連続的な値を保持できるため、明るさの階調を格納するのに適しています。この設計では、単純なアナログ回路がピクセルの光信号を電圧に変換し、複数のメムリスターを同時に直接プログラムします。1ピクセル対多数のメムリスターという配置は、メモリ格子にシーンのコンパクトなマップを直接作り出し、網膜から多くの脳細胞へと広がる神経線維の様子を彷彿とさせます。

画像を高速にロールする

動く映像を効率的に取り込むために、チームは「ローリング露光」戦略を導入しました。フレーム全体を一度に取得して送る代わりに、システムはメムリスター配列にピクセルの1列を順に書き込み、次の列へと素早く移動していきます。特殊な単一パルス法は多くのメムリスターを並列にプログラムし、精度をわずかに犠牲にする代わりに大幅な速度向上をもたらします。単純な人間の動作シルエットや人物画像でのテストでは、チップから復元された画像は若干のノイズがあるものの主要な形状や顔が十分明瞭に保たれ、信頼できる認識が可能でした。

画像が存在する場所での思考

現在の多くのスマートビジョンハードウェアは、センシング、記憶、計算を分離しています。それに対してこのシステムは、画像を保持する同じメムリスター配列の中で一部の「思考」を直接行います。研究者らは格納された画像に注意深く選んだ電圧パターンを印加し、格子自体にニューラルネットワークの基本的な演算を実行させます。凝縮された結果だけが第二のメムリスターブロックへ送られ、そこで分類が完了します。既知の人間動作データセットでの試験では、ハードウェアは走る、ジャンプ、歩くといった動作を95.7パーセントの精度で認識し、シミュレーションに近い性能を示しました。

このアプローチが機械の眼を変える理由

センシング、短期保存、初期処理が緊密に結びついているため、この新しいアーキテクチャは別チップ間でデータを往復させる必要を大幅に削減します。著者らの推定では、画像の取得と保存にかかる遅延を約二千倍に短縮でき、標準的なメモリを用いる典型的なデジタルシステムと比べて画像処理のエネルギーを約160倍削減できる可能性があります。日常ユーザーにとって、将来的にはより小型で発熱の少ない、より応答性の高いカメラや視覚ガイド機器となり、私たちの視覚に近い形で必要な情報だけをその瞬間から取り出すことができるようになるでしょう。

引用: Sun, Y., Tong, P., Shen, J. et al. Data-In-situ Computing with One-Pixel-Multiple-Memristor Architecture for Neuromorphic Sequential Vision. Nat Commun 17, 4244 (2026). https://doi.org/10.1038/s41467-026-70860-y

キーワード: ニューロモルフィックビジョン, メムリスター, インメモリコンピューティング, 連続画像, エネルギー効率の高いAI