NEOSTI - ニューロモルフィック電子光学空間・時間ハイブリッド画像センサー

なぜより賢い電子の目が重要か

自動運転車から家庭用ロボットまで、機械はますます世界をはっきりと認識し、素早く反応する必要がありますが、大量の電力を消費しては困ります。現在のデジタルカメラは鮮明な画像を収集しますが、その後大量のデータを遠隔チップやクラウドサーバーに送って重い処理を行う必要があり、時間とエネルギーを消費します。本稿では、ヒトの眼に触発された小型カメラシステムNEOSTIを紹介します。NEOSTIはチップ上で視覚シーンを感知・圧縮・理解することができ、将来の機器に対してより高速で効率的な視覚を約束します。

眼が新しい機械視覚に与える示唆

人間の眼は膨大な視覚情報の流れを驚くほど効率的に処理します。網膜には1億3千万人以上の光受容細胞が光を捕らえますが、網膜自身の賢い処理により、そのデータは視神経に送られる前に100倍以上圧縮されます。網膜はまた、明るい日光から暗い星明かりまでを少ないミリワットの消費で扱えます。対照的に、多くの機械視覚システムは素朴に画素輝度を記録し、生の画像を強力なプロセッサへ転送する従来型のイメージセンサーに依存しており、はるかに多くのエネルギーを消費し、ロボットやドローン、車両が必要とする一瞬の応答時間に対応するのが難しいのです。

見ると同時に考える小型カメラ

NEOSTI（Neuromorphic Electronic Opto Spatial Temporal Imagerの略）は、生物学からいくつかのトリックを取り入れてこれらの限界に対処します。センシングと計算を別個のステップとして扱う代わりに、NEOSTIはそれらを融合させます。まず、チップの前に配されたパターン化された光学マスクが組み込みのレンズレスフィルターのように機能し、光がセンサーに到達する前にシーン上でスライド選択のような処理を行います。これにより後段で扱う情報量が削減されます。次に、特殊な画素が光を非線形にパルスへ変換し、眼の杆体や錐体の応答に似た動作で有効範囲を非常に暗い条件から非常に明るい条件まで広げます。最後に、チップ上に直接組み込まれた小型ニューラルネットワークが得られたパターンを解析し、形状、衣服の種類、眼の位置、短いビデオクリップ中の人の動作などを認識します。

光、パルス、そして単純なチップ内の思考

NEOSTIの内部では、各画素は明るさを計測する以上の役割を担います。光が画素に当たると電圧が低下し、光強度に応じた幅のパルスを発生させます。これにより従来の滑らかな電圧信号が処理しやすいタイミング信号に置き換わります。露光中にトリガー点をゆっくりシフトすることで、画素は眼の順応的な挙動を模倣し、暗いシーンでは感度を保ちつつ明るい場面では飽和を避けます。検出領域の直下にある小さな処理素子は隣接画素のパルス数を加減算して比較し、冗長な背景を除去してエッジや動きを際立たせます。ハードウェアパイプラインはこれらの結果をニューラルネットワークの層を想起させる単純なステップで順次処理し、最も有益な特徴を保持しながらデータ量を段階的に削減します。

システムの実証

研究者らは、いくつかのよく知られた画像および動画タスクでNEOSTIを評価しました。控えめな解像度と低消費電力にもかかわらず、チップは手書き数字、ファッション品、単純な図、合成眼画像を多くの場合90％以上の精度で正しく分類しました。また、走る、跳ぶ、かがむといった動作を行う人々のビデオデータセットにも対応し、約91％の精度を達成しました。光学マスクのみを有効にした場合やチップ上の電子回路のみを有効にした場合のテストでは、両者が共に必要であることが示され、システム全体を使用することでいずれか単独よりも10ポイント以上精度が向上しました。NEOSTIは画像品質が劣化しても安定した性能を維持し、フロントエンドの光学フィルタリングとチップ上のニューラルネットワークがノイズや低照度に対処するのに寄与していることが示唆されます。

この新しい電子の目が意味すること

非専門家向けに言えば、NEOSTIは将来のカメラが単に画像を撮る以上のことをできるようになる道を示しています。光をセンサーに届く前に形作り、明るさを堅牢なパルス信号に変換し、単純な学習回路をチップ上に組み込むことで、NEOSTIは小型の眼と脳を組み合わせたように振る舞います。従来の大規模な外部プロセッサに依存するセットアップと比べて、はるかに少ないエネルギーとハードウェアでパターンや動作を認識できます。解像度の拡大やカラー対応などさらなる作業は必要ですが、このアプローチは日常の機械により自然で応答性の高い視覚をもたらす、コンパクトで低消費電力のビジョンモジュールへ向かう道を示唆しています。

引用: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

キーワード: ニューロモルフィックビジョン, イメージセンサー, 光学コンピューティング, エッジAI, 低消費電力ロボティクス