NEOSTI - 一种类神经形态电光时空混合图像传感器

为什么更聪明的电子眼很重要

从自动驾驶汽车到家用机器人，机器对清晰感知世界并迅速作出反应的需求日益增加，同时又不能消耗大量能量。当前的数字相机虽然能采集清晰图像，但通常必须将海量数据传送到远端芯片或云服务器进行繁重处理，这既耗时又耗电。本文介绍了 NEOSTI，这是一种受人眼启发的小型摄像系统，能够在芯片上直接感知、压缩并理解视觉场景，为未来设备提供更快、更高效的视觉能力。

我们的眼睛如何启发新的机器视觉

人眼以惊人的效率处理庞大的视觉信息流。视网膜中有超过1.3亿个感光细胞捕捉入射光，但眼睛内部的智能处理会在将信息传到视神经之前将数据压缩一百多倍。视网膜还能自如应对强烈阳光和微弱星光，同时仅耗用几毫瓦功率。相比之下，大多数机器视觉系统依赖传统图像传感器，仅记录像素亮度并将原始图像转发给强力处理器，这消耗更多能量，也难以满足移动机器人、无人机或汽车所需的瞬时响应。

一台在“看”时就会思考的小型相机

NEOSTI（Neuromorphic Electronic Opto Spatial Temporal Imager 的缩写）借鉴了生物学的若干技巧以应对这些限制。NEOSTI 并不把感知和计算视为分离步骤，而是将两者融合。首先，一个有图案的光学掩膜置于芯片前方，充当内置的无透镜滤波器，在光到达传感器之前对场景进行一种滑动选择，从而减少后续需要处理的信息量。随后，专门化的像素以非线性方式将光转换为脉冲，类似于视网膜中杆细胞与锥细胞的响应，扩展了从极暗到极亮的有效动态范围。最后，直接内置在芯片上的紧凑神经网络分析所得模式，以识别形状、服饰项、眼位，甚至短视频片段中的人体动作。

光、脉冲与片上简单思考

在 NEOSTI 中，每个像素不仅仅测量亮度。当光照射到像素时，电压下降直到触发一个脉冲，该脉冲的宽度取决于光强，用这种替代了传统平滑电压信号的时序信号更便于数字逻辑处理。通过在每次曝光期间缓慢移动触发点，像素模仿了眼睛的自适应行为，在昏暗场景中保持灵敏，同时在强光下避免饱和。在感测区域正下方，小型处理单元通过对邻近像素的脉冲计数进行加减，对比并去除冗余背景，突出边缘和运动。随后，一个硬件流水线将这些结果通过类似神经网络层的简单步骤传递，逐步压缩数据同时保留最具信息量的特征。

对系统的测试

研究人员在多种知名的图像与视频任务上评估了 NEOSTI。尽管分辨率适中且功耗低，该芯片在手写数字、时尚物品、简单绘图和合成眼睛图像的分类上，大多数情况下均达到了90%以上的准确率。它还处理了一个包含跑步、跳跃、弯腰等动作的人体动作视频数据集，准确率约为91%。只开启光学掩膜或只启用片上电子部分的测试表明，两部分均为必要；使用完整系统比仅用任一部分的准确率提高了十几个百分点。随着图像质量下降，NEOSTI 仍保持稳定性能，这表明前端光学滤波和片上神经网络有助于系统应对噪声和低光条件。

这种新型电子眼的意义

对非专业读者来说，关键信息是 NEOSTI 展示了未来相机不仅仅是捕捉图像。通过在光到达传感器前塑造光线、将亮度转换为鲁棒的脉冲信号，并在芯片上加入简单的学习电路，NEOSTI 更像是微型眼睛与大脑的结合。它能够以远低于依赖大型外部处理器的传统方案的能耗和硬件成本识别模式与动作。尽管仍需继续提升分辨率并加入彩色成像，这一方法指向了可为日常机器提供更自然、更灵敏视觉的紧凑低功耗视觉模块。

引用: Liu, T., Huang, Z., Wang, X. et al. NEOSTI - a neuromorphic electronic-opto spatial-temporal hybrid image sensor. Nat Commun 17, 4440 (2026). https://doi.org/10.1038/s41467-026-71091-x

关键词: 类神经视觉, 图像传感器, 光学计算, 边缘人工智能, 低功耗机器人