全靠视觉，无需 IMU：仅凭视觉学习飞行姿态

像昆虫一样看世界

小型飞行机器人通常依靠微小的运动传感器来维持姿态，有点像机器人的内耳。但昆虫凭借更简单的硬件即可实现灵活飞行，主要依赖视觉信息。这项研究表明，无人机也能做类似的事：仅用一种特殊相机和紧凑的人工“脑”，在没有常规运动传感器的情况下实现稳定飞行。这样的转变可能使未来掌上尺寸或昆虫级无人机更轻、成本更低且更可靠。

为什么要去掉常规传感器？

姿态控制——保持无人机相对于重力的正确倾角——通常由测量加速度和角速度的惯性测量单元来完成。这些惯性传感器性能良好，但它们增加了重量、消耗功率，并可能成为单点故障。相反，许多飞行昆虫没有专门的重力传感器，而是从世界在其眼中运动的方式中提取倾斜线索。如果机器人能模仿这种技巧，非常小的飞行器或许仅靠视觉既能观察又能平衡，从而简化设计并更容易缩小到昆虫尺寸。

只感知变化的相机

研究人员没有使用传统视频相机，而是将一台基于事件的相机朝下安装在无人机上。该传感器不是以固定频率传输完整图像，而是只报告每个像素上的微小亮度变化，而且速度极快。事件流被打包成短暂片段，每片仅覆盖五毫秒，这些片段被送入运行于机载图形芯片上的小型递归卷积神经网络。随着时间推移，网络学会将视觉变化模式转换为无人机的倾角估计和旋转速度，从而在控制回路中有效替代传统的惯性单元。

仅凭视觉教无人机保持平衡

为训练这个人工“脑”，团队先在室内场地飞行他们的四旋翼，同时仍使用常规传感套件。在这些飞行中，他们记录了来自相机的事件流以及标准控制器估计的倾角和旋转值。随后在监督下训练网络，仅从视觉数据复现这些数值。在后续测试中，角色对换：飞行时由网络的估计值闭环控制，而独立的动作捕捉或机载测量仅用于评估表现。该系统能够让无人机悬停并沿飞行员指令的路径飞行数分钟，大多数倾角误差在几度之内，旋转误差也在适度范围内，足以实现稳定飞行。

探究学到的视觉技能内部机制

研究人员考察了使该纯视觉控制发挥最佳效果的因素。他们比较了不同的网络架构，增减诸如电机转速或陀螺信号等额外输入，并改变了相机视场的使用范围。具有记忆能力——能随时间整合视觉信息的网络——对于准确跟踪快速旋转至关重要，而无记忆的版本表现较差。较宽的视场能在图像边缘呈现类似地平线的远景线索，在熟悉场景中带来最低的原始误差。令人惊讶的是，强制网络仅关注图像中央（这些地方缺乏静态线索）会让其更多依赖运动模式而非场景外观。尽管这降低了绝对精度，但提升了系统迁移到非常不同环境时的平滑适应性，表明网络学会了一种内部的运动感知。

迈向小型以视觉为先的飞行机器人

总体而言，这项工作表明无人机可以仅凭视觉保持姿态并可控，在控制回路中无需惯性传感器。将事件相机与紧凑神经网络配对，系统达到了实时控制所需的速度和响应性，同时减少了硬件重量与复杂性。对普通读者而言，核心信息是：未来成群的微小、类昆虫飞行机器人可能像昆虫那样用一只智能“眼睛”平衡与导航，这将开启更轻、更节能且能在杂乱、不确定环境中安全探索的机器时代。

引用: Hagenaars, J.J., Stroobants, S., Bohté, S.M. et al. All eyes, no IMU: learning flight attitude from vision alone. npj Robot 4, 21 (2026). https://doi.org/10.1038/s44182-026-00081-4

关键词: 基于视觉的飞行控制, 事件相机无人机, 仿生机器人学, 神经网络控制器, 昆虫级无人机