全て視覚、IMUなし: 視覚のみで飛行姿勢を学習する

昆虫のように見る

小型の飛行ロボットは通常、機械の内耳のように自身を直立させるために小さな動作センサーに頼っています。しかし昆虫ははるかに単純なハードウェアで機敏に飛行し、多くを視覚に依存しています。本研究はドローンが同様のことを行えることを示しています：特殊な種類のカメラと小型の人工脳だけで、従来の動作センサーなしに安定して飛行できるということです。この変化は将来の手のひらサイズや昆虫大のドローンを軽量で安価、かつ頑健にする可能性があります。

なぜ従来のセンサーを排するのか？

姿勢制御—重力に対してドローンが正しく傾くように保つこと—は通常、加速度や角速度を測る搭載ユニットによって行われます。これらの慣性センサーは良く働きますが、重量を増やし、電力を消費し、単一障害点になり得ます。対照的に、多くの飛行昆虫は専用の重力センサーを持たず、代わりに世界が眼の上をどのように移動するかから傾きの手がかりを抽出します。ロボットがこの手法を真似できれば、ごく小型の飛行体は視覚だけで見てバランスを取れるようになり、設計が簡素化され昆虫サイズへの小型化が容易になります。

変化だけを見るカメラ

研究者は標準的なビデオカメラの代わりに、ドローンの下向きに取り付けたイベントベースのカメラを使います。このセンサーは固定間隔でフル画像を送るのではなく、各ピクセルのわずかな輝度変化のみを非常に高速で報告します。イベントの流れはそれぞれ0.005秒の短いスライスにまとめられ、これらが搭載のグラフィックスチップで動く小型の再帰型畳み込みニューラルネットワークに入力されます。時間を通じてネットワークは視覚的変化のパターンをドローンの傾きと回転速度の推定に変換することを学び、実質的に従来の慣性単位を制御ループの中で置き換えます。

視覚だけでドローンにバランスを教える

この人工脳を訓練するために、チームはまず従来のセンサー群を併用した状態で屋内アリーナでクアッドローターを飛ばしました。これらの飛行中にカメラからのイベントストリームと、標準コントローラが推定した傾きや回転の値を記録しました。その後、ネットワークを教師ありで訓練し、視覚データだけからそれらの値を再現するようにしました。後のテストでは役割を逆にし、ネットワークの推定がループを閉じ、独立したモーションキャプチャや搭載測定は性能を評価するためだけに用いられました。システムはドローンをホバリングさせ、パイロットが指示する経路を数分間にわたって追従させ続け、傾き誤差の大半は数度以内、回転誤差も安定飛行に十分な範囲にとどまりました。

学習された視覚スキルの内部を覗く

研究者たちは、視覚のみの制御が最もよく機能する理由を探りました。異なるネットワーク設計を比較し、モータ速度やジャイロ信号といった追加入力を加えたり除いたり、カメラの視野のどれだけを使うかを変えました。視覚情報を時間的に統合できる記憶を持つネットワークは急速な回転を正確に追うために重要であり、記憶を持たないバージョンは苦戦しました。遠方の地平線に似た手がかりが画面端に現れる広い視野は、馴染みのあるシーンでは生の誤差を最小にしました。驚くべきことに、中央部だけを見せるようにネットワークを制限すると、静的手がかりが乏しい中心領域では動きのパターンに頼るようになりました。これは絶対精度を下げましたが、非常に異なる環境に移したときの適応の滑らかさを改善し、内部的な運動感覚が学習されていることを示唆しました。

小型で視覚優先の飛行ロボットに向けて

全体として、この研究はドローンが慣性センサーを使わずに視覚だけで自身を直立かつ制御可能に保てることを示しています。イベントカメラと小型ニューラルネットワークを組み合わせることで、システムはリアルタイム制御に必要な速度と応答性を達成しつつ、ハードウェアの重量と複雑さを削減します。一般読者にとっての主なメッセージは、将来の小型で昆虫のような飛行ロボットの群れが、昆虫と同様に一つの賢い目だけでバランスを取り航行できるようになり、より軽くエネルギー効率の高い機体が乱雑で予測不能な空間を安全に探索できる道を開くということです。

引用: Hagenaars, J.J., Stroobants, S., Bohté, S.M. et al. All eyes, no IMU: learning flight attitude from vision alone. npj Robot 4, 21 (2026). https://doi.org/10.1038/s44182-026-00081-4

キーワード: 視覚ベースの飛行制御, イベントカメラ ドローン, 生物着想ロボティクス, ニューラルネットワークコントローラ, 昆虫スケール UAV