Все глазами, без ИМУ: обучение ориентации полета с помощью только зрения

Видеть как насекомое

Малые летательные роботы обычно полагаются на миниатюрные датчики движения, чтобы держать себя в вертикальном положении — по аналогии с внутренним ухом у живых организмов. Но насекомые выполняют маневренный полет с куда более простым «железом», опираясь главным образом на зрение. В этом исследовании показано, что дрон способен сделать нечто похожее: летать устойчиво, используя только особый тип камеры и компактную искусственную «мозговую» схему, без привычных датчиков движения. Такой сдвиг может сделать будущие карманные и «насекомоподобные» дроны легче, дешевле и более надежными.

Зачем избавляться от привычных датчиков?

Контроль ориентации — удержание дрона с правильным наклоном относительно гравитации — обычно обеспечивает бортовой блок, измеряющий ускорение и угловые скорости. Эти инерциальные датчики работают хорошо, но добавляют вес, потребляют энергию и могут стать единой точкой отказа. Напротив, у многих летающих насекомых нет выделенного датчика гравитации: они выводят информацию о наклоне по тому, как мир перемещается по их глазам. Если роботы смогут повторить этот прием, очень маленьким летунам может понадобиться только зрение и для наблюдения, и для баланса, что упростит конструкцию и облегчит уменьшение размера до масштаба насекомых.

Камера, которая видит только изменения

Вместо стандартной видеокамеры исследователи использовали событийную (event-based) камеру, направленную вниз с борта дрона. Вместо передачи полных изображений через равные интервалы этот датчик сообщает лишь о малейших изменениях яркости в каждом пикселе и делает это очень быстро. Поток событий собирается в короткие срезы, каждый покрывает всего пять тысячных секунды, и эти срезы подаются в маленькую рекуррентную сверточную нейронную сеть, работающую на бортовом графическом чипе. Со временем сеть учится преобразовывать узоры визуальных изменений в оценки наклона дрона и угловой скорости вращения, фактически заменяя традиционный инерциальный блок в контуре управления.

Обучение дрона держать равновесие только с помощью зрения

Для обучения этой искусственной «мозги» команда сначала летала их квадрокоптером в закрытой арене, при этом продолжая использовать обычный набор датчиков. Во время этих полетов они записывали поток событий с камеры вместе с величинами наклона и вращения, оцененными стандартным контроллером. Затем сеть обучали под наблюдением воспроизводить эти величины только по визуальным данным. В последующих испытаниях роли поменялись: дрон летал, когда в контуре управления использовались оценки сети, а независимая система захвата движения или бортовые измерения применялись лишь для оценки точности. Система удерживала дрон в висении и следовала пилотируемым траекториям в течение минут подряд; большинство ошибок по наклону оставались в пределах нескольких градусов, а ошибки по вращению — в умеренных пределах, достаточных для стабильного полета.

Заглядывая внутрь изученного зрительного умения

Исследователи изучали, что делает этот контроль только на зрении наиболее эффективным. Они сравнивали разные архитектуры сетей, добавляли или убирали вспомогательные входы, такие как скорости моторов или гироскопические сигналы, и изменяли, какая часть поля зрения камеры использовалась. Сети с памятью — способные интегрировать визуальную информацию во времени — оказались критически важными для точного слежения за быстрыми вращениями, тогда как версии без памяти испытывали трудности. Широкое поле зрения, открывающее горизонтообразные признаки по краям изображения, давало наименьшие абсолютные ошибки на знакомых сценах. Удивительно, однако, что принудительное ограничение сети к центральной области кадра, где таких статичных ориентиров нет, заставляло ее больше опираться на паттерны движения, а не на внешние признаки сцены. Хотя это снижало абсолютную точность, оно улучшало плавность адаптации системы при переносе в весьма отличающуюся среду, что указывает на то, что сеть выучивала внутреннее представление движения.

Крошечные роботы, для которых зрение — на первом месте

В целом работа демонстрирует, что дрон может удерживать себя в вертикальном и управляемом состоянии, опираясь только на зрение, без участия инерциальных датчиков в контуре управления. Сочетание событийной камеры и компактной нейронной сети обеспечивает скорость и отзывчивость, необходимые для управления в реальном времени, снижая при этом вес и сложность аппаратной части. Для широкой аудитории главное сообщение таково: в будущем роем крошечных, насекомоподобных летательных роботов сможет балансировать и ориентироваться при помощи единого «умного глаза», подобно насекомым, что откроет путь к более легким, энергоэффективным машинам, способным безопасно исследовать захламленные и непредсказуемые пространства.

Цитирование: Hagenaars, J.J., Stroobants, S., Bohté, S.M. et al. All eyes, no IMU: learning flight attitude from vision alone. npj Robot 4, 21 (2026). https://doi.org/10.1038/s44182-026-00081-4

Ключевые слова: управление полетом на основе зрения, беспилотники с событийными камерами, робототехника, вдохновленная биологией, нейронные контроллеры, БЛА масштаба насекомого