Объединение математического моделирования и ИИ для определения 3D-координат движущихся объектов без внешних опор и измерения ориентации

Почему важно отслеживать движущиеся объекты в 3D

От городского воздушного пространства, где летают дроны, до небес, где парят дикие птицы, многие современные задачи требуют знания местоположения быстро движущихся объектов в трёх измерениях. Сегодня для этого обычно нужны дорогостоящие спутниковые приёмники или тщательно откалиброванные приборы. В этом исследовании предлагается способ отслеживания летающего объекта в 3D, используя лишь несколько обычных камер и интеллектуальные алгоритмы, что открывает путь к более дешёвым и гибким системам наблюдения.

Наблюдать движение вместо измерения оборудования

Традиционные инструменты 3D-позиционирования делятся на две группы. Активные системы, такие как спутниковая навигация или бортовые датчики, требуют, чтобы отслеживаемый объект нёс оборудование, что невозможно для неизвестных или несотрудничающих целей. Пассивные системы, например лазерные сканеры или радары, не контактируют с целью, но полагаются на дорогое оборудование или опорные метки, чтобы знать, куда направлены сенсоры. Авторы идут иным путём. Вместо того чтобы заранее измерять точный наклон и вращение каждой камеры, они замечают, что сама траектория движущегося объекта, записанная как последовательность положений во времени, может служить естественной опорой. Если несколько камер наблюдают один и тот же объект в полёте, общая форма этой траектории связывает их обзоры друг с другом.

Преобразование 2D-видов камер в общую 3D-траекторию

Команда строит двухэтапную систему, сочетающую искусственный интеллект и классическую геометрию. Сначала детектор на базе ИИ из семейства You Only Look Once (YOLOv12) просматривает каждый видеокадр и отмечает дрон простым прямоугольником, по которому извлекаются его пиксельные координаты. Вместо того чтобы рассматривать каждый кадр отдельно, авторы расширяют модель до временно-ориентированной версии под названием YOLO Time Series. Анализируя, как дрон перемещается из кадра в кадр и учитывая типичную скорость, эта версия восполняет пропущенные наблюдения и отфильтровывает ложные цели, такие как птицы или насекомые. Эти длинные, очищенные траектории 2D-точек с трёх камер становятся исходным материалом для восстановления 3D-пути.

Позволяя математике восстановить скрытые позы камер

На втором этапе авторы применяют компактный математический инструмент, известный как сингулярное разложение (SVD), чтобы соотнести разные ракурсы камер. В течение начального пакетного периода собирается несколько сотен кадров. Общие 2D-траектории из пары камер выявляют, как эти камеры повёрнуты и смещены относительно друг друга, даже если их направления никогда не измерялись. Обладая таким относительным расположением, система использует простые геометрические правила для триангуляции 3D-положения дрона в каждый момент во вспомогательной системе координат одной из эталонных камер. Зная лишь, где камеры расположены на земле в глобальной системе отсчёта, метод затем связывает эту локальную 3D-траекторию с картой в мировом масштабе, так что движение дрона можно выразить в реальных расстояниях и высотах.

Тестирование в виртуальном пространстве и на реальном дроне

Чтобы проверить пределы идеи, исследователи сначала проводят подробные симуляции полёта дрона по спирали над тремя фиксированными камерами. В этих идеализированных испытаниях их система восстанавливает 3D-координаты с ошибками всего в несколько миллиметров, и дальнейшие тесты показывают, как ошибки в размещении камер или в пиксельном детектировании постепенно ухудшают точность. Даже при введении таких неточностей ошибки остаются умеренными при типичном расстоянии между камерами и качестве изображения. Затем команда провела испытание в реальных условиях на спортивном стадионе, отслеживая настоящий дрон в объёме 100 на 100 на 30 метров, используя три обычных смартфона. Сравнивая восстановленную траекторию с данными бортового спутникового приёмника дрона, они фиксируют среднюю ошибку около пяти метров и высокое совпадение форм двух траекторий, даже в условиях дождя и низкой освещённости.

Что это значит для повседневного 3D-отслеживания

Проще говоря, работа показывает, что несколько недорогих камер можно превратить в систему реального времени для определения 3D-положения движущихся объектов без установки точных приборов ни на камеры, ни на саму цель. Позволяя движению объекта связывать обзоры, и сочетая детектирование на основе обучения с компактными математическими формулами, система даёт быстрые и достаточно точные 3D-позиции при ограниченном наборе оборудования. Хотя метод продемонстрирован на одном дроне, те же принципы можно распространить на другие летательные аппараты или даже наземные цели, предлагая новые способы наблюдения за изменяющейся Землёй с помощью более простых инструментов.

Цитирование: Yi, J., Shang, Kk. & Small, M. Bridging mathematical modeling and AI for 3D coordinate recognition of moving objects without external reference and attitude measurement. Commun Eng 5, 89 (2026). https://doi.org/10.1038/s44172-026-00648-x

Ключевые слова: 3D отслеживание, мониторинг дронов, компьютерное зрение, многокамерная система, геодезическая позиция