ACFM: адаптивный алгоритм по взвешенному слиянию каналов для улучшения обнаружения мелких объектов в трафике с БПЛА

Видеть больше с высоты

По мере того как дроны все чаще используются для наблюдения за движением, обеспечением безопасности больших скоплений людей и зонами стихийных бедствий, они сталкиваются с простой, но упорной проблемой: с большой высоты объекты, которые нас интересуют — автомобили, автобусы или люди — часто занимают всего несколько пикселей. Эти крошечные точки легко упустить алгоритмам, особенно на оживленных городских улицах с тенями, вывесками и смазом движения. В этой статье предлагается новый подход, который помогает компьютерам «видеть» такие мелкие объекты в кадрах с дронов яснее, не замедляя обнаружение до непрактичного уровня.

Почему важны крошечные точки

Камеры дронов снимают широкие сцены с большой высоты, поэтому в одном изображении могут уместиться автомагистрали, здания, деревья и десятки транспортных средств. Большинство этих транспортных средств выглядят очень мелкими и могут частично перекрывать друг друга. Традиционные детекторы глубокого обучения отлично справляются с крупными, четко видимыми объектами, но по мере прохождения информации через глубокие слои сети теряются тонкие детали. В результате мелкие машины сливаются с фоном, особенно на загруженных перекрестках, при слабом освещении или в слегка размытых кадрах. Существующие многоуровневые методы частично помогают, объединяя признаки из разных слоев, но они обычно полагаются на фиксированные, заранее заданные правила и с трудом адаптируются, когда сцена становится особенно загроможденной или сложной.

Более умный способ смешивать подсказки

Авторы предлагают модуль адаптивного по каналам взвешенного слияния (ACFM), который можно встроить в существующие детекторы и сделать их лучше в обнаружении мелких целей на трафиковых кадрах с дронов. Вместо того чтобы относиться ко всей визуальной информации одинаково, ACFM запускает две специализированные ветви параллельно и затем сливает их выходы в зависимости от сцены. Одна ветвь уточняет обработку признаков между масштабами, чтобы тонкие пространственные детали не терялись. Другая работает как прожектор, усиливая действительно важные признаки мелких объектов и подавляя отвлекающие фоновые паттерны. Важно, что слияние между этими ветвями не фиксировано. ACFM регулирует степень доверия каждой ветви в зависимости от текущего изображения, что позволяет системе по-разному реагировать на пустую магистраль и на плотный перекресток.

Сохранение деталей через масштабы

В первой ветви, названной блоком многоуровневого уточнения, сеть пропускает признаки через пару путей. Один путь просто сохраняет исходную информацию, обеспечивая сохранность тонких, высокоразрешающих деталей. Другой путь сжимает, а затем расширяет представление изображения, побуждая модель учитывать более широкий контекст того, где расположены мелкие транспортные средства в сцене. В конце эти пути объединяются так, чтобы каждый выходной пиксель выигрывал и от острых локальных деталей, и от понимания окружающей области. Это облегчает детектору проведение более плотных и согласованных ограничивающих рамок вокруг мелких автомобилей и автобусов разных размеров, даже когда фон загружен или частично закрыт.

Подавление фонового шума

Вторая ветвь сосредоточена на внимании. Она делит каналы признаков на группы и для каждой группы обучает разреженную «маску», выделяющую лишь самые перспективные области. Области, похожие на фон — дорожные покрытия, крыши зданий, кроны деревьев — приглушаются, тогда как крошечные, но значимые сигналы, такие как отражения и края транспортных средств, усиливаются. Комбинируя эти уточненные детали обратно с исходными признаками в контролируемом виде, ветвь с групповой разреженной внимательной блокировкой дает более чистое и дискриминативное представление сцены. Это снижает вероятность того, что детектор перепутает узоры на асфальте или тени от зданий с реальными транспортными средствами.

Позволяя сцене выбирать смесь

Заключительный элемент ACFM — адаптивный по каналам механизм взвешивания, который решает, для каждого канала, насколько полагаться на каждую ветвь. Сначала он суммирует происходящее по всей картине, затем использует легкую операцию для вывода набора весов в диапазоне от нуля до единицы. Если сцена проста и объекты хорошо разнесены, сеть может больше опираться на многоуровневое уточнение. Если сцена плотная, захламленная или шумная, акцент может смещаться в сторону ветви внимания, подавляющей фоновые помехи. Это динамическое балансирование заменяет жесткие, вручную созданные правила слияния автоматной, обучаемой стратегией, позволяя детектору гибко реагировать при смене условий от кадра к кадру.

Более зоркие глаза для трафика с дронов

Встроенный в популярный детектор GFL и протестированный на трех публичных наборах данных с трафиком с дронов, ACFM стабильно улучшал показатели обнаружения, особенно на сложных наборах с множеством мелких, перекрывающихся транспортных средств. Прирост точности сопровождался небольшими дополнительными вычислительными затратами, то есть улучшенная система по-прежнему может работать близко к реальному времени — критическое требование для практического видеонаблюдения за трафиком. Для неспециалистов вывод прост: сохраняя детали, подавляя шум и адаптируя способ сочетания признаков в зависимости от сцены, ACFM помогает дронам действовать более похоже на внимательных человеческих наблюдателей, а не на жестких сопоставителей шаблонов, предоставляя более надежную основу для будущих умных городских и воздушных систем мониторинга.

Цитирование: Liu, S., Zhu, H., Yuan, Z. et al. ACFM: adaptive channel weighted fusion algorithm for improving small object detection performance in UAV traffic. Sci Rep 16, 8366 (2026). https://doi.org/10.1038/s41598-026-39789-6

Ключевые слова: мониторинг дорожного движения с дронов, обнаружение мелких объектов, компьютерное зрение, механизмы внимания, многоуровневое слияние признаков