Сеть с перекрёстным объединением краевой информации для обнаружения мелких объектов в аэрофотоснимках

Почему важно замечать крошечные детали с высоты

От мониторинга движения и реагирования при катастрофах до ухода за посевами — всё больше аспектов нашего мира наблюдается с воздуха при помощи дронов. Однако многие из объектов, которые нас больше всего интересуют на таких снимках — люди, машины или животные — занимают лишь несколько пикселей. В этой статье представлен новый компьютерный зрительный метод, CEIFNet, специально разработанный для более точного и быстрого обнаружения таких крошечных объектов даже на фоне загромождённых городских улиц, полей или ночных помех.

Видеть мелкое в большом поле

Стандартные системы обнаружения объектов создавались в основном для снимков на уровне земли, где автомобиль или человек обычно занимают заметную часть кадра. На съёмках с дрона камера может находиться в сотнях метров над землёй, поэтому каждый объект оказывается крошечным и легко размывается или теряется при уменьшении изображения внутри нейронной сети. Авторы объясняют, что популярные одноступенчатые детекторы, такие как семейство YOLO, хорошо работают в повседневных сценах, но испытывают трудности, когда объекты одновременно очень мелкие и сильно различаются по размерам. Многократное понижение разрешения, призванное охватить всю сцену, как правило, стирает слабые сигналы от этих маленьких целей.

Сочетание крупного плана и общего контекста

Чтобы решить эту проблему, CEIFNet объединяет два дополняющих друг друга подхода к восприятию. Один путь использует классические сверточные фильтры, хорошо улавливающие чёткие локальные паттерны — углы и текстуры. Другой путь применяет механизм внимания в стиле Transformer, который эффективен при установлении связей между удалёнными частями изображения и понимании сцены в целом. Внутри ключевого строительного блока, называемого перекрёстным трансформер-блоком, входные признаки разделяются: большая часть каналов идёт по лёгкому сверточному пути, в то время как меньшая часть проходит через путь с вниманием, учитывающий дальние взаимосвязи. Затем их снова объединяют, давая сети и тонкие детали, и глобальную осведомлённость без взрывного роста вычислительной сложности.

Использование краёв как карты для крошечных целей

Ключевая мысль статьи в том, что границы объектов — края — особенно ценны, когда цели занимают всего несколько пикселей. Вместо того чтобы полагаться только на обучаемые фильтры, авторы сознательно вводят краевую информацию в сеть. Специальный модуль сначала применяет оператор Собеля, простой, но надёжный детектор краёв, чтобы выделить резкие изменения яркости, например вокруг контуров автомобилей или людей. Эти карты краёв затем сворачиваются (пулингуются) в несколько размеров, чтобы соответствовать разным масштабам признаков, и объединяются через межканальный модуль. По мере того как изображение продвигается глубже в сеть, эти усиленные краевые подсказки многократно подаются в последующие слои, помогая модели отслеживать, где начинаются и заканчиваются мелкие объекты, несмотря на обычное размытие и уменьшение масштаба.

Адаптация к размерам, положению и сложности сцены

На выходе CEIFNet использует динамическую голову обнаружения, которая может подстраивать своё поведение в зависимости от увиденного. Вместо фиксированных фильтров эта финальная стадия одновременно применяет три формы внимания: она может предпочитать определённые размеры объектов, фокусироваться на наиболее перспективных местах в изображении и подчёркивать наиболее информативные каналы признаков. В сочетании со структурой пирамиды признаков, сохраняющей дополнительный слой с тонкой детализацией, это делает систему более чувствительной к крошечным, плотно расположенным целям в реальных съёмках с дронов — от переполненных перекрёстков до загруженных парковок и тепловых инфракрасных сцен в ночное время.

Доказательство преимущества в реальных сценариях со стороны дронов

Исследователи протестировали CEIFNet на двух требовательных наборах данных с дронов: VisDrone2019, включающем дневные городские и пригородные сцены, и HIT-UAV, тепловую инфракрасную коллекцию, где многие цели тусклые и мелкие. В обоих случаях новая система обнаруживала объекты точнее сильного базового решения на основе YOLO и ряда других современных детекторов, при этом работая достаточно быстро для использования в реальном времени на мощной графической карте. Тщательные аблационные эксперименты показали, что каждый компонент — гибридный блок, модуль краёв, дополнительный тонкоразрешённый слой и динамическая голова — вносит вклад в общий прирост эффективности.

Что это значит для повседневных технологий

Для неспециалистов вывод таков: CEIFNet предлагает более умный способ, с помощью которого дроны могут «замечать мелочи» в больших сложных сценах. Сохраняя информацию о краях, сочетая локальные детали с глобальным контекстом и динамически адаптируя внимание, сеть способна обнаруживать мелкие объекты, которые другие системы пропускают или неверно локализуют. Это делает воздушный мониторинг более надёжным для таких задач, как безопасность дорожного движения, поиск и спасение и точное сельское хозяйство, а также указывает путь к будущим системам, способным извлекать достоверную информацию из всё более высоких и широких обзоров нашего мира.

Цитирование: Xiao, J., Li, C., Chen, H. et al. Cross-stage edge information fusion network for small object detection in aerial images. Sci Rep 16, 7639 (2026). https://doi.org/10.1038/s41598-026-36251-5

Ключевые слова: обнаружение объектов с воздуха, мелкие объекты, съёмка с дронов, зрение на основе краёв, глубокое обучение