Двустороннее моделирование пространственных состояний для легкого и устойчивого обнаружения зерновых колосков в сложных сельскохозяйственных условиях

Почему важно считать колоски пшеницы с воздуха

Накормить растущее население мира можно, лишь понимая, сколько продовольствия могут дать наши поля, а один ключевой признак — это зерновые колоски, несущие зерно на вершине каждого растения. Фермеры и селекционеры давно считали их вручную для оценки урожайности, но при больших площадях это медленно, дорого и подвержено ошибкам. В этом исследовании предложена новая система компьютерного зрения, Mamba-WheatNet, которая использует изображения с дронов для автоматического обнаружения и подсчета колосков в реальном времени, даже когда поля загроможены, плотны и освещение меняется.

Умные «глаза» над сложными полями

Настоящие поля далеки от аккуратности. Колоски могут прятаться за листьями, перекрываться друг с другом или смешиваться с сорняками и оголенной почвой, а их цвет и форма меняются по мере роста. Ранние методы опирались на простые признаки, такие как цвет или текстура, но они дают сбои при изменении освещения или фазы роста. Глубокое обучение улучшило ситуацию, позволяя нейросетям извлекать паттерны прямо из множества изображений. Однако многие существующие модели по-прежнему испытывают трудности в загроможденных сценах и часто требуют большой вычислительной мощности, которую сложно запускать на дронах или малых полевых устройствах.

Более легкая модель, фокусирующаяся на главном

Mamba-WheatNet разработана так, чтобы справляться с этими задачами и при этом оставаться достаточно легкой для практического использования на ферме. Она объединяет две главные идеи: эффективные сверточные слои, которые хороши в захвате локальных деталей, и новейшее семейство моделей, известное как селективные пространственные состояния, лучше отслеживающее дальнодействующие паттерны. Авторы создают извлекатель признаков, который сначала разбивает изображения на многоуровневые паттерны, а затем пропускает их через специальную стадию слияния, охватывающую всю сцену. Это помогает системе игнорировать фоновый шум, такой как перекрывающиеся листья или почва, и сильнее обращать внимание на тонкие формы и оттенки, характерные для отдельных колосков.

Как модель распутывает плотные скопления колосков

Внутри Mamba-WheatNet две пользовательские строительные блоки выполняют большую часть работы. Первый, называемый Residual Depthwise Separable Block, использует легкие свертки, разделенные по каналам, чтобы захватывать тонкие детали без резкого увеличения вычислений. Второй, Bidirectional Spatial Scanning Block, сканирует карты признаков по горизонтали и вертикали, собирая контекст в обоих направлениях и избирательно усиливая наиболее информативные каналы. Эти компоненты объединены в более крупный блок слияния, который смешивает локальные и глобальные подсказки, облегчая разделение соприкасающихся или перекрывающихся колосков и сохраняя точность, когда колоски малы или плотно сгруппированы на аэрофотоснимках.

Проверка системы в реальных условиях

Чтобы оценить, насколько хорошо работает их подход в реалистичных условиях, исследователи обучали и тестировали Mamba-WheatNet на GWHD-2021, большой публичной коллекции снимков с дронов полей пшеницы, охватывающей множество сортов, схем посадки и фаз роста. Они сравнили свою систему с несколькими ведущими детекторами объектов, включая последние модели серии YOLO и сети на основе трансформеров. Mamba-WheatNet показала более высокую точность и полноту и немного лучшие суммарные показатели обнаружения при умеренных требуемых вычислениях и достаточной скорости работы для почти реального времени. Команда также проверила, как модель переносится на другой набор данных с дронов, VisDrone2019, содержащий множество небольших объектов в загруженных городских сценах. Там модель также показала лучшую точность среди протестированных компактных детекторов, демонстрируя, что ее архитектура обобщается за пределы задач, связанных с пшеницей.

Что это значит для будущего умного земледелия

Исследование делает вывод, что Mamba-WheatNet предлагает практичный и точный способ подсчета колосков пшеницы с воздуха, даже когда поля визуально сложны. Тщательно сочетая легкие, эффективные слои с глобальным механизмом сканирования, модель отслеживает тонкие паттерны, не перегружая аппаратное обеспечение, типичное для дронов или полевых роботов. Для фермеров, селекционеров и агрономов это может означать более быстрые и надежные оценки урожайности и улучшенное мониторирование состояния посевов со временем, что поможет сместить сельское хозяйство в сторону более управляемого данными и точного управления.

Цитирование: Deng, G., Li, Z. & Gao, Z. Bidirectional state space modeling for lightweight and robust wheat head detection in complex agricultural environments. Sci Rep 16, 14895 (2026). https://doi.org/10.1038/s41598-026-45083-2

Ключевые слова: обнаружение колосков пшеницы, снимки с дронов, глубокое обучение, точное земледелие, обнаружение объектов