Новый метод подсчёта листьев табака в поле на основе изображений с БПЛА и улучшенного PointNext

Почему важно считать листья с воздуха

Знать количество листьев у растения может показаться мелочью, но для табачных фермеров это прямой индикатор состояния растений и будущего урожая. Сегодня рабочие по-прежнему обходят поля и подсчитывают листья вручную — процесс медленный, утомительный и дорогой, который трудно масштабировать для современных плантаций. В этом исследовании показано, как дроны, 3D‑съёмка и искусственный интеллект могут совместно автоматически считать листья у табачных растений в реальных полевых условиях, обеспечивая более быстрый и точный способ корректировки удобрений, прогнозирования урожая и поддержки селекции новых сортов.

От полётов дрона к трёхмерному виду поля

Исследователи сначала использовали дроны как летающие камеры. Они запускали коммерческий квадрокоптер над табачными полями в провинции Юньнань, Китай, снимая фотографии высокого разрешения с разных высот и под крутыми углами вокруг исследуемых участков. С помощью фотограмметрического ПО эти перекрывающиеся снимки были сшиты в детализированные трёхмерные модели растений. Каждое растение затем выделяли как отдельное облако точек в 3D‑пространстве, где каждая точка представляет собой небольшую поверхность стебля, листа или окружающего шума — почвы и соседней растительности. Этот шаг превращает плоские изображения в богатое 3D‑описание, которое позволяет обнаруживать листья даже при их наложении в обычных фотографиях.

Обучение компьютера видеть отдельные листья

Для работы с этими 3D‑облаками команда собрала крупный тщательно размеченный набор данных. Они создали 1 000 индивидуальных моделей растений и вручную пометили каждую точку как принадлежащую целевым листьям, стеблям, другим растениям или шуму. Опираясь на этот тренировочный материал, они доработали современную 3D‑нейросеть PointNext, получив новую версию, ориентированную на полевые культуры, названную SRW‑PointNext. Были добавлены три ключевых улучшения: модуль внимания, помогающий сети фокусироваться на наиболее информативных пространственных и цветовых шаблонах; пересмотренная функция потерь, предотвращающая «подавление» редких классов (например, стеблей и фона) из‑за изобилия точек листьев; и усиленная выходная часть, которая лучше восстанавливает мелкие детали, когда части облака точек отсутствуют или неравномерны.

Преобразование сегментированных облаков в подсчёт листьев

После того как SRW‑PointNext научилась помечать каждую 3D‑точку, модель могла разделять облако одного растения на листовую и нелистовую части. Но учёным всё ещё нужно было определить, сколько именно листьев присутствует. Для этого они применили кластеризацию MeanShift. Проще говоря, алгоритм ищет плотные скопления точек листьев в трёх измерениях, причём каждое такое скопление соответствует одному листу. Параметр «ширины окна» (bandwidth) контролирует, насколько плотно или свободно алгоритм группирует точки. Слишком маленькое значение разделит один лист на несколько искусственных кластеров, завышая счёт; слишком большое — сольёт соседние листья, занижая счёт. Тщательно настроив этот параметр, исследователи сумели сгруппировать сегментированные точки листьев в реалистичные отдельные листья.

Насколько хорошо сработал метод

Для проверки точности команда сравнила автоматические подсчёты с кропотливыми ручными пересчётами для 230 полевых растений. Их конвейер — съёмка дроном, 3D‑реконструкция, сегментация SRW‑PointNext и затем кластеризация MeanShift — достиг точности подсчёта листьев примерно 92,6 процента. Улучшенная сеть также показала качественную сегментацию: около 92 процентов точности и среднее пересечение по Юниону (mIoU) 76 процентов, превосходя несколько популярных методов обработки 3D‑облаков точек, таких как PointNet, PointNet++, RandLA‑Net и оригинальный PointNext. Важно, что это повышение точности сопровождалось лишь умеренным увеличением вычислительных затрат, что указывает на практическую применимость подхода для масштабных обследований.

Что это значит для будущего сельского хозяйства

Для неспециалиста основная мысль проста: сочетая дроны, 3D‑моделирование и улучшенную ИИ‑модель, исследователи теперь могут считать листья табака в реальных полях почти так же надёжно, как люди, но намного быстрее и на гораздо больших площадях. Это переводит подсчёт листьев с планшетов и шагов по полю в автоматизированный, насыщенный данными процесс, который может интегрироваться в цифровые системы управления культурами. Хотя текущее исследование сосредоточено на табаке на одной фазе роста и зависит от качественной 3D‑реконструкции, ту же стратегию можно распространить на другие культуры и сезоны. Со временем такие инструменты могут стать повседневной помощью для фермеров, помогая отслеживать рост растений, оптимизировать внесение ресурсов и отбирать более эффективные сорта с гораздо меньшими ручными усилиями.

Цитирование: Nan, D., Li, J., Liang, H. et al. A novel leaf counting method for field tobacco plants based on UAV imagery and an improved PointNext. Sci Rep 16, 11052 (2026). https://doi.org/10.1038/s41598-026-41365-x

Ключевые слова: фенотипирование табака, дронное земледелие, 3D облака точек, подсчёт листьев, глубокое обучение в сельском хозяйстве