Обнаружение поведения крупного рогатого скота на видео для разработки цифрового двойника в системах прецизионного молочного производства

Почему важно наблюдать за коровами

На современных молочных фермах знание о том, чем в данный момент занята каждая корова — ест, отдыхает, пьёт или жует жвачку — напрямую связано с надоем, здоровьем и благополучием. В то же время у фермеров редко есть возможность круглосуточно наблюдать за каждым животным. В этом исследовании показано, как обычные видеокамеры в стойле в сочетании с современными методами компьютерного зрения могут автоматически отслеживать повседневную жизнь коров и передавать эту информацию в цифровой «виртуальный двойник» стада. Такие системы помогут фермерам точнее настраивать рацион, раньше выявлять болезни и эффективнее управлять стадом, при этом не прикрепляя к животным датчики.

От реального стойла к виртуальному стаду

Исследователи поставили цель создать «глаза и уши» поведения для молочного цифрового двойника — виртуальной модели стойла и коров, обновляющейся почти в реальном времени. Они сосредоточились на семи повседневных действиях, которые важны для здоровья и продуктивности: стоя, лёжа, кормление стоя, кормление лёжа, питьё и жвачка (руминация) стоя или лёжа. Вместо использования носимых датчиков применяли обзорные и наклонные охранные камеры в коммерческом типе стойлового помещения, где содержалось около 80 голштинских коров. Непрерывное видео преобразовывали в короткие 10‑секундные клипы, сфокусированные на отдельных коровах — это стало исходным материалом для обучения компьютерных систем распознавать, чем занимается каждое животное.

Обучение компьютеров распознавать поведение коров

Преобразование необработанных видеозаписей в полезные данные потребовало нескольких этапов. Сначала система обнаружения объектов автоматически находила коров в каждом кадре, а алгоритм трекинга поддерживал идентичность каждой коровы по мере её перемещений, даже при частичном сокрытии. Программа затем кадрировала и масштабировала изображение каждой коровы в стандартизированные видеоклипы. Эксперты‑люди пометили почти 5 000 таких клипов с правильными классами поведения, используя чёткие визуальные правила и взаимную проверку для обеспечения согласованности. Поскольку коровы по природе больше времени проводят лёжа или стоя, чем пьют или пережёвывают жвачку, команда целенаправленно расширила реже встречающиеся классы с помощью цифровой «аугментации» — лёгких отражений, обрезок, изменений яркости и временных сдвигов — чтобы получить более сбалансированный обучающий набор примерно из 9 600 клипов.

Как система видит шаблоны во времени

Чтобы обнаруживать поведение, команда сравнила два ведущих семейства моделей для анализа видео. Одна из них, названная SlowFast, имитирует два режима просмотра одновременно: «медленный» путь, фиксирующий позу на длительных отрезках, и «быстрый» путь, сосредоточенный на быстрых движениях головы. Другая, TimeSformer, использует механизмы внимания, изначально разработанные для моделей обработки языка, чтобы смотреть в пространстве и во времени и выбирать, какие части кадра и какие моменты в клипе наиболее важны. Обученный на видео из стойла, TimeSformer немного превзошёл SlowFast, правильно классифицируя поведение примерно в 85% случаев и работая достаточно быстро для использования в реальном времени на одном современном графическом процессоре. Визуализации показали, что модель естественно фокусируется на голове и морде коровы при кормлении и питье и на туловище и ногах при лежании или стоянии — так, как сделал бы наблюдатель‑человек.

От потоков поведения к решениям на ферме

Когда система научилась распознавать поведение в клипах, исследователи построили полный конвейер, который работает непрерывно с видеопотоком стойла. Программа отслеживает каждую корову во времени, применяет скользящее окно к видео и сглаживает кратковременные ошибки, чтобы единичные сбои не выглядели как быстрые переключения состояний. На выходе получается чистая временная шкала для каждого животного: когда оно кормились, лежало, стояло, пило или пережёвывало жвачку, а также длительность каждого эпизода и уверенность системы. Эти структурированные журналы могут напрямую использовать модели питания на ферме, оценивающие по времени кормления потребление корма, и они могут управлять 3D‑цифровым двойником в игровом окружении, где виртуальные коровы повторяют действия реальных. В 24‑часовом кейсе для одной коровы система реконструировала её полный день активности и, исходя из длительности кормления и базовой информации о животном, оценивала, сколько сухого корма она, вероятно, потребила.

Что это означает для ферм будущего

Исследование демонстрирует, что недорогие камеры и тщательно спроектированные видеомодели способны предоставлять непрерывные записи поведения по каждой корове с достаточной точностью, чтобы служить сенсорным слоем молочного цифрового двойника. Хотя работа ещё не автоматизирует принятие решений — например, изменение рационов или оповещение персонала о болезни — она даёт важный поток входных данных, от которого зависят эти более высокоуровневые инструменты. По мере расширения подхода на более открытые конструкции помещений и сочетания с другими датчиками фермеры могут получить подробное, всегда включённое представление о ежедневных ритмах животных, что позволит более деликатно и точно управлять стадом в интересах как коров, так и окружающей среды.

Цитирование: Rao, S., Garcia, E. & Neethirajan, S. Video-based cattle behaviour detection for digital twin development in precision dairy systems. npj Vet. Sci. 1, 3 (2026). https://doi.org/10.1038/s44433-026-00004-x

Ключевые слова: точное животноводство, компьютерное зрение, поведение молочных коров, цифровой двойник, мониторинг благополучия животных