用于精准奶牛系统数字孪生开发的视频基础牛只行为检测

为什么关注牛的行为很重要

在现代奶牛场，掌握每头牛在做什么——吃、休息、喝水或反刍——与产奶量、健康和福利直接相关。然而，农场主很少有时间全天候观察每头动物。本研究展示了如何利用普通牛舍摄像头结合先进的计算机视觉，自动跟踪牛的日常活动并将这些信息输入到牛群的数字“虚拟孪生”中。此类系统可帮助农户微调营养、及早发现疾病并更高效地管理牛群，且无需在动物身上佩戴设备。

从真实牛舍到虚拟牛群

研究人员着手为奶牛数字孪生构建行为层面的“眼睛与耳朵”——一个能近实时更新牛舍及牛群状态的虚拟模型。他们关注七种与健康和产量最相关的日常活动：站立、卧卧、站立时进食、卧卧时进食、饮水，以及站立或卧卧时的反刍（咀嚼瘤食）。他们没有依赖可穿戴传感器，而是在一个大约有80头荷斯坦奶牛的商业化系绳牛舍中使用了顶部与倾斜安装的监控摄像头。连续视频被切成以单头牛为中心的短10秒片段，作为教会计算机识别各动物行为的原始材料。

教会计算机识别牛的行为

将原始视频转化为有用数据需要几个步骤。首先，一个目标检测系统自动在每一帧中找到牛，跟踪算法在牛移动时保持其身份一致，即便部分被遮挡。程序随后将每头牛裁切并调整为标准化的视频片段。人工专家为近5,000个片段标注了正确的行为，使用明确的视觉规则并相互复核以确保一致性。由于牛自然更多时间用于卧卧和站立，饮水或反刍较少见，团队通过数字“增强”——细微翻转、裁剪、亮度变换和时间调整——有针对性地扩展了罕见行为，使训练集更平衡，约扩展到9,600个片段。

系统如何随时间识别模式

为识别行为，团队比较了两类领先的视频分析模型。一类称为 SlowFast，模拟两种观察速度同时运行：一个“慢”通道在较长时间段上观察姿态，另一个“快”通道关注快速的头部动作。另一类 TimeSformer 则使用最初为语言模型开发的注意力机制跨空间与时间进行观察，决定每帧的哪些部分和片段中的哪些时刻最重要。在牛舍视频上训练后，TimeSformer 略优于 SlowFast，大约85%的时间正确分类行为，并且在单块现代图形处理器上速度足以实现实时使用。可视化结果显示，模型在进食与饮水时自然关注牛的头部与口鼻部位，在卧卧或站立时关注躯干与腿部，这与人类观察者判断行为的方式一致。

从行为流到农场决策

一旦系统能逐片段识别行为，研究人员构建了一个可在牛舍视频上持续运行的完整管线。程序随时间跟踪每头牛，应用滑动窗口对视频进行处理，并平滑短暂错误，使瞬时故障不会表现为快速的状态切换。输出是每头动物的清晰时间线：何时进食、卧卧、站立、饮水或反刍，以及每次行为持续时长与系统置信度。这些结构化日志可被农场营养模型直接读取——从进食时间估算饲料摄入量——也可驱动一个游戏化的3D数字孪生，显示虚拟牛与真实牛的动作同步。在对一头牛的24小时案例研究中，系统重建了其全天活动，并结合进食时长与基本动物信息估算了其可能摄入的干物质饲料量。

对未来奶牛场的意义

该研究证明，廉价摄像头与精心设计的视频模型能够提供连续、逐头的行为记录，准确度足以作为奶牛数字孪生的感知层。尽管这项工作还未自动化决策——例如改变配方或向工作人员发出疾病警报——它提供了这些更高层工具所依赖的关键输入流。当该方法扩展到更开放的牛舍设计并与其他传感器结合时，农户可以获得对动物日常节律的详细、始终在线的视图，从而实现对动物与环境更温和、更精确的管理。

引用: Rao, S., Garcia, E. & Neethirajan, S. Video-based cattle behaviour detection for digital twin development in precision dairy systems. npj Vet. Sci. 1, 3 (2026). https://doi.org/10.1038/s44433-026-00004-x

关键词: 精准畜牧养殖, 计算机视觉, 奶牛行为, 数字孪生, 动物福利监测