Videobaserad upptäckt av nötdjursbeteenden för utveckling av digitala tvillingar i precisionsmjölkproduktion

Varför det spelar roll att observera kor

På moderna mjölkgårdar är kunskap om vad varje ko gör—äter, vilar, dricker eller idisslar—direkt kopplad till mjölkproduktion, hälsa och välfärd. Samtidigt har bönder sällan möjlighet att övervaka varje djur dygnet runt. Denna studie visar hur vanliga stallkameror, i kombination med avancerat datorseende, automatiskt kan följa korna i deras dagliga liv och mata den informationen till en digital ”virtuell tvilling” av besättningen. Sådana system kan hjälpa bönder att finjustera utfodring, upptäcka sjukdom tidigare och sköta djuren mer effektivt—allt utan att fästa sensorer på djuren.

Från verkligt stall till virtuell besättning

Forskarlaget ville bygga de beteendemässiga ”ögonen och öronen” för en mjölkdigital tvilling—en virtuell modell av ett stall och dess kor som uppdateras i nära realtid. De fokuserade på sju vardagliga aktiviteter som är viktigast för hälsa och produktion: stående, liggande, utfodring medan stoende, utfodring medan liggande, drickande och idisslande (tuggning av våm) medan stående eller liggande. Istället för att förlita sig på bärbara sensorer använde de övervakningskameror placerade ovanifrån och i vinkel i ett kommersiellt utförande stall med cirka 80 Holstein‑kor. Kontinuerlig video delades upp i korta 10‑sekundersklipp centrerade på individuella kor och utgjorde råmaterialet för att lära datorer att känna igen vad varje djur gjorde.

Att lära datorer känna igen kobeteenden

Att omvandla råmaterial till användbar data krävde flera steg. Först identifierade ett objekt‑detekteringssystem automatiskt kor i varje bildruta, och en spårningsalgoritm bibehöll varje kos identitet när hon rörde sig, även vid partiell skymning. Programmet beskärde och ändrade storlek på varje ko till standardiserade videoklipp. Mänskliga experter märkte upp nästan 5 000 av dessa klipp med korrekt beteende, med tydliga visuella riktlinjer och dubbelkontroll av varandras arbete för att säkerställa konsekvens. Eftersom kor naturligt tillbringar mer tid liggande och stående än drickande eller idisslande, utökade teamet noggrant de mer sällsynta beteendena med digital ”augmentation”—subtila vändningar, beskärningar, ljushetsförskjutningar och tidsjusteringar—för att skapa en mer balanserad träningsmängd på ungefär 9 600 klipp.

Hur systemet ser mönster över tid

För att upptäcka beteenden jämförde teamet två ledande familjer av videoanalysmodeller. Den ena, kallad SlowFast, efterliknar två synhastigheter samtidigt: en ”långsam” bana som ser posture över längre sträckor, och en ”snabb” bana som fokuserar på snabba huvudrörelser. Den andra, TimeSformer, använder uppmärksamhetsmekanismer ursprungligen utvecklade för språkmodeller för att se över rum och tid och avgöra vilka delar av varje bildruta och vilka ögonblick i ett klipp som betyder mest. När TimeSformer tränades på stallvideorna presterade den något bättre än SlowFast, klassificerade beteenden korrekt omkring 85 % av gångerna och gjorde det tillräckligt snabbt för realtidsanvändning på en modern grafikprocessor. Visualiseringar visade att modellen naturligt fokuserade på ko‑huvudet och mulen vid utfodring och drickande, och på bålen och benen vid liggande eller stående, vilket stämmer överens med hur en mänsklig observatör skulle bedöma beteendet.

Från beteendeströmmar till gårdsbeslut

När systemet kunde känna igen beteenden klipp för klipp byggde forskarna en fullständig pipeline som körs kontinuerligt på stallvideo. Programmet följer varje ko över tid, använder ett glidande fönster på videon och jämnar ut tillfälliga fel så att korta glitchar inte framstår som snabbväxlande tillståndsförändringar. Resultatet är en ren tidslinje för varje djur: när hon åt, låg, stod, drack eller idisslade, tillsammans med hur länge varje episod varade och hur säker systemet var. Dessa strukturerade loggar kan läsas direkt av gårdens näringsmodeller som uppskattar foderintag från utfodringstid, och de kan driva en 3D‑digital tvilling i en spel‑liknande miljö som visar virtuella kor som speglar sina verkliga motsvarigheter. I en 24‑timmars fallstudie av en ko rekonstruerade systemet hennes hela dagliga aktiviteter och använde utfodringstid plus grundläggande djurdata för att uppskatta hur mycket torrfoder hon sannolikt konsumerade.

Vad detta betyder för framtidens mjölkgårdar

Studien visar att billiga kameror och noggrant utformade videomodeller kan leverera kontinuerliga beteenderegister per ko som är tillräckligt precisa för att fungera som sensorlager för en mjölkdigital tvilling. Arbetsflödet automatiserar ännu inte beslut—såsom att ändra foderblandningar eller varna personal vid sjukdom—men det förser den avgörande indataström som dessa högre nivåers verktyg bygger på. När metoden utvidgas till mer öppna stalldesigner och kombineras med andra sensorer kan bönder få en detaljerad, alltid på‑slös vy över sina djurs dagliga rytmer, vilket möjliggör en mjukare, mer precis skötsel som gagnar både korna och miljön.

Citering: Rao, S., Garcia, E. & Neethirajan, S. Video-based cattle behaviour detection for digital twin development in precision dairy systems. npj Vet. Sci. 1, 3 (2026). https://doi.org/10.1038/s44433-026-00004-x

Nyckelord: precisionsdjurhållning, datorseende, mjölkboskapsbeteende, digital tvilling, övervakning av djurvälfärd