Monitoring van landbouwomgevingen en objectidentificatie op basis van geoptimaliseerde YOLO en SSD-opstellingen met gecombineerde zicht- en warmtebeelden

Slimmere ogen voor veiligere landbouwmachines

Moderne tractoren en maaidorsers worden groter, sneller en steeds geautomatiseerder, wat een eenvoudige maar ernstige vraag oproept: hoe zorg je ervoor dat ze geen mensen, dieren of andere machines raken die verscholen zitten in stof, mist of duisternis? Dit artikel beschrijft een praktische veiligheidsoplossing die landbouwmachines een soort "supervisie" geeft door gewone video- en warmtebeeldcamera's te combineren, en vergelijkt verschillende kunstmatige-intelligentieopstellingen om te bepalen welke gevaren het nauwkeurigst en snelst kan opsporen.

Waarom landbouwwerk betere visie nodig heeft

De landbouw steunt nu sterk op grote, krachtige machines die lange uren werken, vaak ’s nachts of bij slecht weer. Een gewone videocamera kan een bestuurder helpen rondom een tractor te kijken, maar standaardbeelden falen bij mist, regen, felle schittering of duisternis. Warmtebeeldcamera’s, die warmte in plaats van licht registreren, presteren goed onder die zware omstandigheden en laten warme lichamen—mensen en dieren—duidelijk opvallen tegen de achtergrond. De auteurs betogen dat het combineren van beide beeldtypen de beste manier is om een betaalbaar waarschuwingssysteem te bouwen dat achteraf op bestaande machines kan worden gemonteerd en geïntegreerd met standaard tractorbedienpanelen.

Hoe de dubbele en verenigde systemen werken

Het team monteerde een gecombineerde RGB (normale kleur) en warmte-eenheid op het tractor dak en voerde beide beeldstromen naar een goedkope verwerkingsunit in de cabine. Ze onderzochten twee hoofdmethoden om kunstmatige intelligentie te gebruiken voor objectdetectie in deze beelden. In de eerste, "dubbele-netwerk"-benadering, werd één neuraal netwerk alleen getraind op zichtbare beelden en een tweede netwerk alleen op warmtebeelden; hun resultaten werden vervolgens samengevoegd. In de tweede, "verenigde" benadering, werden de twee beelden zorgvuldig uitgelijnd, op elkaar gestapeld en aan één netwerk gevoerd dat van beide tegelijk leerde. Beide ontwerpen werden geïmplementeerd met een familie snelle objectdetectiemodellen bekend als YOLOv8 en met een alternatief ontwerp genaamd SSD, afgestemd op kleine, ingebedde computers.

Het beeld van het veld bouwen en trainen

Om deze netwerken te leren wat ze moesten zoeken, stelden de onderzoekers een grote dataset samen uit openbare beeldbibliotheken en hun eigen cameraregistraties. De beelden omvatten mensen, wilde en tamme dieren, tractoren, maaidorsers, vrachtwagens, bussen en andere landbouwmachines, zowel in zichtbare als in warmteweergave. Elk object werd omringd door een met de hand getekend kader en kreeg een label; de beelden werden vervolgens geaugmenteerd—omgekeerd, geroteerd of licht vervaagd—om de variatie te simuleren die in echte velden voorkomt. De data werden gesplitst in trainings-, validatie- en testsets zodat de netwerken op één deel konden leren en eerlijk beoordeeld konden worden op afbeeldingen die ze nog nooit eerder hadden gezien. Er werd speciale aandacht besteed aan het meten van niet alleen ruwe nauwkeurigheid, maar ook het aantal rekenbewerkingen en het aantal frames per seconde dat elk model nodig had, aangezien elk reëel tractorsysteem snel en betrouwbaar in het veld moet draaien.

Welke digitale ogen presteerden het beste?

Over duizenden testbeelden detecteerden alle YOLOv8-opstellingen de meeste doelen zeer goed, vooral grote landbouwmachines en warmbloedige dieren. Het verenigde model dat zowel RGB- als warmtegegevens in één stroom verwerkte behaalde een totaalscore (mean average precision) van ongeveer 0,90, iets voor op de dubbele-netwerkopstelling met 0,88. Met andere woorden: het samenvoegen van beide soorten beeld binnen één netwerk gaf een kleine maar reële prestatieverbetering zonder het systeem ingewikkelder in gebruik te maken. De grootste winst van warmtebeeldvorming was zichtbaar voor mensen en dieren bij slechte verlichting, terwijl zichtbare beelden beter bleven voor gedetailleerde vormen zoals tractoren. Toen het team YOLOv8 verving door hun gestroomlijnde SSD-model, daalde de prestatie merkbaar voor de meeste klassen, hoewel SSD veel sneller trainde. YOLOv8, vooral de kleinste "Nano"-variant, leverde hogere nauwkeurigheid en haalde toch real-time snelheden van ongeveer 27 frames per seconde op bescheiden hardware.

AI-detecties omzetten naar eenvoudige waarschuwingen

In plaats van de bestuurder te overstelpen met videobeelden, zet het systeem detecties om in een eenvoudig dashboard dat een gangbare tractorcommunicatiestandaard (ISOBUS) volgt. Op een eenvoudige groene balk tonen iconen of er een mens, dier of voertuig voor de machine staat, samen met afstand, richting en hoe zeker het systeem is. Deze uitgeklede interface kan draaien op bestaande bedieningsterminals en is ontworpen voor ruwe landbouwomstandigheden, met beschermde camera's, gestabiliseerde bevestigingen en stof- en temperatuurbeheersing gepland voor toekomstige versies.

Wat dit betekent voor dagelijks landbouwwerk

Voor niet-specialisten is de conclusie dat het geven van tractoren "twee soorten ogen" en een goedgekozen AI-hersenen de veiligheid aanzienlijk kan verbeteren zonder exotische hardware te vereisen. Een enkel, zorgvuldig afgestemd YOLOv8-netwerk dat zicht- en warmtebeelden mengt biedt de beste mix van nauwkeurigheid, snelheid en eenvoud van de geteste opties en presteert duidelijk beter dan het SSD-ontwerp. Hoewel het systeem nog wat moeite heeft om mensen in alle situaties te herkennen—gedeeltelijk omdat er minder voorbeelden van hen in de trainingsdata zaten—laat de studie zien dat praktische, camera-gebaseerde waarschuwingssystemen voor landbouwmachines haalbaar en bijna veldklaar zijn. Met meer evenwichtige data en verfijnde fusiemethoden zouden toekomstige versies kunnen helpen ongevallen te voorkomen, wilde dieren beschermen en grootschalige landbouw veiliger maken voor iedereen in en rond het veld.

Bronvermelding: Tarasiuk, K., Mystkowski, A., Ostaszewski, M. et al. Agriculture surrounding monitoring and object identification based on optimized you only look once and single shot multibox detector setups using combined vision and thermal images. Sci Rep 16, 5129 (2026). https://doi.org/10.1038/s41598-026-36181-2

Trefwoorden: landbouwveiligheid, warmtebeeldvorming, computer vision, objectdetectie, YOLOv8