基于优化的YOLO与单次多框检测器并结合可见光与热成像的农业环境监测与目标识别

为更安全的农用机械配备更聪明的“眼睛”

现代拖拉机和联合收割机变得更大、更快、自动化程度更高，这提出了一个简单却严肃的问题：如何确保它们不会撞到被尘雾、雾气或黑暗遮蔽的人、动物或其他机器？本文描述了一种实用的安全系统，通过将普通视频相机与热成像相机结合，赋予农用设备一种“超视力”，并比较了不同的人工智能配置，评估哪种在识别危险方面更准确、响应更快。

为什么农场作业需要更好的视觉系统

如今农业高度依赖大型高功率机械，这些机械往往长时间工作，常在夜间或恶劣天气中运行。普通视频摄像头能帮助操作员观察拖拉机周围情况，但在雾、雨、强光或黑暗条件下可见光图像常常失效。热成像摄像头捕捉的是热量而非光线，在这些恶劣条件下表现良好，并能使发热的目标——人和动物——从背景中明显凸显。作者认为，结合这两类图像是构建一种经济可行的预警系统的最佳方式，这种系统可以加装到现有机械上，并与标准拖拉机控制面板集成。

双路与统一系统如何工作

团队将一个可见光（RGB）与热成像合并的相机单元安装在拖拉机车顶，并将两路图像流传入驾驶舱内的低成本处理单元。他们探索了两种主要的人工智能目标检测方式。第一种“双网络”方法中，一套神经网络只针对可见光图像训练，另一套只针对热图像训练，然后将两者结果合并。第二种“统一”方法中，先对两种图像进行精确对齐并叠加，然后输入单一网络，让它同时从两种模态学习。两种设计均采用了快速目标检测家族模型YOLOv8，并与一种为小型嵌入式计算机优化的替代设计SSD做了比较。

构建与训练机器的视野

为了教这些网络识别目标，研究人员从公共图像库和自有摄录数据中汇集了大规模数据集。图像涵盖了人、野生和家养动物、拖拉机、收割机、卡车、巴士及其他农用机械，包含可见光与热成像视图。每个目标都用手工绘制的边框标注并赋予标签，随后对图像进行增强——翻转、旋转或轻微模糊——以模拟田间的多样情况。数据按训练、验证与测试集划分，使网络在一部分数据上学习，并在从未见过的图像上公平评估。研究中特别关注的不仅是原始精度，还包括每个模型所需的计算量与每秒帧率，因为任何实际的拖拉机系统都必须在现场快速且可靠地运行。

哪种“数码之眼”表现最好？

在数千张测试图像中，所有YOLOv8配置都能很好地检测大多数目标，尤其是大型农机和有体温的动物。以单一流同时输入RGB与热数据的统一模型取得了约0.90的总体评分（平均精度均值），略优于双网络方案的0.88。换言之，在一个网络内融合两类视觉信息带来了小但真实的性能提升，同时并未增加操作复杂性。热成像带来的最大收益出现在光照条件差时对人和动物的检测，而可见光图像在识别如拖拉机等细节形状方面仍然更优。当研究组将YOLOv8换成精简的SSD模型时，大多数类别的性能明显下降，尽管SSD训练速度更快。YOLOv8，尤其是其最小的“Nano”版本，在保持实时速度（在中等硬件上约27帧/秒）的同时，提供了更高的准确率。

将AI检测转化为简单的警示

系统并不以视频流淹没驾驶员，而是将检测结果转换为符合常见拖拉机通信标准（ISOBUS）的一目了然的仪表界面。在简洁的绿色面板上，图标显示前方是否有人、动物或车辆，并标示距离、方向及系统置信度。该精简界面可在现有操作终端上运行，并为恶劣农场环境进行设计——包括受保护的摄像头、稳定的支架以及计划中的防尘与温控方案。

这对日常农业意味着什么

对非专业读者来说，结论是：为拖拉机配备“两种眼睛”与一个经过精心选择的AI“大脑”，可以在不需异乎寻常硬件的情况下显著提升安全性。在测试选项中，融合可见光与热成像的单一精调YOLOv8网络在准确性、速度与简洁性之间提供了最佳平衡，明显优于SSD设计。尽管该系统在各种情形下识别人的能力仍有一定局限——部分原因在于训练数据中人的样本较少——研究表明基于相机的实用预警系统对于农用机械既可行又接近可投入现场使用。随着数据更均衡与融合方法的改进，未来版本有望帮助预防事故、保护野生动物并提高田间作业及周边人员的安全性。

引用: Tarasiuk, K., Mystkowski, A., Ostaszewski, M. et al. Agriculture surrounding monitoring and object identification based on optimized you only look once and single shot multibox detector setups using combined vision and thermal images. Sci Rep 16, 5129 (2026). https://doi.org/10.1038/s41598-026-36181-2

关键词: 农业安全, 热成像, 计算机视觉, 目标检测, YOLOv8