Clear Sky Science · zh

用于无人机结构健康检查中高效裂缝分类的 TinyML 流程

· 返回目录

天际更聪明的眼睛

桥梁、水坝及其他关键结构会像人一样老化,细小裂缝常常是未来失效的早期预警信号。工程师越来越多地派遣小型无人机对这些表面拍照,但如今许多图像必须发送到远端服务器进行分析,既消耗电池电量,又带来数据隐私风险。本文探索如何将裂缝检测的“智能”压缩到可搭载在无人机上的极低功耗毫瓦级芯片中,从而使检测更快、更安全、更高效。

Figure 1
Figure 1.

为什么裂缝很重要

传统的结构健康监测方法通常依赖于用螺栓或粘合剂固定在混凝土和钢结构上的接触式传感器。这类系统安装成本高,往往只能在损伤发展后才检测到问题。目视检查提供了更直接的观测,但让人工检查员登上脚手架或进入车道既慢又有风险且带有主观性。配备相机的小型无人机提供了更好的方式:它们可以快速沿桥面和墙体扫拍,捕捉揭示细微裂缝的成千上万张高细节照片。挑战在于当无人机电池有限且网络连接不可靠时,如何处理这些海量数据。

把所有东西传到云端的问题

目前大多数系统遵循“边缘采集—云端推理”的模式。无人机仅作为飞行相机,将图像流式传输到别处的一台强大计算机,由其运行深度学习模型判断每个混凝土块是否包含裂缝。从计算角度看,这种做法合理,但存在重大缺点。高质量图像流会大量消耗无人机电池,显著缩短飞行时间。如果无线链路中断或变弱,检测任务可能在关键时刻停滞。将关键信息基础设施的高清图像传输到远端服务器也会引发可理解的隐私与安全顾虑。这些矛盾促使采用另一种方法:把智能直接放到无人机上,放在几乎仅比数字手表强一点点的硬件上。

把“大脑”缩小到微型芯片

作者构建了一个端到端流程,可在低功耗微控制器 STM32H7 上运行,使用一种名为 MobileNetV1x0.25 的紧凑神经网络。他们并没有发明全新模型,而是关注模型周围的所有环节:图像如何预处理以及如何压缩模型。他们使用了一个被广泛研究的超过 50,000 张混凝土图像的数据集,按小块划分并标记为“裂缝”或“无裂缝”,然后训练并测试了针对该微型模型准备这些图像块的不同方法。一种路径遵循人工设计的处理序列,例如转换为灰度、增强对比度、去噪、平滑,最后将图像变为鲜明的黑白轮廓。另一种路径让一种“贪心”搜索策略逐步构建预处理链,始终保留那些真正提升模型性能的步骤组合。

在流程中寻找最佳平衡点

测试表明,更多的处理并不总是更好。以强二值化结尾的手工流程实际上损害了神经网络,去除了模型识别细微裂缝所需的微妙阴影。相比之下,贪心搜索发现更简单的两步——灰度转换加中值滤波以温和平滑噪声——能获得最佳结果。在此基础上,团队系统性地探索了四种压缩模型的方法:将数值从全精度转换为 8 位整数、在“假装”量化的情况下训练(量化感知训练)、剪枝以去除不重要的权重,以及将相似权重聚类在一起。他们单独和组合地尝试这些技术,然后将得到的模型部署到微控制器板上,不仅测量准确率,还测量内存使用、处理时间和每次决策的能耗。

微型计算机,大性能

有一种配置成为综合表现最佳的选择:采用灰度加中值滤波的输入,模型则结合了剪枝与量化感知训练并以 8 位格式运行。该紧凑配置实现了 0.938 的 F1 分数——在抓取真实裂缝与避免误报之间的平衡上比早期的机载裂缝检测器提高了超过 11 个百分点。与此同时,它仅需约 2.9 兆字节的工作内存、309 千字节的程序存储,并且处理每个图像块所需时间不足半秒。每次决策大约消耗 0.6 焦耳能量。当安装在 DJI Mini 4 Pro 无人机上并持续运行此裂缝分类器时,与流行但更重的边缘计算板大约消耗四分之一电量相比,该分类器仅约减少飞行时间约 4%。

Figure 2
Figure 2.

这对实际检测的意义

对非专业读者而言,核心信息是:严肃的结构评估不再需要将敏感图像传送到远端数据中心或将笨重且耗电的计算机送上天空。通过精细调整图像清理方式和神经网络压缩策略,作者展示了拇指大小的芯片能够可靠识别混凝土裂缝,同时几乎不消耗无人机电池。该系统对运动模糊和光照变化保持一定鲁棒性,即便在大量健康图像中裂缝样本稀少时也能表现合理。综上,这些结果推动了基于无人机的检查走向一个未来:小型、廉价的无人机群能够安静地巡逻基础设施,用高效的机载智能早期发现问题。}

引用: Zhang, Y., Nürnberg, A., Rau, L.S.M. et al. TinyML pipeline for efficient crack classification in UAV-based structural health inspections. Sci Rep 16, 8964 (2026). https://doi.org/10.1038/s41598-026-43534-4

关键词: 无人机检测, 混凝土裂缝, 微型机器学习, 结构健康监测, 边缘人工智能