Clear Sky Science · zh

一种少样本高分辨率遥感影像语义分割方法

· 返回目录

为何更聪明的空中影像很重要

从洪水监测到新建郊区制图,许多现代决策依赖于小型无人机拍摄的高精度影像。将这些影像转换为道路、农田、建筑和水体的清晰地图通常需要专家手工标注数千个样本。该研究展示了计算机如何在大幅减少人工标注样本的情况下,仍能从无人机图像中学习并生成准确地图,这可能降低成本并加速重要的环境与城市工作。

Figure 1. 无人机如何通过智能学习步骤将少量带标注照片转化为准确的地物覆盖地图。
Figure 1. 无人机如何通过智能学习步骤将少量带标注照片转化为准确的地物覆盖地图。

教会计算机“读”地表

无人机图像分辨率极高,能够呈现屋顶、树冠、狭窄小路与岸线等细节。尽管这些细节很有价值,但也增加了自动制图的难度。传统方法依赖于手工设计的纹理与颜色规则,在复杂场景下常显不足。深度学习通过让神经网络直接从数据中学习模式,显著提升了精度。但这种能力有代价:要发挥良好,网络通常需要海量带标注的数据,而为每张图像中每个像素绘制精确轮廓既慢又昂贵。

重用其他图像中的知识

一种常见捷径是先使用在大规模照片集合(如 ImageNet)上训练的模型,然后在无人机影像上微调。另一种是知识蒸馏:强大的“教师”模型通过分享其输出模式来指导较小的“学生”模型。然而,日常照片与空中影像在视角和内容上差异很大。当只有少量带标注的无人机图像可用时,仅见过自然照片的教师可能无法提供最有价值的指导,学生模型也可能无法充分发挥潜力。

构建学习桥梁并利用未标注数据

作者提出了一个同时解决标注不足与自然照片与无人机图像不匹配问题的框架。首先,他们改进了流行的分割网络 DeepLabV3+,替换为能保留细节的主干网络并加入一个突出重要特征的注意力模块。接着,他们在自然图像与最终无人机数据集之间引入一个中间步骤。模型先在一个中等规模的遥感数据集上调优,然后其知识分阶段传递给逐步适应最终无人机集合的新学生模型。在整个过程中,特定的损失函数帮助学生在复制教师行为的同时不忘记先前学到的有用知识。

Figure 2. 分阶段师生学习与未标注图像如何精化模型,使其能够将无人机场景分割为不同地物类型。
Figure 2. 分阶段师生学习与未标注图像如何精化模型,使其能够将无人机场景分割为不同地物类型。

让模型从未标注样本中学习

为了更好地利用大量未标注的无人机图像,该框架增加了一个半监督阶段。此阶段中,更新后的教师模型会自动为未标注图像生成标签,并仅保留其最有信心的预测。这些“伪标签”与少量人工标注一起用于训练学生模型,要求学生在真实与伪标注数据上都与教师保持一致。教师的权重由学生的进步缓慢更新,形成一个双方共同提升的闭环。在中国洱海区域的高分辨率无人机数据集上的测试表明,这一策略显著提高了制图精度,尤其是在道路和农田类别上,即便只有一小部分图像带标注。

该方法在不同场景中的表现如何

除了洱海数据集,研究者还将其方法应用于一个广泛使用的街景基准。通过插入一个与城市街道场景相似的合适中间数据集,他们再次观察到比其他主流方法更好的性能,特别是在带标注图像稀缺时。实验还表明,选择合适的中间数据集至关重要:当中间步骤的场景与最终目标差异过大时,性能可能会下降而非提升。总体来看,分阶段教学、保细节的网络结构与对未标注数据的合理利用结合起来,提供了一个可适应不同制图任务的灵活方案。

对现实制图的意义

对非专业读者而言,核心信息是:从无人机影像获得高质量地图不再需要海量人工描绘。通过谨慎重用大规模图像集合的知识、加入合适的桥接数据集,并让模型从未标注的图像中自我教学,所提出的方法能以更少的人工工作生成更准确的地物覆盖地图。这将使地方规划者、农户与灾害响应团队更容易以可控的时间与成本保持对土地的最新、精细视图。

引用: Jiang, HL., Wang, N., Geng, B. et al. A few-shot high-resolution remote sensing image semantic segmentation method. Sci Rep 16, 15262 (2026). https://doi.org/10.1038/s41598-026-46887-y

关键词: 遥感, 无人机影像, 语义分割, 半监督学习, 知识蒸馏