通过稳定扩散的生成增强改善深海影像中稀有类别的检测

为什么难以发现稀有的深海生物

在海面之下很深的地方，生活在海底的大型动物有助于维持深海生态系统的健康。这些生物同时也正处在日益增长的深海采矿关注范围之内。科学家希望自动化相机系统能可靠地发现并计数它们，但问题在于：许多物种只出现过几次。本研究考察了现代图像生成型人工智能如何创造出看起来真实的稀有物种示例，帮助检测软件在不派遣更多船只出海的情况下提高准确性。

在难以抵达的世界中拍照

团队使用了两套来自西太平洋多金属结核区的大型海底照片集合。一套来自系泊相机系统，拖曳在距海底数米处，另一套来自自由游动的机器人。两套图像合计涵盖了16类动物，包括海参、海绵、珊瑚、海星、脆弱海星和章鱼等。像许多野生动物数据集一样，样本数高度不均衡：少数常见动物频繁出现，而若干类的标注样本少于50张。由于大多数动物在每张图像中占比不足万分之一，而且在超过4000米深度操作相机成本高昂，单纯收集更均衡的数据并不现实。

教图像生成器认识稀有的海底生物

为了解决这一不平衡问题，研究人员转向了一种流行的图像生成方法——扩散模型。他们从一个在日常场景上训练的强大通用版本入手，然后使用一种轻量级的微调方法将其温和地适配到深海影像上。首先，他们裁剪出175个清晰的、属于七类稀有动物的示例（例如枝喙类、某些珊瑚和章鱼），用这些样本训练模型以绘制每类可信的前景切片。通过变化简单的文本提示来鼓励姿态、颜色、光照和视角的变化，使模型不只是复制少量原始照片，而是探索更真实的组合。

将合成动物融合进真实的海底场景

因为目标检测器既需要动物也需要其周围环境，第二阶段聚焦于背景与布局。在这一步，团队使用了一个配套的控制系统，通过简单的蒙版图像指导扩散模型。这些蒙版指定了每个合成动物应该出现的位置和大小，依据真实数据中观察到的尺寸范围。随后模型生成具有相匹配沉积物、岩石和结核纹理的海底背景，将前景动物平滑地融合到场景中，同时保持光照与色彩一致。关键是，每个蒙版还提供了自动的边界框，从而生成现成的标注。过滤掉有缺陷的结果后，最终的合成数据集中每个稀有类别包含200个高质量示例，这些示例与原始训练照片混合使用。

额外图像带来了多大帮助？

改进后的数据集用于训练一个现代的检测网络，该网络可以在每帧中定位并标注动物。在拖曳相机和自由游动机器人两个数据集上，加入合成图像相比仅用真实照片训练时提升了主要的准确性指标。提升在最稀有的类别上最为显著：例如，在一个数据集中，章鱼和枝喙类的表现提升超过20个百分点，另一个数据集中枝喙类和水螅动物也出现了类似的增益。该方法也优于常见的数据增强手段，如随机裁剪、色彩偏移和剪贴合成。详细的错误分析显示，最大改进来自减少物种混淆错误，而不是边界框定位更精确。

局限、权衡与未来方向

这些好处并非均匀分布。对于自由游动机器人拍摄的更模糊、更远距离的图像，合成数据的帮助较小，那里的真实动物本就更难以辨认。当在一种相机系统上训练的模型在另一套系统上测试时，性能显著下降，说明光照和拍摄距离的差异仍然是主要挑战。作者还发现，更多的合成数据并不总是更好：性能在达到某一点后趋于平稳，表明一旦多样性饱和，额外图像主要增加冗余。他们建议未来工作可聚焦更精确的本地化、对非常小且模糊目标的更好处理，以及更高效的生成模型以同时覆盖更多物种。

这对监测深海意味着什么

简而言之，该研究表明，精心生成的合成图像可以显著提升自动系统在真实勘测照片中发现稀有深海动物的能力。通过教会检测器在多种真实条件下稀有物种可能的外观，这种方法降低了漏检率，同时不损害对常见动物的检测表现。虽然它不能替代实地考察或专家复核，但提供了一种实际可行的办法来扩展有限数据的效用，从而在工业活动向深海推进时，支持对脆弱深海栖息地的更可靠监测。

引用: Deng, J., Duan, M., Wei, D. et al. Improving rare-class detection in deep-sea imagery via generative augmentation with stable diffusion. Sci Rep 16, 15910 (2026). https://doi.org/10.1038/s41598-026-45732-6

关键词: 深海影像, 数据增强, 稳定扩散, 稀有物种检测, 水下机器人