与领域无关的弱监督外科器械分割

为什么对手术器械更智能的观察很重要

现代外科医生越来越多地依靠摄像头、显微镜和先进扫描仪来操作。为机器人导航、对齐三维视图或在某些图像中遮蔽器械，计算机必须在每一帧中可靠地找到每件手术器械，这一任务称为分割。目前，这通常需要医疗专家花费数千个像素级注释——即使如此，当成像设置或手术流程改变时，系统也常常失效。本文提出了一种方法，使强大的视觉模型能够在非常不同类型的医学图像中识别器械，而无需事先为每种工具绘制详细标注。

在多种图像中寻找器械的挑战

外科医生使用多种成像系统：腹腔镜摄像头的彩色视频、白内障手术中的显微镜视野，以及光学相干断层扫描（OCT）或超声等断层扫描。在这些图像中，手术器械的外观差异很大——彩色图像中是闪亮的金属杆，在OCT中可能呈现为细长的亮线或弦月形，在超声中则可能是有斑点的团块。现有深度学习方法在经过针对特定场景的大量精细标注训练后可以表现良好，但当成像设备、解剖结构或器械类型发生变化时，性能常常急剧下降，而重新收集注释既缓慢又昂贵，还受隐私和专业知识限制。

一个新思路：把器械当作“错位”的对象

作者提出了一种称为 SAM4SIS 的方法，将问题反过来处理。他们不是教系统去精确识别每种器械的外观，而是先展示不含任何器械的图像，让系统学习什么是“正常”的组织。他们使用一种名为 PatchCore 的异常检测器来构建这些正常模式的记忆。当出现新图像时，PatchCore 会突出显示那些外观与记忆不匹配的区域——这些区域很可能包含手术器械。此步骤仅需要图像级别的简单信息（图像中是否存在器械），而不是像素级的轮廓标注，使设置更为容易。

从粗略线索到精确轮廓

异常图通常比较粗糙，因此团队将其与一个强大的基础模型 Segment Anything Model 2（SAM2）结合，后者在给定目标物体内部的一个点时可以绘制出清晰的轮廓。关键技巧是从异常图中自动选择这些点，而不是由人工点击。作者为普通彩色图像和强度型扫描（如OCT）设计了针对性的过滤器，增强那些可能包含器械的区域，同时抑制阴影和亮度伪影。随后，他们对潜在器械区域进行评分，并选择最强的点作为 SAM2 的提示。由于 SAM2 会返回多个候选轮廓，作者引入了新的评分规则 SAM4SIS，用以衡量每个候选与基于异常的图的匹配程度，并选择拟合最佳的掩码。

适用于多种手术和扫描仪

研究人员在三个具有挑战性的数据集上测试了他们的方法：腹部机器人手术视频（EndoVis2017）、白内障手术的显微镜图像（CaDIS），以及含有微小器械的猪眼OCT断层扫描（PASO-SIS）。这些数据覆盖了非常不同的视角、色彩和噪声模式。在从未重新训练大型分割模型或绘制新掩码的情况下，SAM4SIS 在边界精度得分上达到了约53%到73%之间，能够匹敌或超过基于文本提示的方法，并接近某些监督系统的表现。它在传统方法较弱的场景（如OCT和超声数据）中特别表现良好，且所需设置时间不到一分钟。团队还展示了该思路可以突出其他外来物体，例如脑部超声中的棉球，表明该概念并不限于器械识别。

对未来智能手术的意义

对读者而言，核心信息是：计算机现在可以先学习“正常”组织的样子，然后将不熟悉的形状标记为可能的器械，再由通用视觉模型将其细化，从而实现对外科场景中新事物的分割。此方法避免了大量注释工作，能适应不同的成像技术，并可在最少准备的情况下整合进手术工作流程。尽管在有大量标注数据时专门训练的模型仍占优势，SAM4SIS 为新手术流程、少见成像设置或早期研究提供了实用的替代方案，推动了稳健自动化器械检测向日常临床应用迈进。

引用: Peter, R., Pham, D.X.V., Matten, P. et al. Domain-agnostic weakly supervised surgical instrument segmentation. Sci Rep 16, 9337 (2026). https://doi.org/10.1038/s41598-026-43054-1

关键词: 外科器械分割, 医学影像人工智能, 异常检测, 基础视觉模型, 机器人手术