Агностическая к домену слабоконтролируемая сегментация хирургических инструментов

Почему важны более умные представления хирургических инструментов

Современные хирурги всё чаще оперируют с помощью камер, микроскопов и передовых сканеров. Чтобы управлять роботами, согласовывать 3D‑виды или скрывать инструменты на отдельных изображениях, компьютерам нужно надёжно находить каждый хирургический инструмент в каждом кадре — задача, называемая сегментацией. Сегодня это обычно требует тысяч кропотливых аннотаций с точностью до пикселя от медицинских экспертов — и даже при этом системы часто ломаются при смене оборудования съёмки или процедуры. В этом исследовании предложен способ, который позволяет мощным моделям зрения находить инструменты в очень разных типах медицинских изображений без необходимости заранее детально обрисовывать каждый инструмент.

Задача: находить инструменты в самых разных типах изображений

Хирурги используют широкий набор систем визуализации: цветные видео с лапароскопических камер внутри брюшной полости, микроскопические изображения глаза при операциях по удалению катаракты и сечения, такие как оптическая когерентная томография (ОКТ) или ультразвук. На каждом из этих видов инструменты выглядят по‑разному — блестящие металлические стержни на цветных кадрах, тонкие яркие линии или полумесяцы в ОКТ или зернистые пятна в ультразвуке. Существующие методы глубокого обучения могут показывать отличные результаты, но только после обучения на больших, тщательно размеченных наборах данных из конкретной ситуации. Когда меняется устройство съёмки, анатомия или тип инструмента, производительность часто резко падает, а сбор новых аннотаций медленный, дорогой и ограничен требованиями конфиденциальности и экспертизы.

Новая идея: рассматривать инструменты как «чужеродные» объекты

Авторы предлагают метод под названием SAM4SIS, который переворачивает задачу с ног на голову. Вместо того чтобы обучать систему точному виду каждого инструмента, сначала показывают ей изображения без инструментов, давая возможность выучить, как выглядит «нормальная» ткань. Для этого используют детектор аномалий PatchCore, который формирует память о нормальных шаблонах. Когда приходит новое изображение, PatchCore выделяет области, чья внешность не вписывается в эту память — участки, которые, вероятно, содержат хирургические инструменты. Этот шаг требует только простого уровня информации о наличии инструмента в изображении, а не покадровых контуров, что значительно облегчает подготовку.

От грубых подсказок к точным контурам

Карты аномалий грубые, поэтому команда сочетает их с мощной фундаментальной моделью Segment Anything Model 2 (SAM2), способной рисовать чёткие контуры при наличии точки внутри интересующего объекта. Ключевой приём — автоматически выбирать эти точки по карте аномалий, вместо того чтобы просить человека кликнуть. Авторы разрабатывают фильтры, настроенные для обычных цветных изображений и для интенсивностных сканов вроде ОКТ, усиливая области, вероятно содержащие инструменты, и подавляя тени и яркие артефакты. Далее они оценивают потенциальные области инструментов и выбирают самые сильные точки как подсказки для SAM2. Поскольку SAM2 возвращает несколько кандидатных контуров, авторы вводят новое правило оценки, SAM4SIS, которое измеряет соответствие каждого кандидата карте аномалий и выбирает наиболее подходящую маску.

Работает при разных операциях и на разных сканерах

Исследователи тестируют подход на трёх требовательных наборах данных: видео абдоминальной роботизированной хирургии (EndoVis2017), микроскопические изображения при операциях катаракты (CaDIS) и сечения ОКТ глаза свиньи с мелкими инструментами (PASO‑SIS). Они охватывают очень разные виды, цвета и шумовые паттерны. Не переобучая большую модель сегментации и не рисуя новые маски, SAM4SIS достигает показателей точности границ примерно от 53% до 73%, сопоставимых с текстовыми методами подсказок и приближающихся к некоторым супервайзинговым системам. Он особенно хорошо проявляет себя там, где традиционные методы испытывают сложности — например, в данных ОКТ и ультразвука — и требует менее минуты на настройку. Команда также показывает, что та же идея может выделять другие чужеродные объекты, например ватные шарики на ультразвуке мозга, что говорит о более широкой применимости концепции, не ограниченной только инструментами.

Что это значит для будущей «умной» хирургии

Главная мысль для читателей: компьютеры теперь могут «сегментировать всё новое» в хирургических сценах, сначала изучая, как выглядит нормальная ткань, а затем помечая незнакомые формы как вероятные инструменты, которые уточняются универсальной моделью зрения. Такой подход избавляет от тяжёлой работы по аннотированию, адаптируется к разным технологиям визуализации и может быть встроен в хирургические рабочие процессы с минимальной подготовкой. Хотя специализированные, тщательно обученные модели по‑прежнему превосходят при наличии большого числа размеченных данных, SAM4SIS предлагает практичную альтернативу для новых процедур, редких настроек визуализации или ранних этапов исследований, приближая надёжное автоматическое обнаружение инструментов к повседневной клинической практике.

Цитирование: Peter, R., Pham, D.X.V., Matten, P. et al. Domain-agnostic weakly supervised surgical instrument segmentation. Sci Rep 16, 9337 (2026). https://doi.org/10.1038/s41598-026-43054-1

Ключевые слова: сегментация хирургических инструментов, ИИ в медицинской визуализации, обнаружение аномалий, фундаментальные модели зрения, роботизированная хирургия