ROBUST-MIPS: объединённый набор данных с скелетной позой и сегментацией экземпляров для лапароскопических хирургических инструментов

Более «умные» глаза для хирургических инструментов

Ключевая хирургия опирается на длинные тонкие инструменты, управляемые камерами внутри тела. Чтобы компьютеры могли помогать хирургам — отслеживать инструменты, предупреждать об опасных зонах или даже управлять камерой — им сначала нужно точно знать, где находится каждый инструмент и как он ориентирован. В этой статье представлен ROBUST-MIPS, большой и тщательно размеченный набор изображений, который обучает алгоритмы лучше и точнее отслеживать хирургические инструменты, прокладывая дорогу к более безопасным и автоматизированным операциям.

Почему сложно следить за инструментами внутри тела

Во время минимально инвазивной хирургии камера показывает круглое окно в перегруженную, меняющуюся сцену: ткани, кровь, дым, блики и несколько перекрывающихся инструментов. Многие исследовательские группы пытались научить компьютеры понимать такие сцены, размечая каждый пиксель, принадлежащий инструменту — процесс, называемый сегментацией. Хотя это даёт очень подробные результаты, такие пиксельные контуры трудоёмки и утомительны для разметчиков, и они не всегда отражают наиболее полезную информацию о том, где инструмент начинается, сгибается и заканчивается. Простые прямоугольники, распространённые в повседневном компьютерном зрении, здесь показывают себя плохо: инструменты длинные и тонкие, поэтому рамка вокруг них включает много лишнего и перекрывается с другими инструментами.

Вид инструмента как «палочная фигурка»

Авторы предлагают другой подход: вместо закрашивания каждого пикселя описывать каждый инструмент как простую «палочную фигурку», состоящую из нескольких ключевых точек, соединённых прямыми линиями. В наборе данных ROBUST-MIPS каждый инструмент на каждом изображении размечен четырьмя стандартными точками: где он входит в поле зрения камеры (точка входа), где вал соединяется с подвижным или жёстким наконечником (шарнир), и до двух возможных положений наконечника. Такая схема подходит и для жёстких инструментов, таких как зонды, и для шарнирных — таких как зажимы и ножницы. Для инструментов с одним наконечником или для случаев, когда наконечники перекрываются или исчезают из вида, дополнительная точка помечается как отсутствующая, но сохраняется в том же формате, чтобы алгоритмы всегда видели согласованную структуру.

Работа со скрытыми и неоднозначными частями

Реальные операции беспорядочны: части инструмента часто скрыты за тканью, находятся вне круглого поля зрения камеры или совсем за кадром. Чтобы это учесть, команда добавляет метку видимости для каждой ключевой точки: явно видимая, скрытая но достоверно восстанавливаемая или полностью неизвестная. Например, если виден только вал, положения наконечника помечаются как отсутствующие; если наконечник за тканью, но его положение можно вывести по видимому валу и форме инструмента, он помечается как окклюзированный с оценёнными координатами. Авторы даже позволяют разметчикам ставить точки чуть за границей изображения, когда инструмент очевидно продолжается за кадром, обеспечивая связность «палочной фигурки», даже если видна только её часть.

Создание и распространение богатой тренировочной базы

ROBUST-MIPS построен поверх ранее широко используемого набора данных ROBUST-MIS, содержащего 10 040 кадров из 30 колоректальных операций. Каждый кадр уже сопровождался подробными масками инструментов; новая работа добавляет скелетные метки и очищает маски, удаляя статичные порты камеры, которые не движутся и не помогают в отслеживании инструментов. Каждый кадр упакован с исходным изображением, уточнённой маской, включающей только активные инструменты, и файлом, описывающим ключевые точки, их видимость и связи между ними. Авторы конвертируют эту информацию в популярный стандартный формат, изначально разработанный для поз человека, чтобы многие существующие алгоритмы могли использовать данные с минимальными допработами.

Тестирование набора данных

Чтобы показать, что эти аннотации полезны не только теоретически, команда обучает несколько ведущих моделей оценки позы — изначально разработанных для отслеживания суставов человека — на отслеживание хирургических инструментов. В этой постановке каждая точка инструмента рассматривается как человеческий сустав. Поскольку два наконечника многих инструментов взаимозаменяемы, авторы адаптируют обычный метод оценки, чтобы обмен наконечниками не считался ошибкой. Они также корректируют способ измерения размера, чтобы длинные тонкие инструменты оценивались справедливо, независимо от их поворота на изображении. На тысячах невидимых ранее кадров модели показывают высокую точность, что свидетельствует о том, что небольшого набора хорошо подобранных точек достаточно для надёжной локализации, даже в присутствии дыма, крови, бликов и перекрывающихся инструментов.

Что это значит для будущей хирургии

ROBUST-MIPS демонстрирует, что представление хирургических инструментов в виде простых скелетных контуров может давать богатую, практичную информацию при доле стоимости разметки по сравнению с масками по пикселям. Выпуская набор данных, собственное программное обеспечение для разметки и готовые эталонные модели, авторы дают сообществу прочную платформу для создания более умных систем, которые надёжно отслеживают инструменты у разных пациентов и в разных процедурах. В долгосрочной перспективе такие возможности могут помочь обеспечить более безопасную навигацию, проверки безопасности в реальном времени и более интуитивную автоматизацию в операционной.

Цитирование: Han, Z., Budd, C., Zhang, G. et al. ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments. Sci Data 13, 684 (2026). https://doi.org/10.1038/s41597-026-06938-5

Ключевые слова: отслеживание хирургических инструментов, лапароскопическая хирургия, оценка позы, набор данных медицинской визуализации, компьютерно-ассистированная хирургия