ROBUST-MIPS: 腹腔鏡外科用器具の骨格ポーズとインスタンス分割を組み合わせたデータセット

外科器具に“賢い目”を

内視鏡手術は、体内をカメラで覗きながら細長い器具を操作する手法です。コンピュータが医師を支援して器具を追跡したり危険領域を警告したり、あるいはカメラを制御したりするには、まず各器具の位置と向きを正確に把握する必要があります。本稿はROBUST-MIPSを紹介します。これはアルゴリズムに器具の追跡をより効率的かつ正確に学習させるための、大規模で丁寧にラベル付けされた画像集であり、安全で自動化の進んだ手術へ向けた基盤を提供します。

体内で器具を追うことが難しい理由

低侵襲手術では、カメラに映るのは円形の視野に収まった混み合った動的な場面です：組織、血液、煙、反射、そして重なり合う複数の器具。多くの研究グループは、器具に属するすべての画素にラベルを付けるセグメンテーションでこの場面を理解させようとしてきました。セグメンテーションは非常に詳細ですが、画素単位で輪郭を描く作業は遅く疲れるうえ、器具のどこが始点で曲がり、先端がどこにあるかといった最も役立つ情報を必ずしも捉えられません。日常のコンピュータビジョンでよく使われる単純な矩形ボックスは、器具が長く細いため多くの無関係な領域を含み、他の器具と重なりやすく性能が低下します。

器具をスティックフィギュアで表す

著者らは別の視点を提案します：すべての画素を塗る代わりに、少数の重要点を直線で結んだ単純な「スティックフィギュア」として各器具を記述するのです。ROBUST-MIPSでは、各画像の各器具に対して四つの標準的な位置がラベル付けされています：カメラ視野に入る入口点（entry point）、柄（シャフト）と可動あるいは剛性のある先端が接続する位置（ヒンジ）、そして最大二つの先端位置（チップ）。この設計はプローブのような剛体器具と、グラスパーやハサミのような関節を持つ器具の両方に対応します。先端が一つしかない器具や先端が重なって見えない器具については、余分な点を欠損としてマークしますが、同じフォーマットを維持してアルゴリズムが常に一貫した構造を受け取れるようにしています。

隠れた部位や曖昧さへの対処

実際の手術は混沌としており、器具の一部は組織の後ろに隠れたり、カメラの円形視野の外に出たり、完全に画面外になることもあります。これに対処するため、チームは各キーポイントに可視性ラベルを付けています：明瞭に見える、隠れているが確信を持って推定できる、または完全に不明。たとえば柄だけが見えている場合は先端位置を欠損としてマークし、先端が組織の後ろにあるが柄や器具の形から推定できる場合は、推定座標付きで遮蔽（オクルード）としてマークします。さらに、器具が明らかに画面外へ続いている場合には注釈者が画像境界の少し外に点を置くことも許容し、部分しか見えない場合でもスティックフィギュアの連続性を保てるようにしています。

豊かな学習用資源の構築と公開

ROBUST-MIPSは、以前から広く使われているデータセットROBUST-MISの上に構築されています。ROBUST-MISは30件の大腸手術から10,040フレームを含んでいます。各フレームには既に詳細な器具マスクが付属していましたが、本研究はそこに骨格ラベルを追加し、動かないカメラポートなど追跡に役立たない静的な要素を除去してマスクを精緻化しました。各フレームは元画像、能動的な器具だけを含む精製マスク、キーポイントとその可視性、接続情報を記したファイルとともにパッケージ化されています。著者らはこの情報を、もともと人体姿勢用に開発された汎用フォーマットに変換しており、多くの既存アルゴリズムが最小限の手間でこのデータを利用できるようにしています。

データセットを実際に試す

注釈が紙上の整然としたアイデアにとどまらないことを示すため、チームは複数の先進的な姿勢推定モデル（もともとは人体の関節追跡向けに設計されたモデル）を訓練し、外科器具の追跡に適用しました。この設定では各器具点を人体の関節のように扱います。多くの器具では二つの先端が交換可能であるため、著者らは先端同士の入れ替えを誤りと見なさないよう評価方法を調整しました。また、長く細い器具が画像内でどのように回転しても公正に評価されるよう、サイズ測定の方法も適応させています。数千枚の未知画像に対してモデルは高い精度を示し、煙、血液、反射、器具の重なりがあっても、少数の適切に選ばれた点で信頼できる位置特定が可能であることを示しています。

今後の手術への示唆

ROBUST-MIPSは、外科器具を単純な骨格アウトラインで表現することで、画素単位マスクのラベリングコストのごく一部で豊かで実用的な情報を提供できることを示しています。データセット、カスタム注釈ソフトウェア、すぐ使えるベンチマークモデルを公開することで、著者らは異なる患者や手技にわたって器具を堅牢に追跡するための堅実な基盤をコミュニティに提供します。長期的には、これらの技術がより安全なナビゲーション、リアルタイムの安全チェック、手術室での直感的な自動化を実現するのに役立つ可能性があります。

引用: Han, Z., Budd, C., Zhang, G. et al. ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments. Sci Data 13, 684 (2026). https://doi.org/10.1038/s41597-026-06938-5

キーワード: 外科用器具追跡, 腹腔鏡手術, 姿勢推定, 医用画像データセット, コンピュータ支援手術