手術用ビデオ解析における Segment Anything モデルの体系的評価とガイドライン

なぜ手術室でスマートなビデオツールが重要なのか

現代の手術は映像にますます依拠しています：小型カメラが体内を覗き、外科医はスクリーン上で繊細な器具を操作します。この情報量の多いが雑然とした映像を、器具や組織が明確にラベル付けされた地図に変換できれば、手術の安全性が高まり、教育効果が向上し、将来のロボット支援も信頼性を増すでしょう。本研究は、もともと日常的な映像で訓練された強力な汎用ビジョンシステムを取り上げ、重要かつ単純な問いを立てます：高価な医療データで一から再訓練しなくても、臨床の現場で“見分ける”のに十分使えるか？

あらゆる場面向けに作られた柔軟なビジョンツール

本研究の中心は Segment Anything Model 2（SAM2）で、ユーザーが何を注目すべきかを示す「プロンプト」を与えると映像内の対象を抽出する大規模AIです。固定されたカテゴリを学習する従来型モデルとは異なり、SAM2はクラスに依存しません：ユーザーが点やボックス、例示マスクで指し示せば、それが犬であれ車であれ手術用グラスパーであれ問題にしません。SAM2の重要な進歩はメモリバンクで、前のフレームでの対象の見え方を記憶し、それを使って時間を通じて追跡します。器具が視界に出たり入ったりし、組織が常に変形する手術ビデオでは、この点が特に有望です。

多数の手術データでモデルを徹底検証

著者らは、腹腔鏡による胆嚢摘出からロボット支援前立腺手術や内視鏡検査まで、17種類の手技を含む9つの多様なデータセットでSAM2を大規模かつ体系的に評価します。評価は主に3つの課題に焦点を当てます：器具の追跡、複数臓器のセグメンテーション、器具と組織が混在する場面の理解。各課題で、単一点・複数点・バウンディングボックス・全マスクといったさまざまなプロンプト方法を試し、映像再生中にどの頻度でプロンプトを更新すべきかを検討します。また、手術画像で軽く再訓練した場合とオフザシェルフのモデルを比較し、大規模な新規データセットなしでどこまで性能が伸ばせるかを探ります。

体内で最も有効だった方法

全体として、SAM2はこの見慣れない環境でも驚くほど強力であることが示されました。手術用に再訓練しなくとも、特にバウンディングボックスやマスクのような豊富なプロンプトを与えれば、器具や多くの臓器を専門の医療モデルと競うレベルでセグメントできます。30フレームごとにプロンプトを「再初期化」する—つまりシステムに現在の位置を定期的に思い出させる—ことで、長く複雑なクリップの追跡が大幅に改善しました。研究者らがSAM2の特定部分、たとえばプロンプトをマスクに変換するモジュールだけを微調整した場合、マルチオルガン場面の精度は大きく向上し、訓練コストは抑えられました。一方で、限られた手術データで画像エンコーダ全体を調整しようとすると性能が低下することがあり、多くのSAM2の一般的な視覚知識はそのままにしておくほうが望ましいことが示唆されます。

雑多で変化の激しい場面での限界

研究はまた明確な弱点も明らかにしました。カメラ視野が狭い、画像がノイズや低照度で劣化している、組織に明確な境界がないといった状況（内視鏡手技の一部に見られる）はSAM2が苦手とする領域です。血管や管状構造のような細かい枝分かれは、重なったり輪郭がほぼ同じ場合に分離が困難です。ビデオメモリの利用が必ずしも助けになるわけではなく、急速なカメラ動作がある高度に動的な場面では時間的手がかりが誤誘導となることもあります。これらの知見は、汎用のファンデーションモデルが多くの点で有用である一方、手術固有の現実にはドメイン固有の調整や動き・外観変化のより良い扱いが依然として必要であることを示しています。

今後のスマート手術システムへのガイドライン

この広範な検証から、著者らはSAM2を手術プロジェクトで使いたい研究者や臨床家向けに実用的な助言をまとめています。マスクやボックスのプロンプトから始め、マスクデコーダに焦点を当てたシンプルな画像ベースの微調整を行い、長いビデオでは定期的にプロンプトを更新することを推奨します。場面が比較的安定している場合にのみより複雑なビデオベースの訓練を検討すべきです。まばらにラベル付けされたクリップ（フレームの一部のみ注釈）でもモデル適応には十分であることを示しています。平たく言えば、結論は前向きです：幅広く訓練された単一のビジョンモデルが多くの手術用セグメンテーション課題を扱え、それぞれの手技ごとに新しいツールを作る必要性を劇的に減らせます。適切なプロンプティングと軽いカスタマイズを施せば、SAM2のようなシステムは次世代の手術ナビゲーション、オートメーション、教育ツールの強力な構成要素になり得ます。

引用: Yuan, C., Jiang, J., Yang, K. et al. Systematic evaluation and guidelines for segment anything model in surgical video analysis. npj Digit. Surg. 1, 2 (2026). https://doi.org/10.1038/s44484-025-00002-2

キーワード: 手術ビデオ解析, 画像セグメンテーション, ファンデーションモデル, コンピュータ支援手術, 医療向けAI