外科用RARPコパイロット：ロボット支援根治的前立腺切除術のためのビジョン言語モデル

手術室でより賢い支援

現代の前立腺がん手術は高度なロボットとカメラを用いて行われますが、外科医は依然として複雑な判断、急速に変わる視野、研修医やスタッフからの絶え間ない質問に対処しなければなりません。本稿は、ライブ手術映像を観察してその場で口頭の質問に答えられる人工知能の「コパイロット」を紹介します。まるで知識豊富な助手のように振る舞い、患者にとってはより安全で一貫した手術を、外科医にとってはあらゆる手術室で専門的な助言や教育が利用できる未来を示唆します。

視覚と言語の両方をもつデジタルアシスタント

研究者たちは外科用RARPコパイロットを、特定の手技―ロボット支援根治的前立腺切除術（RARP）―向けに構築しました。RARPは局所化前立腺がんの標準的な手術で、外科医が操作するロボットが高精細カメラに導かれて小さな孔から前立腺を除去します。従来のチャット型AIはテキストのみを処理するため、手術カメラが捉えるものを解釈できません。コパイロットは代わりにコンピュータビジョンと大規模言語モデルを組み合わせ、術野を「見る」ことで、何が起きているか、どの器具が映っているか、次の手順は何かといったことについて自然言語で回答できます。

コパイロットに外科技術を教える

コパイロットに実用的な外科知識を与えるため、研究チームは汎用のインターネット画像に頼らず、専門化された訓練データセットを構築しました。彼らは記録された前立腺手術から約2万枚のラベル付きフレームを収集し、器具や臓器の位置、手術の現在のステップをマーキングしました。さらにおおよその奥行き情報を付加し、どの物体が前方にあるか、接触しているかを推定できるようにしました。専門家が設計したルールに基づき、これらのラベルは各フレームが何を示し、手術のどの段階にあるかを詳述する文章キャプションに変換されました。次に大規模言語モデルを、上級外科医から好奇心旺盛な子どもまでの異なる「ペルソナ」の声でプロンプトし、これらのキャプションに基づく100万件を超える質問・回答ペアを生成させました。別のモデルがこれらのペアを論理的一貫性の観点から検査し、欠陥のある例は訓練前に除外されました。

コパイロットの性能

訓練後、コパイロットはいくつかの方法で評価されました。保持された合成の質問・回答セットでは、ファインチューニングにより部分的に正しい回答を出す割合が約61％から83％に、完全に正しい回答は0％から59％に向上しました。つづいて人間のレビューアが録画画像に関して650件の質問を投げかけ、ほぼ7割の回答が完全に正しいと評価されました。システムは追加再訓練なしで従来のコンピュータビジョンタスクにも取り組み、単一フレームから前立腺切除のどの段階かを82％の精度で特定し、手術器具を94％のF1スコアで認識し、手術の残り時間も推定しました。これらの結果は、単一の統合モデルが複数の専門的ツールに匹敵しつつ、自由な対話にも応じられる可能性を示しています。

ライブ手術へのAI導入

最も印象的な実証は実際の手術室で行われました。コパイロットはロボット手術の映像フィードに直結した高性能エッジコンピュータ上に展開されました。訓練に用いたものとは別のロボットプラットフォームで行われたライブの前立腺切除中、外科医や技術者の聴衆がスマートフォン経由で276件の質問を送信しました。無関係や重複する問い合わせを除外した後、専門家の評価ではコパイロットが残りの質問の約77％に正しく回答したと判断され、オフラインでの性能とほぼ同等でした。システムは応答を開始するまでに約0.5秒、テキスト生成は対話的に感じられる速さで行われ、同時に安全フィルタや不確実な場合の保守的な振る舞いが適用されました。

将来の手術にとっての意味

一般読者にとっての要点は、AIシステムが繊細ながん手術をリアルタイムで観察し、何が起きているかや次に何をすべきかについて有用で文脈に即した回答を与えられるようになった、ということです。現時点のコパイロットは一種類の手術に限定され、フルビデオ記憶ではなくスナップショットに依拠し、まだ完全な医療記録にアクセスしていませんが、マルチモーダルAIを安全に手術室に導入できることを示しました。類似のシステムがより多くの手技に拡張され、豊富な患者データと接続され、臨床的影響を厳密に検証されるようになれば、研修支援、チーム間のコミュニケーション改善、そして最終的には複雑な手術をより安全で透明なものにする助けとなるでしょう。

引用: Bogaert, W., Remy, F., Tejero, J.G. et al. Surgical RARP copilot: a vision language model for robot-assisted radical prostatectomy. npj Digit. Surg. 1, 3 (2026). https://doi.org/10.1038/s44484-025-00003-1

キーワード: ロボット手術, 前立腺がん, 外科用AI, ビジョン言語モデル, 手術室支援