ホウ素中性子捕捉療法に関する知識評価における大規模言語モデルの性能比較

新しいタイプのがん放射線治療のためのスマートチューター

ホウ素中性子捕捉療法（BNCT）は、周囲の健康な組織をなるべく温存しつつ腫瘍を破壊することを目的とした新興の放射線治療法です。この複雑な療法が研究室から病院へと広がるにつれて、医師や研修生は多くの専門的な知識を習得する必要があります。本研究は時宜を得た問いを投げかけます：現在広く使われている人工知能チャットボットはBNCTの教育や支援に役立つのか、もしそうならどの程度信頼できるのか？

BNCTが従来の放射線と異なる点は何か？

BNCTは標準的なX線や陽子治療とは非常に異なる仕組みで働きます。患者には腫瘍細胞内に集まる特殊な形のホウ素を含む薬剤が投与されます。その細胞が後で中性子線にさらされると、ホウ素原子が局所的な核反応を起こして短射程の粒子を放出し、近傍組織をほとんど傷つけずに腫瘍細胞を内側から死滅させます。この高い標的性は、治療が難しい腫瘍や低酸素の腫瘍にとって特に有望です。従来はBNCTは中性子源として原子炉に依存しており、臨床利用は限られていました。2020年に日本で加速器ベースのBNCT装置が承認され、中国などの国でも新たなセンターが稼働し始めたことで、BNCTはより多くの患者にとって現実的な選択肢となり、集中的な訓練と認定の緊急性が生じています。

代表的な4つのAIをテストにかける

汎用チャットボットがBNCTの話題をどれほど扱えるかを評価するため、研究者らは基礎概念、最新研究、臨床実務、計算や推論を含む47問のテストを作成しました。質問は中国語と英語の両方で作成され、定義のような単純な事実問題から、論理や数値作業を要するより困難な問題まで含まれます。異なる企業の広く使われているシステムによって代表される4つの主要なAIファミリーは、それぞれ5つの別々の時点で、2言語、2つの出題形式（単純な直接質問と短い臨床シナリオに組み込んだ質問）で評価されました。専門のがん医療従事者がすべての解答を基準解答と照らして採点し、さらにAIが「わからない」といった不確実性を認める頻度も追跡しました。

誰が最もよく答え、どのような問いで優れていたか？

総じて、2つのモデルファミリーが他の2つより明確に優れました。最も優れたシステムの正答率は約73％、次点が約70％で、残りのモデルはおおむね62％と56％でした。興味深いことに、上位のモデルは単に記憶した事実に強いわけではありませんでした。彼らは事実の単純な再現よりも推論を要する問題で顕著に良い成績を示し、線量計算や計画的な問題のような多段階の思考課題に比較的強いことを示唆します。あるモデルは事実問題と推論問題でほぼ同等のスコアを示した一方で、別のモデルは推論ではやや良いものの全体的には出遅れていました。

更新、言語、そして「わからない」と言う意欲

AIシステムは頻繁に更新されるため、研究者らは2023年後半から2025年中頃にかけての5回の試験ラウンドで性能がどう変化したかも調べました。大きなバージョンアップは正確性の明確な跳躍をもたらす傾向があり、同じバージョン内の小さな改良はほとんど差を生みませんでした。あるファミリーは時間とともに60％未満から80％を超える正答率へと上昇し、技術の進歩の速さを浮き彫りにしました。驚くべきことに、質問が中国語か英語か、あるいは直接的に問うかロールプレイ形式で問うかは、各モデルに備わった強みと比べると影響は小さかったです。より顕著だったのは、誤答時にどれだけ率直に不確実性を認めるかの違いです。あるモデルは誤答のほぼ5回に1回で不確実性を認めたのに対し、別のモデルはめったに認めず、自信満々だが誤った回答を提示することが多く見られました。

これが医師、学生、患者に意味すること

本研究の結論は、現時点での最良の汎用チャットボットはBNCTに関する合理的に正確な説明や練習問題を既に提供でき、教育や自習の有望な補助となり得るということです。しかし、どのシステムも全てのBNCTの問いに正しく答えられるほど信頼できるわけではなく、不確実性の表現や隠蔽の仕方は安全性に関わる点で異なります。現段階では、これらのツールは専門家の判断を補助するスマートな助手として位置づけるのが最適です。著者らは、臨床や教育現場でAIが信頼できる第一線の役割を果たすには、BNCTに特化したAIモデルと、その使用基準を明確にすることが必要だと主張しています。

引用: Shen, S., Wang, S., Gao, M. et al. Performance comparison of large language models in boron neutron capture therapy knowledge assessment. Sci Rep 16, 5321 (2026). https://doi.org/10.1038/s41598-026-36322-7

キーワード: ホウ素中性子捕捉療法, がん放射線治療, 医学教育, 人工知能, 大規模言語モデル