医学部生向け臨床血液学の多肢選択式問題を作成するための三つの人工知能チャットボットの評価

明日の医師のためのより良い試験問題

多肢選択式の試験は派手ではないかもしれませんが、将来の医師の技能形成に密かに影響を与えます。試験の各問題は学生が実際の患者について考える方向性を左右します。本研究は時宜を得た問いを提示します：現代の人工知能チャットボットは、血液疾患の良質な試験問題を、品質や安全性を損なうことなく、忙しい医師教育者がより速く作成するのに役立つか？

AIが試験問題作成をどう支援したか

研究者らは、いずれも文章生成を目的とした三つの広く使われるAIチャットボットに着目しました。各システムに対して血液学、すなわち貧血や白血病などの血液疾患に関する多肢選択式問題を50問ずつ作成するよう依頼しました。問題は、医療試験や臨床でよく出る五つの主要トピックをカバーする必要がありました：汎血球減少（すべての血球が低下する状態）、貧血、血小板減少症、そして骨髄性増殖性およびリンパ性増殖性症候群という二群の血液悪性腫瘍です。合計でチャットボットは150問を生成し、各システムあたり半分の分より短い時間で終えました—手作業で作る場合と比べると非常に大きな時間節約です。

AI作成の問題を精査する

速さだけでは、問題が誤っていたり、混乱を招いたり、不公正であれば意味がありません。品質を検証するために、血液学の経験豊富な三人の教員が—どのチャットボットがどの問題を作ったかは知らされずに—詳細なチェックリストを用いて各項目を採点しました。彼らは科学的正確性、臨床的関連性、文言の明瞭さ、誤答選択肢の現実性、そして総合品質を5点満点で評価しました。さらに、各問題が医学部生に対して適切な難易度か、強い学生と弱い学生を識別できるかどうかも判定しました。25点満点中15点以上を獲得した問題は使用に耐えると見なされ、それ未満の問題は修正か棄却が必要とされました。

どのチャットボットが最良だったか？

三つのシステムはいずれも概ね堅牢な問題を作成しましたが、ある一つのモデルが際立ちました。専門家評価の総合では、このチャットボットが正確性、臨床関連性、そして説得力のある誤答選択肢の点で最も高得点を示しました。50問すべてが受け入れ基準を満たし、修正を要するものは一つもありませんでした。残る二つのモデルも良好で、いずれも10問中9問以上が使用に足る水準でしたが、誤答があまりにも明らかに不適切だったり、細部の表現がより明確にできるといった理由で軽微な手直しが必要でした。全体として、専門家らは三つのツールがいずれも授業で使える試験素材を迅速にほぼ完成形で生成できると合意しました。

記憶だけでなく思考力を問う問題

研究チームはまた、これらのAI作成問題が学生にどのような思考を要求するかを検討しました。教育者が思考技能を分類するために用いるブルームの分類法を使い、単純な知識・理解を問う問題と、事実を応用する、状況を分析する、選択肢を評価するといった高次の技能を問う問題に分類しました。驚くべきことに、チャットボットは主に高次の問題を多く生み出しました。あるモデルでは90％以上の問題が、事実の単純な想起ではなく臨床シナリオを通じた推論を学生に要求していました。三つのシステムとも基本的な記憶問題は比較的少数でした。この傾向は、大量の文脈豊かなテキストで訓練された大規模言語モデルが、単純な暗記型の出題よりも状況を踏まえた問題解決型の出題に自然と偏ることを示唆しています。

期待される利点、限界、人間の協働の必要性

これらの強みにもかかわらず、研究は重要な限界も明らかにしました。いずれのチャットボットも自発的に画像を用いる問題を提案しませんでした。血液学では顕微鏡写真や検査グラフの解釈が重要であり、画像問題は不可欠です。画像ベースの問題を直接求めたとき、二つのシステムはそれを提供できないと認め、残る一つは質の低い試みを出しました。また本研究は学生による実際の試験データではなく専門家の意見に依拠しているため、これらの問題が実際の試験でどの程度機能するかを完全には証明できません。著者らは、教員が依然として事実確認、文言の精査、基礎概念が十分にカバーされているかの確認を行う必要があると強調しています。

今後の医学教育にとっての意味

一般の読者にとっての結論は、AIが医学教育者に取って代わるのではなく、強力な助手になりつつあるということです。本研究では、チャットボットが迅速に主に正確で臨床的に現実味のある問題を生成し、血液疾患に関する意思決定の練習に役立つことが示されました。特に一つのモデルは専門家がほとんど修正せずに使用できるほど高品質の問題を作成しました。それでも、機械は単純な知識確認を見落としがちであり、視覚資料を自力で扱うことはできませんでした。著者らは、最良のアプローチは協働であると結論づけています：AIが多様な問題の草案作りという重労働を担い、人間の専門家がプロンプトを導き、欠けている基礎を補い、内容を検証し、変化する医療ガイドラインに対応していく、という役割分担です。

引用: Boufrikha, W., Sallem, A., Laabidi, B. et al. Evaluation of three artificial intelligence chatbots for generating clinical hematology multiple choice questions for medical students. Sci Rep 16, 5802 (2026). https://doi.org/10.1038/s41598-026-36839-x

キーワード: 医学教育, 人工知能, 血液学, 多肢選択式問題, チャットボット