MediQAl：知識と推論評価のためのフランス語医療質問応答データセット

フランス語で医療AIを検証することが重要な理由

現在、多くの人々が健康情報を得るためにオンラインツール、時には人工知能を利用しています。しかし、こうしたシステムの大半は英語で学習・評価されており、他言語で診療や受診を行う何百万もの患者や医療者の実情と乖離しています。本稿はMediQAlを紹介します。これはフランス語の医師国家試験問題を大規模に集めたコレクションで、今日のAIがフランス語で医学をどの程度理解し、推論できるか、そしてどこでまだ力不足なのかを明らかにすることを目的としています。

実際の医師国家試験問題から成る新しい問題群

MediQAlの中核は、フランスの国家医師免許試験から抽出した32,603問の宝庫です。これらの高い重要度を持つ試験は、学術や臨床の専門家によって作成され、実臨床を反映するよう設計されています：教科書的事実とともに、症状が時間とともに展開し重要な手がかりが暗示的にしか示されないような現実世界の複雑なシナリオが混在します。フランス語の試験形式は機械にとって追加の難度を与えます：問題は長く文は複雑で、否定や「次のうち正しくないものは…」のような例外にかかる引っかけがしばしば存在します。こうした本来の構造を保つことで、MediQAlは単純化された教室の例を超えた、要求の高い現実的な評価フィールドを提供します。

AI医師に問う三つの方法

MediQAlは医師の評価方法を反映した三種類のタスクに整理されています。最初で最大のグループは単一解答の選択式問題で、五つの選択肢のうち一つだけが正解です。第二のグループは複数の正答を許す形式で、システムに対して医師が複数の合併症を同時に検討するように所見の組み合わせを評価させます。第三のグループは短い自由応答問題で、選択肢から選ぶのではなくシステム自身が簡潔な解答を生成しなければなりません。すべての問題には、単純な理解（既知の事実の想起や適用）を試すものか、本当の推論（複数段階の思考、手がかりの結合、不確実性への対処）を試すものかがタグ付けされています。この構造により、研究者はAIが「何を知っているか」だけでなく、症例をどのように考え抜くかを探ることができます。

データセットの構築と検証方法

MediQAlを組み立てるため、著者は過去問を学生や教員が共有する学習サイトや公式資料をスクレイピングしました。選択式問題は自動抽出され、構造が乏しい自由記述問題はパターンマッチングと手動キュレーションの組み合わせでウェブページやPDFから取り出されました。解答が欠けている問題、画像や表がある問題、非常に長い自由記述解答、問題や解答の類似度指標で検出されたほぼ重複の問題は除外しました。テスト分割に最も難しい素材を集中させるため、三つの小規模AIモデルに問題を解かせ、少なくとも一つのモデルが正答した項目はテストには難しすぎないと見なして訓練または検証へ振り分けました。最後に医療専門家が層化抽出した150問をレビューし、大半は医学的に妥当で適切に構成されていること、少数が旧式または曖昧としてフラグ付けされたことを確認しました。

主要なAIモデルを試す

MediQAlを用いて、本研究では広く知られる商用システムから医療向けや逐次推論向けに調整されたオープンソースモデルまで、14の大規模言語モデルを評価しました。すべては「ゼロショット」設定、つまりタスク固有の指導なしで単に解答を促す形でテストされました。結果は明確な傾向を示しています。第一に、すべてのモデルとタスクで、単純な想起問題の成績が推論重視の問題より一貫して高いこと。平均して、推論問題の正答率は理解問題に比べて数ポイント低下し、特に自由応答で差が大きくなります。第二に、推論訓練を明示的に受けたモデルは、特に最も難しい問題で「バニラ」モデルを上回る傾向があるものの、現役の臨床医に期待される信頼性には遠く及びません。第三に、成功率は専門分野によって大きく異なり、遺伝学、皮膚科、細菌学などは比較的良好に扱われる一方で、精神医学、疫学、労働衛生、複雑な自由症例などは依然として難しいままです。

患者と医療従事者にとっての意味

MediQAlは、フランス語でかつ41の専門領域にわたって医療AIを検証する大規模で丁寧にキュレーションされたベンチマークを提供することで大きな穴を埋めます。結果は、最先端のシステムが事実を正しく想起したり試験形式の解答に一致することがある一方で、微妙な臨床ストーリーを通して推論することではまだ苦戦しており、特に英語以外の言語や特定分野で課題が残ることを示しています。患者や医療提供者に向けたメッセージは明確です：現行のAIツールは有用な補助になり得るが人間の判断を置き換える準備はできておらず、その限界は言語や専門分野に強く依存します。研究者や規制担当者にとって、MediQAlはフランス語でも英語と同等に安全で公平な医療AIの進捗を追跡するための公開可能で再利用可能なテストベッドを提供します。

引用: Bazoge, A. MediQAl: A French Medical Question Answering Dataset for Knowledge and Reasoning Evaluation. Sci Data 13, 356 (2026). https://doi.org/10.1038/s41597-026-06680-y

キーワード: 医療質問応答, フランス語AI, 臨床推論, 大規模言語モデル, 医師国家試験