人間対人工知能：研究機関と非研究機関に所属する若手研究者がChatGPT生成の歯科研究アブストラクトを識別する能力の検証

なぜこの研究が一般読者に重要なのか

ChatGPTのようなツールが教室や研究室に急速に入り込む中で、多くの人が単純な問いを投げかけています：見た目が科学的な文章をコンピュータが書いたとき、それを見分けられるのか？ 本研究はその問題を非常に実践的な文脈—歯科研究—で詳細に検証し、若手大学教員がAI作成の研究要約を見分けられるか、そしてその能力が専用のAI検出ソフトと比べてどうかをテストします。

人と機械の比較テスト

研究者たちは科学的執筆の極めて特定で重要な要素、すなわち論文冒頭に置かれ多くの読者が最初に目にする短い要約であるアブストラクトに注目しました。主要な歯科ジャーナルから実際のアブストラクトを75件収集し、同じタイトルを用いてChatGPTに75件の新しいアブストラクトを書かせました。こうして生成された150件のテキスト群は、人間が書いたものとAIが生成したものが半々で、査読者からは出自が見えない形になっていました。

注目を浴びる若手研究者たち

教務・研究の経験がいずれも2年未満の若手歯科研究者6名を、マレーシアの6大学（研究重視の国立大学3校と非研究系の私立大学3校）から募集しました。各参加者にはジャーナル名や著者情報を削除した、人名や出典が分からない形で実際のアブストラクトとAI生成のアブストラクトが混在した資料が配られました。彼らは各アブストラクトが人間作成かAI作成かを判定し、明瞭さ・流れ・創造性・理解の深さ・文法・専門用語の使用・分野固有の知識といった項目で単純な採点表を用いて品質評価を行いました。

ソフトウェアによる同じテキストの判定

同じ150件のアブストラクトは、3種類のAI出力検出器と広く用いられる類似性チェッカーでも評価されました。AI検出器はテキストがChatGPTのようなシステムから出力された可能性を推定し、類似性チェッカー（Turnitin）は巨大な既存文献データベースと比較してどの程度一致するかを調べます。これらのツールは、AI支援による執筆が広がる中で大学が学術的信頼性を守るために使い始めているデジタル上の防御手段を代表しています。

人間と機械、どちらが優れていたか？

若手学術者たちは予想より苦戦しました。アブストラクトが人間作成かAI作成かを正しく判断できた割合は44％から76％の間で、場合によっては慎重な推測と大差ない結果でした。研究重視の大学出身の査読者が教育中心の私立大学出身者より明らかに優れていたわけではなく、個人差の方が所属機関のタイプより影響が大きかったです。興味深いことに、品質評価では実際のアブストラクトを「良〜優」と評価する傾向があり、AI生成アブストラクトは概ね「平均」と評価されることが多く、誰が書いたかを誤判していても深さや微妙なニュアンスの違いを感知していた可能性が示唆されました。

人間を上回った検出器

ソフトウェア、特にGPTZeroと呼ばれるツールは、人間とAIの書き分けでより信頼できる結果を示しました。GPTZeroは約10件に9件のアブストラクトを正しく分類し、人間の査読者よりもはるかに高い精度を示し、テストした他の2つのAI検出器よりも優れていました。類似性チェッカーも強い性能を示しました：実際のアブストラクトは既存の出典と非常に高い類似性を示す一方（実際に出版された作品であるため）、AI生成アブストラクトは低〜中程度の類似性にとどまる傾向があり、ChatGPTがコピーではなく言い換えを行う能力を反映していました。総じて、これらのツールは少なくとも専門分野の技術文を読む若手学術者の素の判断よりも自動検出が現在優れていることを示しました。

教育と研究にとっての含意

非専門家にとっての主要なメッセージは、訓練を受けた若手学術者でも、洗練されたAI生成の研究要約を読み比べただけでは信頼性高く見分けるのが困難であり、所属機関が研究重視か否かが判断力の差を保証するわけではない、という点です。一方で、一部の検出ツールは既に驚くほど良好な成績を示しているものの、完璧ではなく、AIシステムの進化に伴って精度が変わる可能性があります。著者らは、大学は人間の判断だけに頼るべきでなく、単一の検出器のみに依存すべきでもないと結論づけています。その代わりに、若手教職員に対するAIリテラシー教育の充実、複数の検出ツールの慎重な併用、そして倫理ガイドラインの明確化といった組合せアプローチにより、人間の専門知識と人工知能が協力して科学的文章の信頼性を守るべきだと主張しています。

引用: AL-Rawas, M., Abdul Qader, O.A.J., Lin, G.S.S. et al. Human versus artificial intelligence: investigating ability of young academics from research and non-research institutions to identify ChatGPT-generated dental research abstracts. Sci Rep 16, 12287 (2026). https://doi.org/10.1038/s41598-026-42555-3

キーワード: ChatGPT, 学術倫理, AI検出, 歯科研究, 若手学術者