マルチモーダルトランスフォーマーアルゴリズムに基づく大学体育授業における学生のエンゲージメント予測解析

学生と教員にとっての意義

大学のスポーツ授業は体力向上や良い運動習慣の定着、気分の改善を目的としていますが、多くの体育館やグラウンドでは出席率が低かったり、消極的な参加が散見されます。本研究は、ウェアラブル機器、教室カメラ、短い書面フィードバックのデータを組み合わせることで、体育授業中に学生が実際にどの程度関与しているかを自動的に推定できることを示しており、従来のチェックリストや学期末調査よりも迅速かつ客観的な洞察を教員に提供します。

スポーツ授業を豊かなデータストリームへ

現代の体育授業では、学生が心拍数や歩数、体の動きを記録するデバイスを装着し、カメラがグループ活動を撮影し、オンラインプラットフォームが短いメッセージやコメントを収集することが多くなっています。研究者たちは、これらのストリームを統合した大規模な全国データセットを活用し、1,000人の大学生の数千時間に及ぶ授業記録を扱います。授業の各10分間の区間は、学生の動き、身体の負荷、授業についての発言に基づいて訓練を受けた専門家により低・中・高の参加度にタグ付けされます。こうしてラベル付けされた区間が、生データからエンゲージメントを読み取ることを学ぶコンピュータモデルの訓練素材となります。

身体・顔・言葉を読み取るモデルの教育

単一の情報源に依存する代わりに、本研究はセンサー、テキスト、映像を対等な情報源として扱う階層型モデルを構築します。心拍や加速度などのセンサー信号には、持続的な負荷や繰り返される活動の爆発などのパターンを検出する系列処理ネットワークが用いられます。学生のコメントや短い振り返りについては、言語モデルが文全体を姿勢や口調を符号化したコンパクトな表現に蒸留します。映像クリップには別のネットワークが各フレームをパッチに分割して、表情、姿勢、動きのパターンが時間とともにどう展開するかを学習します。これら三つのストリームは共通の数値空間に変換され、モデルがそれらを効果的に比較・統合できるようになります。

モデルが信号をエンゲージメントに結びつける仕組み

アプローチの要は、異なるデータストリームが互いに注意を向け合うことを可能にする手法です。まずモデルは各ストリームを個別に強化し、心拍の傾向や映像の重要な瞬間など内部構造を学習します。次にストリーム間を結び付け、例えばどのセンサー時刻が「疲れた」との言及と一致するか、どの映像区間が興奮を示唆する言語と重なるかといった問いを立てます。こうしたクロスリンクを学ぶことで、システムは各学生の10分間ウィンドウで何が起きているかの統合的な像を構築します。最後に、この統合像が単純な出力層に渡され、連続的なエンゲージメントスコアと三段階のカテゴリの両方が生成されます。

実際の性能

研究者らがマルチモーダルモデルを、センサーのみ、映像のみ、あるいは二種類だけを用いる既存手法と比較したところ、明確な改善が見られました。新しいシステムは、強力なセンサーのみのベースラインと比べて予測誤差を二割以上削減し、エンゲージメントレベル分類では90パーセントを超える精度に到達しました。重要なのは、授業中に実用的な速度で動作する点で、1人分の10分間のデータ処理に約0.2秒を要します。各データ種を順番に除外する実験では、三つすべての情報源が価値を持ち、映像が最も寄与し、次いでテキスト、センサーの順であることが示されました。モデル内部の注意パターンの追加解析は、心拍の上昇と活発な動きや、その後の疲労の関連付けなど、妥当な手がかりに着目していることを示唆しています。

今後の体育授業への示唆

著者らは、慎重に設計されたマルチモーダルシステムが体育における学生の関わりをタイムリーかつ比較的高精度に可視化でき、評価を大まかな印象から連続的でデータ駆動の洞察へと移行させ得ると結論づけています。このアプローチはカメラやウェアラブルに依存するためプライバシーや公平性の問題を提起しますが、教師が学生が集中している、興奮している、あるいは注意を逸らしている時をリアルタイムに把握し、学期末の調査を待たずに場面に応じて活動を調整できる将来を示しています。

引用: Li, J. Predictive analysis of student engagement in university physical education courses based on a multimodal transformer algorithm. Sci Rep 16, 15123 (2026). https://doi.org/10.1038/s41598-026-45928-w

キーワード: 学生のエンゲージメント, 体育, マルチモーダル学習, トランスフォーマーモデル, ウェアラブルセンサー