身体姿勢分類とアラビア手話統合を用いた聴覚障害者のためのコーラン教育の自動化フレームワーク

沈黙する声に聖典を開く

多くのろう者や難聴のムスリムにとって、コーランの朗誦を学ぶことは苦痛になりがちです。伝統的な教授法は聞いて繰り返すことに依存しているためです。本研究は、アラビア手話のジェスチャーを「視る」技術支援を紹介し、それを短い章のコーランの節に結び付けます。身体の動きを手話と聖典をつなぐ橋に変えることで、主に手話でコミュニケーションする何百万もの人々に対して宗教教育の包摂性を高めることを目指しています。

なぜ聴覚障害学習者が取り残されるのか

ろうのムスリムはしばしば身振りや手話でコミュニケーションしますが、ほとんどのコーラン教育は音声を中心に構成されています—教師が声で朗誦し、生徒は旋律と発音を真似します。家族が手話を十分に知らない場合も多く、宗教教材に精通した手話通訳者は特に不足しています。その結果、多くのろう信徒は聞こえる仲間と同じ水準の精神教育にアクセスするのが難しくなっています。コンピュータビジョンと人工知能の最近の進展は、カメラ画像から手や身体の動きを認識できるようになり、手話をリアルタイムでコンピュータが理解し応答できるものに変えることで状況を変える道を提供します。

ジェスチャーを教えられる単位に変える

研究者は、短くとも神学的に重要で多くのムスリムが早期に暗記する章であるスーラ・アル＝イクラースに着目しました。エジプトのろう利用者を支援する機関と協力して、この章の個々のコーラン語に対応するアラビア手話ジェスチャーの画像を2,054枚記録しました。意味や発音の混同を避けるために、各ジェスチャーにはアラビア文字と、学術的なイスラム研究で広く使われる標準的な転写体系の両方でラベルを付けました。この慎重なラベリングにより、システムは各手話を正しいコーラン語に結び付けつつ、将来的に他の章へ拡張する余地も保持します。

コンピュータが祈りの姿勢を「見る」仕組み

システムの中核は、まず署名者の身体姿勢を検出し、その後どのコーラン語が表されているかを分類する視覚パイプラインです。すべての画像は標準フォーマットにリサイズおよびクリーニングされます。MediaPipeというソフトウェアツールキットが肩、肘、手首など身体の33のキーポイントを特定してその位置を追跡します。これらの座標は各姿勢のコンパクトな記述を形成し、カスタムの多層パーセプトロン（単純なニューラルネットワーク）、サポートベクターマシン、そして多数の小さな決定木からなるランダムフォレストという三種類の機械学習モデルに入力されます。並行して、より強力な深層学習モデルであるResNet50が画像全体を解析し、各語に関連する詳細な視覚パターンを学習します。

コーラン手話の驚くほど高い認識精度

システムを評価するため、著者らはデータセットを訓練・検証・テストセットに分割し、各モデルがジェスチャーをどれほど正確に認識するかを評価しました。すべての手法が高い性能を示し、姿勢ベースのモデルは14〜16のコーラン語クラスのほとんどの手話を正しく識別しました。例えばランダムフォレストモデルは多くの語でほぼ完璧なスコアを達成し、見た目が似ているジェスチャー間でのみいくつかの混同がありました。画像を直接参照しつつ姿勢情報の恩恵も受ける統合型のResNet50ベースモデルはテストデータ上でほぼ欠点のない性能に到達しました：すべてのジェスチャーが正しく分類され、精度、適合率、再現率、およびROC–AUCと呼ばれる識別スコアといった標準的な指標も最大値に達しました。これらの結果は、慎重に準備された比較的小規模な画像コレクションでも宗教的手話の高精度な認識を支え得ることを示唆します。

期待、限界、そして今後の道筋

性能数値は印象的ですが、著者らはそれが研究の管理された条件にのみ当てはまることを強調しています：単一の章、限られた数の署名者、そして静止画であり連続した動作としての手話ではない点です。実運用には、より大規模で多様なデータセット、下半身の動きのより良いカバー、地域の異なる署名者による慎重な検証が必要です。それでも、この研究は現代のビジョン技術と学習ツールがコーラン手話を確実に認識し、例えば学習者がジェスチャーを行った際にチェックマークや訂正アニメーションで即座にフィードバックを提供できることを示しています。日常的には、ろう学生がシンプルなカメラの前で手話でコーランの節を練習し、ライブ通訳を必要とせずに指導を受けられる可能性があるということであり、聖なる知識をより多くの人に開く重要な一歩です。

引用: AbdElghfar, H., Youness, H.A., Wahba, M. et al. An automated framework for qur’anic education of the hearing-impaired using body pose classification and Arabic sign language integration. Sci Rep 16, 5939 (2026). https://doi.org/10.1038/s41598-026-36578-z

キーワード: コーラン教育, アラビア手話, 聴覚障害学習者, 姿勢認識, 支援技術