ビデオ・生体・行動データを用いたマルチモーダル眠気データセット

ハンドルを握ったまま眠らないことが重要な理由

居眠り運転は道路上の見えにくい脅威で、毎年何千件もの事故に寄与しています。突然意識を失うイメージを抱きがちですが、実際には眠気は徐々に近づきます：心拍が遅くなり、握りが緩み、姿勢が崩れ、目が重くなる――実際にうとうとするずっと前からそうした変化が起きます。本稿は、そうした微細で初期の警告サインを詳細に捉えることを目的とした新しい公開データセットを紹介します。研究者がより賢いシステムを構築し、災害が起きる前に運転者に警告できるようになるための原材料を提供するものです。

眠気のあるドライバーを新たな視点で見る

既存のドライバー眠気データの多くは、顔のビデオや脳波といった一種類の信号に注目しがちです。ルイジアナ大学眠気データセット（UL-DD）はより広い視点を取ります。19人のボランティアが研究室のトラックシミュレータを運転する間、カメラやウェアラブルセンサーが密に配置され、行動や身体信号を記録しました。各参加者は完全に覚醒している状態のセッションと、すでに眠気を感じている状態のセッションを1回ずつ行い、各セッションは約40分間の連続記録で、合計約1,400分の運転データが得られました。運転者を単に「覚醒」か「眠気あり」とタグ付けするのではなく、研究では4分ごとに9段階の尺度で自己評価を求め、目が覚めている状態から眠気と戦う状態へとゆっくり移行する様子を捉えています。

センサーが観測したこと

セットアップは複数角度から運転者を観察すると同時に、身体の声にも「耳」を傾けました。赤外線カメラは暗所でも精細な顔の特徴を追跡し、3D深度カメラは頭部と上半身の形状や距離を捉え、カラーカメラは姿勢に焦点を当てました。これらのビデオから、目や口、眉の周りの正確なポイントである顔ランドマークや、まぶたの閉じ、眉の動き、欠伸といった表情を記述する「アクションユニット」が抽出されました。別のアルゴリズムは体のポーズランドマークを追跡し、疲労に関連する猫背や頭の傾きなどの姿勢変化を明らかにしました。

身体の静かなサインの読み取り

同時に、手首装着デバイスとパルスオキシメータが疲労の内面的サインを測定しました。心活動と脈拍、血中酸素濃度、皮膚温、発汗に基づく電気活動、動き、手首の加速度がそれぞれのサンプリング速度で記録されました。ステアリングホイールの両側に置かれた圧力センサーは各手の握力を追跡し、ソフトウェアはシミュレータから速度、操舵動作、ギア変速を1秒間に何十回もログしました。これらすべてのデータストリームは厳密に同期されており、運転の任意の瞬間に、顔の表情、姿勢、心拍リズム、呼吸の兆候、手の力、運転挙動の正確な組み合わせを研究者が確認できるようになっています。

信号の品質を検証する

データを収集することは有用ですが、それが信頼できるものでなければ意味がありません。著者たちは記録の妥当性検証に多くの労力を費やしました。個人差のあるデータに適した統計検定を用いて、低・中・高の眠気レベルで身体信号がどのように変化するかを調べました。皮膚温、発汗活動、血中酸素飽和度、脈拍のような指標は、運転者が疲れていくにつれて意味のある変化を示しましたが、血流に関する一部の測定値は情報量が少ないことが分かりました。自己申告の眠気スコアが妥当であるかは、ビデオの一部を専門家が評価した結果と比較して一貫性を確認しました。信号対雑音比の解析は、特に心臓関連のセンサーが良好なデータを生成していることを示し、ビデオのチェックではフレームが落ちていないことが確認されました。

統合した信号で眠気をどれだけ検出できるか

この豊富な情報の組み合わせが実際に眠気検出に役立つかを確かめるため、著者は異なる信号の組み合わせでいくつかの機械学習モデルを訓練しました。バイオメトリクス、握力、顔特徴といった単一のデータタイプのみを使った場合、結果は控えめでした。しかし、生体情報、行動情報、顔情報を組み合わせると性能は大きく向上しました。異なるデータ型の相互作用を学習する現代的なフュージョン手法では、運転者を「覚醒」「中等度の眠気」「高度の眠気」に分類する精度が約88パーセントに達しました。これは、単一の手がかりだけでは不十分であり、多くの小さなヒントを織り合わせたときにこそ疲労が最も明確になることを示唆しています。

より安全な道路に向けての意義

UL-DDデータセットは即座に使える眠気検出器を提供するものではなく、限界もあります：参加者数は比較的少なく、男性が多く、実際の高速道路ではなくシミュレータでの運転であり、脳活動の直接的な記録は含まれていません。それでも、顔、身体、運転信号を詳細にラベル付けして完全に同期させたデータを無償で公開することにより、著者らは研究者や技術者に強力なテストベッドを提供します。これを用いれば、身体がいつどのように問題を示し始めるかを探り、複数の手がかりを組み合わせるアルゴリズムを洗練し、眠気による一瞬が悲劇に変わる前に穏やかに介入する車内システムに一歩近づくことができます。

引用: Bodaghi, M., Hosseini, M., Gottumukkala, R. et al. A multimodal drowsiness dataset using video, biometric, and behavioral data. Sci Data 13, 506 (2026). https://doi.org/10.1038/s41597-025-06540-1

キーワード: ドライバーの眠気, マルチモーダルセンシング, ウェアラブル生体計測, ドライビングシミュレータ, 道路の安全性