視覚と触覚情報の特徴融合による疲労運転検出のためのマルチモーダルフレームワーク

ハンドルを握ったまま目を覚ましていることが重要な理由

長距離運転や深夜の運転、忙しいスケジュールによって、多くの人が疲れた状態で車を運転します。疲労は反応時間を静かに遅らせ、注意力をぼやけさせ、毎年多くの重大な交通事故の一因となっています。本研究は、ドライバーの顔の映像と皮膚上のわずかな圧力変化の両方を監視する新しい車内モニタリングシステムを紹介します。これにより、現在のカメラのみ、あるいはセンサーのみのソリューションよりも早期かつ信頼性高く眠気を検出できます。

二つの感覚は一つよりも有利

現在の多くのシステムは、単一の情報源から疲労を見つけようとします。カメラベースのツールは、垂れ下がるまぶた、長い瞬き、あくびなどの手がかりを探しますが、夜間や逆光、眼鏡やマスクで顔が部分的に隠れている場合には苦戦します。他のアプローチは身体からの電気信号やかさばるウェアラブルに頼りがちで、装着感が悪くノイズが入りやすいことがあります。研究チームは人間の脳が触覚と視覚を統合する方法を模倣し、ドライバーの顔映像と、目の周り・口元・首の近くに配置した柔らかく肌に優しいパッチからの繊細な“触覚”読み取りを組み合わせ、AIモデルが覚醒しているか眠気に傾いているかを判断するようにしました。

カメラが見逃すものを感じ取る柔らかいセンサー

システムの中核は、導電性ポリマーをブレンドした軽量で多孔質のプラスチックを、細長いミミズ状の構造に成形した柔軟な圧力センサーです。このスポンジ状素材は容易に圧縮され、非常に小さな押圧や曲げに応じて電気的特性が変化します。皮膚に軽く貼り付けると、目の近くのパッチはまぶたが閉じると反応し、首のパッチはうなずきを感じ、口元のパッチはあくびに伴う大きな開口や伸びを検知します。試験では、これらのセンサーは数千分の一秒の応答を示し、非常に弱い圧力も検出でき、数万回の曲げ・押圧サイクル後でも信頼性を維持することが示されました。これは、日常的に移動する車内で着用される可能性のある機器として重要な特性です。

疲労を読み取るための学習

システムに疲労の様子を学習させるため、研究者らは5人のボランティアの短いビデオクリップと3つの皮膚パッチからの対応する信号を組み合わせたデータセットを作成しました。記録した4つの典型的な状態は、通常運転、まぶたの閉じ、うなずき、あくびであり、明るい昼間と薄暗い駐車場の照明の両方で行いました。最新の画像認識ネットワークは顔画像から重要なパターンを抽出することを学び、別のネットワークはセンサー読み取りをコンパクトな特徴に変換しました。これら二つの情報の流れは単一の結合表現に融合され、触覚と視覚が疲労の兆候に一致する場合を認識し、映像が暗かったり劣化しているときにはセンサーにより強く依存できるようにしました。

瞬間的な信号から実行可能な警告へ

制御された試験で4つの基本状態を約98パーセントの精度で認識できるようになった後、チームはさらに進めて、フレームごとの判定をドライバー向けの実用的な助言に変換しました。長すぎる瞬き、うなずき、あくびの頻度に基づく単純なルールを定義し、これらの回数を毎分単位で集計して3段階の疲労スコア（正常、やや疲れている、深刻な疲労）に変換しました。システムは車載の小型コンピュータ上でリアルタイムに動作し、ドライバーのスコアを継続的に更新し、やや疲労の段階では休憩を促す穏やかな通知を、深刻な疲労が検出された場合には即座に停止を促す強めの警告を発します。年齢、肌色、顔の毛、マスク、悪い照明や車体の揺れといった条件が異なっても高い性能を維持し、カメラと触覚を組み合わせた手法が現実的な状況で堅牢であることを示しました。

日常の運転にとっての意義

非専門家にとっての結論は明快です。カメラが捉える情報と柔らかい皮膚センサーが感じ取る情報を融合することで、本研究は災害に至る前の微妙な眠気の兆候を察知する、より賢い“コパイロット”を実現します。この技術は、夜間に弱いカメラ単独のシステムや着用感の悪い医療用ウェアラブルの多くの欠点を回避しつつ、車内で動作するのに十分速く効率的です。より大規模な実環境試験は依然として必要ですが、このマルチモーダルフレームワークは、将来の車両が背景で静かにドライバーの覚醒状態を監視し、適切なタイミングで警告を出して疲労関連の事故を減らし、長距離走行をすべての道路利用者にとってより安全にする方向を示しています。

引用: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

キーワード: ドライバーの疲労検出, 車内安全モニタリング, フレキシブルスキンセンサー, マルチモーダルAI, 居眠り運転防止