DriveEmo-FL：自律走行車のための車内レーダーによる感情センシングとスマート応答

あなたの気持ちを感じ取るクルマ

自動運転車が日常に近づくにつれ、重要な問いが残ります：乗客がどんな気持ちなのかをどう把握するか。技術的に安全でも、乗客が不安、怒り、または車酔いを感じるような乗車体験では信頼は得られません。本論文はDriveEmo-FLを紹介します。これはカメラやウェアラブル機器を使わずに、乗客の微細な身体動作から感情を察知し、運転や車内環境を調整するシステムです。

顔を見ずに気分を読み取る

現在の多くの感情検出システムは、表情を追うカメラや心拍や皮膚電気を測るウェアラブルに依存しています。車内ではどちらにも欠点があります：顔はサングラスや暗い照明で隠れることがあり、ほとんどの乗客は追加のセンサーを身につけたがりません。DriveEmo-FLは代わりにミリ波レーダーを使います。これは微小な電波を発して乗員の上半身で反射して戻る信号を計測する小型装置です。反射には微細な動きが反映され、返ってくる波の周波数がわずかに変化します。これをマイクロドップラーと呼びます。肩や腕、頭の動きに注目することで、たとえば手を叩く興奮、肩をすくめる恐怖、うつむいた静けさといった違いを検出できます。しかも視覚的プライバシーは保たれます。

生のレーダー反響から感情パターンへ

著者らは生のレーダー反響を数十ミリ秒で感情推定に変えるフルパイプラインを構築しました。まず信号を浄化します：座席やダッシュボードなどの強い反射を除去し、乗客に結びつく動きと車体の動きを分離する数学的処理を行います。浄化されたデータは時間–周波数画像、つまりマイクロドップラー「シグネチャ」に変換され、どの速度帯に動きのエネルギーが時間とともに分布するかを示します。同時に、動きの統計量も抽出します。たとえば動きの変化の鋭さ（敏捷性）、観測された最速の動き（ピーク速度）、短いウィンドウ内の総動きエネルギーなどです。こうした2本の流れ—豊かな動き画像と簡潔な動き要約—が、感情ジェスチャーの形と強度の両方を捉えます。

車載向けの軽量な「脳」

DriveEmo-FLの中核はEmoNetという、車載の小型コンピュータで効率的に動作するコンパクトなディープラーニングモデルです。EmoNetの一方のブランチはマイクロドップラー画像を視覚ネットワークのように処理し、手拍子、首振り、ゆっくりと周囲を見回す動きなどに結びつく繰り返しパターンを学習します。もう一方のブランチは3つの動き統計量を処理し、たとえばエネルギッシュな喜びと同程度のエネルギーを持つ怒りを区別する助けになります。これら2つの流れは融合され、検出された活動と基底にある感情群（喜び、悲しみ、怒り、恐怖）の両方を出力する共有の判定層に供給されます。最後のステップでは、こうした感情の手がかりをスコアに変換し、自動運転システムが速度、操舵の滑らかさ、照明、車内音声アシスタントのトーンなどを調整するために使えるようにします。

秘密を共有せずに多くの車から学ぶ

システムを頑健にするには、年齢、文化、体格の違う人々がさまざまな車や条件で乗ったデータから学ぶ必要があります。しかし、すべての生の動作データをクラウドに送るのはプライバシー上の懸念を生みます。DriveEmo-FLはフェデレーテッドラーニングでこれを解決します：各車両が自車のレーダーデータだけでローカルにEmoNetを学習し、暗号化されたモデル更新のみを中央サーバーと共有します。サーバーはこれらの更新を統合してより強力なグローバルモデルを作成し、それを全車に返送します。50名の参加者が12種類の上半身ジェスチャーを行うテストでは、システムはリアルタイムで94.5%の精度を達成し、市街地走行、強い日差し、低照度、ジェスチャーの重なりなどの厳しいシナリオでも信頼性を維持しました。

これが未来の乗車に意味すること

総じて、結果は自動運転車が小型でプライバシーに配慮したレーダーと効率的な学習モデルを使って乗客の感情状態を感知し、応答できることを示しています。顔や声を記録することなく、自動車は乗客が緊張、恐怖、あるいは特に陽気であるかを察知し、運転スタイルや車内環境を穏やかに調整できます。さらに洗練され、他の非侵襲的な手がかりと組み合わせれば、DriveEmo-FLのようなシステムは将来の乗車を単に道路上でより安全にするだけでなく、車内でより快適に、理解され、⼈間中心の体験にする可能性があります。

引用: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

キーワード: 自律走行車, 感情認識, ミリ波レーダー, 車内センシング, フェデレーテッドラーニング