DriveEmo-FL：基于车内雷达的情绪感知与自动驾驶车辆的智能响应

能感知你情绪的汽车

随着自动驾驶汽车逐步走向日常生活，一个关键问题依然存在：它们如何了解乘客的情绪？一段技术上安全却让人感到焦虑、愤怒或晕车的出行体验并不会赢得信任。本文提出了 DriveEmo-FL，一种使自动驾驶车辆能通过细微的身体动作感知乘客情绪的系统——无需摄像头或可穿戴设备——并据此调整驾驶与车舱设置。

在不盯着你脸的情况下读取情绪

当前许多情绪检测系统依赖摄像头追踪面部表情或可穿戴设备测量心率与皮电。在车内，这两种方法都有局限：面部可能被太阳镜遮挡或光线不足，且大多数乘客不愿意佩戴额外传感器。DriveEmo-FL 改用毫米波雷达，一种发射无线电波并测量其从乘客上半身反射回来的小型设备。这些反射包含随着运动而发生的极微小频率变化，称为微多普勒。通过关注肩部、手臂和头部的运动，系统能够捕捉到区分性动作，例如兴奋时的拍手、恐惧时肩部收缩或悲伤时的静止——同时保护视觉隐私。

从原始雷达回波到情绪模式

作者构建了一个完整管线，将原始雷达回波在几十毫秒内转换为情绪估计。首先对信号进行净化：去除来自座椅和仪表板的强反射，并通过数学处理隔离出与乘客相关而非车辆运动相关的运动分量。净化后的数据被转换为时频图像——微多普勒“指纹”——展示运动能量如何在不同速度上随时间分布。与此同时，系统提取简单的运动统计量，例如动作变化的突兀程度（敏捷度）、观测到的最快移动（峰值速度）以及短时窗口内的总运动能量。这两条信息流——丰富的运动图像与紧凑的运动摘要——同时捕捉了情绪性动作的形态与强度。

车内的轻量“大脑”

DriveEmo-FL 的核心是 EmoNet，一种为小型车载计算机高效运行而设计的紧凑深度学习模型。EmoNet 的一条分支处理微多普勒图像，类似视觉网络地学习与拍手、摇头或缓慢环顾等手势相关的重复模式；另一条分支处理三项运动统计量，帮助区分例如同样充沛但性质不同的喜悦与愤怒。两条信息流融合后进入共享决策层，输出检测到的活动以及对应的情绪类别（快乐、悲伤、愤怒或恐惧）。最后一步将这些情绪线索转化为分数，供自动驾驶系统用于调整车速、操控平顺度、车内照明甚至语音助手的语气。

在不共享隐私数据的情况下向众多车辆学习

为了提高系统的鲁棒性，必须从不同年龄、文化与体型的人群、不同车型和环境条件下学习。然而，将每个人的原始运动数据上传到云端会带来隐私问题。DriveEmo-FL 采用联邦学习解决此问题：每辆车仅使用自身的雷达数据在本地训练 EmoNet，然后只将加密的模型更新发送到中央服务器。服务器将这些更新合并为更强的全局模型，并将其下发回各车辆。在包含 50 名参与者、执行 12 种不同上半身手势的测试中，系统在实时运行下达到了 94.5% 的准确率，并在如城市驾驶、强光、低光和手势重叠等挑战场景中表现稳定。

这对未来出行意味着什么

综合来看，结果表明自动驾驶汽车可以使用小型且隐私友好的雷达与高效的学习模型来感知并响应乘客的情绪状态。在不记录面部或语音的情况下，自动车辆可察觉乘客是否紧张、恐惧或格外愉悦，并相应地温和调整驾驶风格与车舱环境。如果经过进一步优化并与其他非侵入性线索结合，像 DriveEmo-FL 这样的系统可能使未来的行程不仅在道路上更安全，而且在车内更舒适、更被理解、更具以人为本的体验。

引用: Imran, N., Alnafisah, K.H., Zhang, J. et al. DriveEmo-FL: in-cabin radar-based emotion sensing for autonomous vehicles smart response. Sci Rep 16, 13600 (2026). https://doi.org/10.1038/s41598-026-43662-x

关键词: 自动驾驶车辆, 情绪识别, 毫米波雷达, 车内感知, 联邦学习