一种通过视觉与触觉信息特征融合的多模态疲劳驾驶检测框架

为什么保持清醒驾驶很重要

长途驾驶、深夜行驶和繁忙日程导致许多人在过于疲劳的情况下上路。疲劳会悄然降低反应速度并模糊注意力，每年对严重交通事故的发生有显著贡献。本研究提出了一种新的车内监测系统，同时观察驾驶者面部和皮肤上微小的压力变化，以便比现有仅用摄像头或单一传感器的方案更早、更可靠地检测瞌睡迹象。

双重感知胜过单一来源

大多数现有系统尝试从单一信息源识别疲劳。基于摄像头的工具寻找下垂的眼皮、长时间眨眼和打哈欠等线索，但在夜间、强光眩光下或面部被眼镜或口罩部分遮挡时效果欠佳。另一类方法依赖人体的电信号或笨重的可穿戴设备，可能不舒适且噪声多。研究团队仿效人脑如何融合触觉与视觉：他们的系统将驾驶员面部视频与贴在眼周、口周和颈部的柔软“触觉”贴片的温和读数结合起来，然后让人工智能模型判定驾驶员是保持清醒还是正在进入睡意。

捕捉摄像头易错过信号的柔性传感器

系统的核心是由轻质多孔塑料与导电聚合物混合并制成微小蠕虫状结构的柔性压力传感器。这种海绵状材料易于压缩，对微小的按压和弯曲会引起电学特性的变化。轻贴于皮肤后，靠近眼睛的补片在眼睑闭合时有响应，颈部的补片能感知点头动作，口周的补片则能检测打哈欠时嘴的大幅张开与伸展。测试显示这些传感器反应时间在数毫秒级，能检测极轻微的压力，并在经过数万次弯曲和压迫循环后仍保持可靠性——这对一种可能每天在行驶中的车辆中佩戴的装置至关重要。

教系统识别疲劳

为教会系统疲劳的表现，研究者构建了一个数据集，将五名志愿者的短视频片段与三块皮肤贴片的同步信号配对。他们记录了四种典型状态：正常驾驶、眼睛闭合、点头和打哈欠，并在明亮日光与昏暗车库灯光下采集数据。一个现代图像识别网络学习从面部图像中提取关键模式，另一个网络将传感器读数转换为紧凑的特征签名。随后将两类信息流融合为单一表示，使模型在触觉与视觉同时指向疲劳时能更清晰地判断，并在视频昏暗或退化时更倚重传感器信号。

从瞬时信号到可执行警示

在受控测试中系统能以约98%的准确率识别这四种基本状态后，团队又迈出一步：将逐帧判断转化为对驾驶员有用的建议。他们基于每分钟过长眨眼、点头或打哈欠的频次定义了简单规则，并将这些计数转换为三级疲劳评分：正常、轻度疲劳或重度疲劳。该系统在车载紧凑计算机上实时运行，持续更新驾驶员评分，并在轻度时触发提醒休息的温和提示，在重度被检测到时发出强烈的立即停车警报。系统在不同年龄、肤色、面部毛发、佩戴口罩以及光线恶劣或车辆震动情况下仍保持高性能，表明摄像与触觉结合的方法在逼真环境中具有鲁棒性。

这对日常驾驶意味着什么

对非专业读者来说，结论很直接：通过融合摄像头所见与柔性皮肤传感器所感，本研究提出了更智能的“副驾驶”，能在瞌睡迹象变成灾难之前察觉到细微变化。该技术避免了摄像头单独在夜间的诸多弱点以及不舒适的医疗级可穿戴设备，同时足够快速高效，能够在车内运行。尽管仍需更大规模的真实道路测试，这一多模态框架指向未来的车辆可以在后台静默监测驾驶员警觉性，并在适当时机介入发出警示，帮助减少疲劳相关事故，使长途出行对道路上所有人更安全。

引用: Li, K., Yue, W., Shin, DB. et al. A multimodal framework for fatigue driving detection via feature fusion of vision and tactile information. npj Flex Electron 10, 40 (2026). https://doi.org/10.1038/s41528-026-00543-7

关键词: 驾驶员疲劳检测, 车内安全监测, 柔性皮肤传感器, 多模态人工智能, 防止疲劳驾驶