Clear Sky Science · zh

基于驾驶员姿态与面部状态分析的疲劳驾驶检测方法

· 返回目录

为什么疲劳驾驶关系到每个人

我们大多数人在长途行驶时都感到眼皮变沉,但很少意识到这种打瞌睡的瞬间有多常会演变成事故。本文描述了一种基于摄像头的系统,它观察驾驶员的面部、姿态和双手,以发现疲劳的早期迹象并及时发出警告,无需在人体上粘贴任何传感器或改变驾驶习惯。

关注驾驶员,而不仅是车辆

交通管理机构估计,疲劳在全球相当大比例的重大道路事故中起作用。传统警示系统侧重于来自车辆的信号,如方向盘修正或车道偏离,或依赖 tracking 般的医疗式传感器监测脑电或心率。这些方法在成本、舒适性或当驾驶员与道路条件变化时的可靠性方面存在局限。该研究则依靠车内小型普通摄像头的视频,直接读取驾驶员行为,并用现代人工智能来解释观察到的内容。

Figure 1. 车内摄像头跟踪驾驶员的姿态、面部和双手以发现困倦并触发安全警示。
Figure 1. 车内摄像头跟踪驾驶员的姿态、面部和双手以发现困倦并触发安全警示。

解读眼睛、嘴巴、头部与双手

研究者首先把疲劳驾驶在日常语境中分解为可观察的表现。警示信号包括眨眼变慢且持续时间更长、频繁打哈欠、头部下垂或倾斜,以及双手从方向盘滑离。系统使用一种称为 AlphaPose 的姿态估计方法,跟踪驾驶员身体上的119个关键点,特别是眼睛、嘴巴、头部与腕部周围。从这些关键点计算出简单度量,例如眼睛和嘴巴张开的宽度、头部相对于颈部和眼睛的倾斜或下垂程度。系统还检查每只手腕是否在一段时间内保持靠近方向盘或逐渐远离,提示驾驶员不再牢固掌控方向盘。

从多个角度随时间观察

由于单帧图像可能产生误导,系统分析的是短视频片段而非孤立帧。例如,一次正常的眨眼可能与困倦的眼睛闭合相似,快速瞥向仪表盘如果单独看也可能被误认为打盹。为避免这种错误,方法分析至少20帧的连续变化,判断疲劳线索是否持续存在。它还使用驾驶监测数据集中的三路摄像头视角:面部正视图、上身侧视图以及手部近景。这些视角共同提升了在戴眼镜、强烈阳光、运动模糊或头部转向时的鲁棒性。

Figure 2. 眼睛、头部倾斜和握把随时间的逐步变化揭示驾驶员从警觉到困倦的转变。
Figure 2. 眼睛、头部倾斜和握把随时间的逐步变化揭示驾驶员从警觉到困倦的转变。

更智能的检测引擎

在系统内部,主要由两部分组成。首先,一个名为 YOLOv11n* 的快速目标检测器在每帧中定位驾驶员,以便 AlphaPose 能准确标记关键点。作者通过一种特殊的混合池化模块改进了该检测器,使网络既能理解广泛的上下文,又能捕捉诸如眼睛和手指等细节。其次,所有跟踪到的关键点的位置与置信度分数被输入到长短期记忆(LSTM)网络,这类模型擅长处理序列数据。LSTM 学习眼、口、头与手的组合变化在驾驶员处于警觉、轻度疲劳或严重疲劳时如何随时间展开,并为当前时间窗口输出每个疲劳等级的概率。

系统在实践中的表现

团队在一个大型公开的车内视频数据集上测试了他们的方法,在数千张带标签的图像和视频片段上训练与评估模型。与若干领先的深度学习方法(包括不同组合的卷积网络、变换器和 LSTM)相比,提出的 AlphaPose*–LSTM 框架在疲劳等级分类的准确率、精确率和 F1 分数上达到了报告中的最高水平。它的运行速度也足以接近实时:在处理首批20帧后,新的疲劳估计大约每48毫秒更新一次,适合移动车辆中的持续监测。

这对日常驾驶意味着什么

简而言之,研究表明汽车可以使用摄像头和智能软件来监测疲劳驾驶的典型迹象,将眼睛、嘴巴、头部与双手的细微变化综合成可靠的警觉性评估。尽管当前系统针对白天条件进行了调优,夜间或其他环境下需要调整,但结果表明非侵入式的视觉监测有望成为实用的安全功能。通过及早识别疲劳并提示驾驶员休息,这类技术可以帮助防止许多仅因驾驶者过于疲惫而无法保持清醒导致的事故。

引用: Hao, Y., Sun, X., Liu, H. et al. A fatigue driving detection method based on driver posture and facial state analysis. Sci Rep 16, 15159 (2026). https://doi.org/10.1038/s41598-026-44994-4

关键词: 驾驶员疲劳, 疲劳驾驶, 驾驶员监测, 计算机视觉, 道路安全