跨域多模态学习用于压力等级预测：整合独立 EEG 与面部表情数据集的混合深度学习框架

为何跟踪压力很重要

大多数人在日常生活中都会感到压力逐渐渗入，但要以清晰、客观的方式衡量它并不容易。本研究探讨计算机如何读取来自大脑和面部的信号，将个体的压力水平划分为低、中或高。通过将头脑内部的变化与面部表情所呈现的外在特征结合，研究者希望超越简单的情绪自评，开发出未来可以在工作、家庭和数字设备中支持身心健康的工具。

两扇了解压力的窗口

该研究聚焦于两种与压力相关但截然不同的信号。一种是以 EEG 捕获的大脑电活动，反映他人不可见的内在反应；另一种是面部表情，展示诸如紧张、焦虑或平静等外在迹象。作者并未对相同受试者重新收集数据，而是复用两套流行的公共数据集：用于 EEG 的 DEAP 与用于面部图像的 FER2013。两套数据都没有临床意义的压力标签，因此团队基于大脑唤醒强度与面部情绪表现谨慎地定义了三档压力区间，并测试了标签划分对结果的敏感性。

教机器读取信号

为学习这些信号中的模式，研究者构建了两条独立的深度学习分支。针对 EEG，他们使用一种擅长捕捉时间变化的网络——LSTM，有助于跟踪与压力相关的脑波节律与突发活动。针对面部图像，他们将关注整体信息的视觉变换器（Vision Transformer）与注重局部细节（如眼周或口周肌肉收紧）的经典卷积网络相结合。每个分支将原始输入转化为一组紧凑特征，概括其对可能压力水平的判别信息。

将大脑与面部信息融合

关键问题在于如何合并来自完全不同受试者与实验的两种视角。作者测试了三种融合策略。早期融合是在送入分类器之前直接拼接脑与面特征；晚期融合则让每个分支独立给出判断，再对结果进行平均或投票；堆叠融合（stacked fusion）则训练一个二级模型来学习如何组合两组判决，从而发现何时更应信任某一信号。研究中也采取了谨慎措施以保持训练与测试数据的独立性，确保结果诚实且可比。

系统的能力与局限

单独来看，面部模型能将约五分之四的样本正确分类为压力等级，而脑电模型的表现略优于五分之三。两者融合后，各项性能都有提升。早期融合已经优于任一单一来源，但晚期融合表现更好，表明让各分支专注于自身特色有助于整体判断。堆叠融合的表现最好，在测试样本中超过九成的情况下正确分配压力等级，并在精确度、召回率与 F1 值上获得高分。尽管如此，作者强调其标签仅基于情绪与唤醒的替代指标，而非临床诊断，且 EEG 与面部数据来自不同受试者，这限制了方法对现实压力状态的直接反映。

对日常生活的意义

简而言之，这项研究表明，当模型同时从脑电活动与面部表情中学习，而不是仅依赖单一来源时，即便这些数据分别采集，计算机也能更可靠地将人群划分为低、中、高压力组。该框架为未来系统提供了一种构建方案，能在办公室、医疗环境或交互式设备中监测压力上升，而无需完全同步的传感器。在此类工具用于个人健康决策之前，仍需在包含真实压力测量和配对记录的新数据上进行验证，但本研究奠定了重要的技术基础。

引用: Pechetti, S., Chennu, L., Chintakunta, V. et al. Cross-domain multimodal learning for stress-level prediction: a hybrid deep learning framework integrating independent EEG and facial expression datasets. Sci Rep 16, 15303 (2026). https://doi.org/10.1038/s41598-026-41250-7

关键词: 压力检测, EEG 信号, 面部表情, 多模态学习, 深度学习