Clear Sky Science · zh

一种拓扑标准化的东亚人群3D面部数据集,具有情绪与动作单元多样性

· 返回目录

数字面孔为何重要

从视频通话到虚拟现实,我们的生活充满了数字面孔。然而驱动这些面孔的许多计算系统都是在有限的数据上训练的,常常侧重于西方人群和狭窄的表情范围。本文介绍了 AST-Face——一个以东亚年轻成年人为中心的新 3D 面部数据集,旨在为研究人员在动画、情感研究和人机交互方面提供更好的构建基石。

Figure 1. 许多东亚 3D 面部被统一为共同结构,使计算机能够公平地比较表情。
Figure 1. 许多东亚 3D 面部被统一为共同结构,使计算机能够公平地比较表情。

新面部集合包含什么

AST-Face 数据集包含来自 98 名 18 至 30 岁东亚参与者的详尽 3D 扫描。对于每个人,团队采集了一个中性面、六种常见情绪(高兴、愤怒、悲伤、惊讶、恐惧与厌恶)以及九种基于肌肉的特定面部动作。这些动作遵循一种广为采用的系统,将表情分解为小的动作单元,例如抬起内眉或牵拉口角。部分志愿者还允许从三个相机角度同步拍摄彩色照片,为将 3D 形状与常规图像结合的研究创建了更丰富的资源。

面部如何被捕捉与清理

为了使数据可靠且具可比性,研究者构建了经过精心控制的捕捉装置。一台高精度 3D 扫描仪记录了每张面部的细节,同时三台彩色相机从左、中、右三个角度拍摄。可调节照明减少了阴影与反光,定位装置帮助参与者保持稳定姿态。每位参与者遵循相同的录制脚本:先是放松的中性面,然后依次表演六种情绪,最后是九个动作单元,每一步由受过训练的工作人员引导。随后,原始扫描数据通过裁剪背景与颈部区域、对齐头部姿态、校正表面属性并在每张面部上提取 84 个标准标志点等步骤进行清理。

Figure 2. 粗糙的 3D 面部逐步被细化为平滑的共享网格,在匹配结构的同时保留表情细节。
Figure 2. 粗糙的 3D 面部逐步被细化为平滑的共享网格,在匹配结构的同时保留表情细节。

让每张面孔都可比较

3D 面部研究的一个核心挑战是原始扫描并不共享相同的数字结构。它们在点的数量和这些点的连接方式上可能各不相同,这使得比较不同人的微笑变得困难。AST-Face 通过对每个扫描执行两步对齐流程来解决此问题。首先,拟合一个灵活的面部模型以捕捉张口和抬眉等大幅运动。然后,使用先进的匹配算法轻柔地扭变一个共享模板网格,使所有最终面部在点数和连通性上完全一致。这一统一结构使研究人员能够逐点比较不同人和表情的面孔,而无需自行设计复杂的预处理流程。

这些数据可以用来做什么

完成的数据集提供了多层信息:标准化的 3D 网格、标志点、每种表情相对于中性面的详细差异图以及对每种情绪和动作单元的经验证标签。公开可用的文件不包含任何可识别的纹理,而原始扫描与彩色图像则通过数据使用协议进行保护以维护参与者隐私。凭借此结构,AST-Face 可支持广泛工作,从由类肌肉控制驱动的更自然面部动画,到研究个体间表情差异的机器学习模型,再到将 3D 形状与 2D 图像关联的跨模态系统。

这对未来数字面孔意味着什么

简而言之,AST-Face 为研究人员提供了一套高质量、结构良好的东亚 3D 面部数据,所有面孔都使用同一数字语言。通过结合多样表情、经仔细核验的基于肌肉的标签以及共享的网格结构,该数据集简化了构建和测试需要一致且逼真实面部运动算法的过程。尽管它侧重于特定年龄组并在受控照明下采集的摆拍表情,但它有助于弥补现有资源中的人口学差距,并为未来更具包容性和更准确的数字面孔奠定更清晰的基础。

引用: Zhao, Y., Gong, G., Li, Y. et al. A Topology Standardized 3D Facial Dataset with Emotion and Action Unit Diversity for East Asians. Sci Data 13, 735 (2026). https://doi.org/10.1038/s41597-026-07098-2

关键词: 3D 面部数据集, 面部表情, 东亚面孔, 动作单元, 拓扑标准化