FaceScanPaliGemma 多智能体视觉语言模型用于面部属性识别

为什么更聪明的面部解读很重要

每天，摄像头都会捕捉到无数人的图像：社交媒体帖子、在线会议以及公共场所。如今，计算机系统越来越多地尝试“解读”这些面孔，推测年龄、情绪等特征。这类工具可以支持从无障碍辅助到健康研究的有用服务，但也带来公平性、隐私和偏见等深刻问题。本文介绍了 FaceScanPaliGemma——一种新的人工智能系统，旨在不仅提升计算机读脸的能力，还更关注谁可能被忽视或受到不公正对待。

一种新的团队式读脸方法

以往大多数面部分析系统依赖单一大型模型试图一揽子完成所有任务：从图像中检测种族、性别、年龄段和情绪。FaceScanPaliGemma 则采用不同路径。它使用一个由较小、专用模型组成的“团队”协同工作，每个模型只专注于单一任务。这些模型基于视觉—语言架构，既能看图像，又能处理关于用户需求的文字提示。例如，系统可以通过将所见与提问结合，回答“这张照片中孩子的年龄组和情绪是什么？”之类的问题。

多智能体系统的工作原理

FaceScanPaliGemma 的核心是一个分析智能体，它读取用户请求并将其分解为若干步骤。如果查询提到繁忙场景中的特定人物——例如“拿着球的男孩”或“中东女性”——分析智能体首先调用人脸检测模型定位相关人脸。随后将裁剪出的人脸交给一个或多个专门智能体，分别负责种族、性别、年龄组或情绪。每个专门智能体都是经过微调的 Google PaliGemma 视觉语言模型，基于带标签的人脸图像训练，使其在单一任务上高度精确。最后，分析智能体将各部分结果组合成符合原始请求的答案。

基于更公平且更大的面部数据集构建

为训练和测试这些智能体，研究者依赖两个主要公共数据集。第一个 FairFace 包含十多万张面孔，在若干种族组之间经过精心平衡，并含有性别标签和详细年龄范围。这一设计有助于减少某些群体样本远多于他人的常见问题（例如白人面孔）。第二个数据集 AffectNet 包含数十万张带有八种基本面部表情标签（从快乐到蔑视）的图像，这些图像来自网络并涵盖多种语言。通过在这些数据集上微调 PaliGemma 模型，团队将通用视觉语言工具改造为针对种族、性别、年龄组和情绪识别的四个专门专家。

系统的性能如何

在大规模测试中，FaceScanPaliGemma 与诸如 GPT-4o 和 Gemini 等知名通用人工智能系统，以及仅基于图像处理的传统深度学习模型进行了比较。在种族识别任务中，该系统在将若干种族类别合并的情形下达到了约 81% 的准确率，明显优于早期视觉系统和开箱即用的视觉语言模型。在性别识别上约为 96%，对更广泛的年龄组约为 80%，同样与强基线持平或更好。情绪识别更具挑战性：FaceScanPaliGemma 达到约 59% 的准确率——优于预训练的视觉语言模型和一些经典方法，但仍低于那些在数百万张图像上训练的顶尖情绪识别系统。作者还考察了不同人口群体间的性能差异，发现性别差距较小，但在某些种族和细微表情上差距较大，他们将这些差距归因于基于外观判断特征的固有难度。

公平性、风险与现实世界应用

由于面部属性识别涉及身份、隐私和歧视问题，作者对伦理问题给予特别关注。他们强调 FaceScanPaliGemma 在公开研究数据集上训练，且模型发布时附带明确的滥用限制建议，例如禁止用于大规模监控或自动化决策。多智能体设计也有助于这一点：通过将种族、性别、年龄和情绪分成独立模块，更容易对每个模块进行偏差度量和减缓。然而，该系统仍有局限：它主要在基准数据集上测试，而非嘈杂的现实世界图像，并且尚未解释其决策过程——这两点都是未来工作的重点。

这一工作对未来的意义

简言之，这项研究表明，一组协调运作的较小专用 AI 模型可以比许多更大的单一模型更准确、更灵活地读取人脸，尤其是在有针对性训练数据的指导下。FaceScanPaliGemma 在运行速度和成本上也优于许多巨型模型，同时在若干关键任务上与之抗衡甚至胜出。与此同时，研究也强调，从面孔读取人类特征仍不确定且具有伦理风险，特别是情绪识别和视觉上模糊的群体。作者主张，未来进展应将技术改进（例如更好的训练数据和分阶段学习）与更强的公平性、隐私和透明性保障结合起来，方可在更广泛部署此类系统之前降低风险。

引用: AlDahoul, N., Tan, M.J.T., Kasireddy, H.R. et al. FaceScanPaliGemma multi-agent vision language models for facial attribute recognition. Sci Rep 16, 10246 (2026). https://doi.org/10.1038/s41598-026-39584-3

关键词: 面部属性识别, 视觉语言模型, 多智能体人工智能, FairFace 数据集, 情感识别