使用面部与指纹的可信自适应融合实现的安全且可解释多模态生物识别系统

为什么你的面部与指纹需要更智能的锁

我们的手机、笔记本电脑，甚至办公室的门，越来越多地依赖指纹和面部扫描来代替密码。但如果这些生物识别“钥匙”被复制或遭到篡改，会发生什么——我们又如何信任决定谁能进入的计算模型？本文提出了一种将面部与指纹数据结合的新方法，旨在提高准确性、增强隐私并提升对人的可理解性，展示了未来数字锁可能的工作方式。

用两个特征而非一个

单一的生物识别系统，例如仅指纹或仅面部的扫描器，在图像模糊、光线不足或部分遮挡时可能表现不佳。作者构建了一个同时使用面部与指纹的多模态系统。每张图像首先经过清理：面部被检测并对齐，使眼睛、鼻子和嘴处于标准位置；而指纹则被去噪、二值化并裁剪到脊线最有信息的中心区域。这种细致的预处理使后续步骤对日常问题（如光照变化、按压强度或背景杂乱）更具鲁棒性。

教授一种紧凑的数字“身份感知”

系统没有手工设计边缘或纹理等特征，而是使用一种现代深度学习模型 MobileNetV2，并引入“通道注意力”机制。简单来说，该网络学习图像中哪些部分对区分人最重要，哪些可以忽略。它为每张面部和每个指纹生成一个短的数值指纹——称为嵌入（embedding）。这些紧凑的摘要旨在既能有效区分个体，又能高效存储与处理。

让系统决定该信任哪个信号

现实世界的数据往往混乱：污迹的指纹或光线暗淡的自拍都可能误导即便是强大的模型。为此，作者提出了可信自适应融合（Trust-Adaptive Fusion，TAF）。系统估计对每种模态的置信度并将这些置信度转换为信任分数。与其简单地堆叠面部和指纹特征，不如在形成联合表示时给予更可信的那一方更高权重，对质量较差的一方降低权重。这种动态加权有助于在某一信息源退化或部分缺失时仍保持系统的准确性。

在进行计算的同时保护数据

由于生物识别特征不像密码那样可以更改，保护它们至关重要。因此系统绝不以明文形式存储或比较原始特征。相反，它使用一种称为同态加密的专门技术对融合后的特征向量进行加密。该方法允许服务器在数据保持加密状态下执行比较——本质上是测量存储模板与新登录尝试之间的相似度。只有最终的相似度结果被解密，这意味着底层的生物特征模板即便对执行计算的服务器也保持隐藏。

打开黑盒

深度学习模型常被批评为不透明。为了解决这一问题，作者整合了一种名为 Grad-CAM 的可视化方法。对于给定的决策，Grad-CAM 高亮面部或指纹图像中对结果影响最大的区域。在面部图像中，系统关注眼睛、鼻子和嘴周围的区域；在指纹图像中，它则集中于脊线终点与分叉点，而非嘈杂的背景。这些热图帮助用户和系统设计者验证模型是否依赖合理的线索而非偶然的伪影。

效果如何以及为何重要

所提系统在标准公开的人脸与指纹数据集上进行了测试，并表现出极低的错误率：几乎不会将冒名顶替者误认为真实用户，也很少拒绝合法用户。关键是，这些结果在所有匹配均在加密域中完成时仍然成立，表明强有力的隐私保护并未显著削弱性能。对于普通用户而言，关键结论是：结合多种生物识别特征、按质量加权并用先进加密保护它们，可以使数字访问既更安全又更值得信赖——而无需我们记住任何复杂的密码。

引用: Chitrapu, P., Morampudi, M.K. & Kalluri, H.K. A secure and explainable multimodal biometric system using trust adaptive fusion for face and fingerprint. Sci Rep 16, 14244 (2026). https://doi.org/10.1038/s41598-026-43252-x

关键词: 生物识别认证, 面部与指纹, 隐私保护的安全性, 深度学习, 可解释人工智能