双向不对称动量改善边缘系统中的联邦类遗忘

为何教机器忘记很重要

我们的手机、手表和家用设备不断从我们提供的数据中学习，从照片和语音片段到健康读数。但当法律或用户要求某些数据被删除时——不仅仅是从存储中清除，而是从相关人工智能模型的行为中抹去——会发生什么？从头重新训练这些模型既耗时又昂贵，对于数以百万计的微型设备来说有时并不现实。本文探讨了一种更轻量的方法，使大型分布式学习系统在保留其他能力的同时“忘记”被选定的信息。

一起学习而不共享你的数据

许多现代系统采用联邦学习：一个中心服务器协调训练，而原始数据保留在各个设备上。手机或传感器使用本地数据更新共享模型，然后仅发送模型更新回服务器。这种部署有助于保护隐私并节省带宽，但并不能消除全部风险。模型仍可能携带其见过的信息痕迹，研究表明巧妙的攻击有时可以判断某些特定数据是否被用于训练。像欧洲“被遗忘权”这样的隐私法规因此推动了“机器遗忘”程序的发展，旨在减少模型对指定数据（例如某一类图像或某个用户群体）的依赖。

为什么现实中的遗忘如此困难

理论上，最干净的解决办法是丢弃不需要的数据，然后仅用剩余信息从头重新训练模型。实际上，完全重训练意味着巨大的通信开销，需要多次在众多客户端之间协调，并且运行时间很长，尤其是当数据在设备之间分布不均时。此外，试图忘记某一项知识可能会损害其他方面的性能，因为相同的模型参数同时支撑着多种能力。作者指出，训练内部机制，特别是平滑更新的优化器动量状态，会将“忘记”和“保留”的信号混合在一起，使得抹除一类时会干扰模型的其他技能。

用于遗忘的轻量附加头

所提出的方法 FedDAM 通过仅在已训练好的模型上更改一小部分来应对这些挑战。用于从数据中提取特征的主网络及其原始分类器被固定不变。在其之上，作者添加了一个新的、小型“辅助头”，其职责是在受控方式下调整最终预测。在遗忘阶段，仅更新并在设备间共享这个辅助头，这相比于重训练整个模型大大减少了通信和计算开销。通过直接作用于最终评分层，该方法可以在不动深层特征提取器的情况下移动目标类别的决策边界，这使其对资源受限的手机和边缘设备具有吸引力。

用于保留与遗忘的双重记忆流

FedDAM 的关键技术思想是将希望遗忘的力量与希望保留的力量分开。每个参与客户端将本地数据划分为“保留”和“遗忘”集合，然后交替基于两者进行更新。该方法不将两者输入到单一动量状态，而是保留两个独立的动量缓冲区：一个用于保留，一个用于遗忘，并在更新辅助头时以不对称方式将它们合并。遗忘更新具有更短的记忆并稍高的权重，因此当模型遇到应被抹去的数据时能更快作出反应，同时仍然受保留数据的较缓慢影响所牵引。作者通过实验证明，这种双流机制减少了两项目标之间的直接冲突，并使更新更贴合预期的遗忘行为。

选择性遗忘在实践中效果如何

研究团队在标准图像集合上测试了 FedDAM，包括 CIFAR-10、CIFAR-100 和一个中等规模的 ImageNet-100 设置，均在现实的联邦条件下进行：每个客户端仅拥有数据的一部分，且某些客户端可能根本没有应被遗忘的样本。他们将该方法与若干替代方案进行比较，这些替代方案要么使用单一共享动量、要么投影冲突梯度、要么擦除重叠方向，以及与压缩的完整模型重训练相比。在这些实验中，FedDAM 在达到相似遗忘水平时，对保留类别的一致准确率更高，在更难、更具多样性的数据集上提高约 7 到 9 个百分点。同时，它比完整重训练消耗更少的通信和运行时间，即便后者经过了大幅压缩。

这对日常设备意味着什么

对非专业读者而言，主要信息是可以设计出能够在之后更灵活地“遗忘”某些数据类别的学习系统，而无需从头开始并且不会过度损害其他方面的性能。FedDAM 为在联邦与边缘环境中实现这一点提供了一个实用方案：固定模型的大部分，只调整一个小型辅助头，并小心分离我们想保留的数据与想遗忘的数据的影响。尽管它不提供形式化的隐私保证，也无法应对所有可能的删除请求，但这种方法在什么都不做与承担完全重训代价之间提供了一个有用的折中方案，有助于将机器遗忘的理念推进到真实世界的部署中。

引用: Patra, A., Mayaluri, Z.L., Sahoo, P.K. et al. Dual asymmetric momentum improves federated class unlearning in edge systems. Sci Rep 16, 14748 (2026). https://doi.org/10.1038/s41598-026-45631-w

关键词: 联邦学习, 机器遗忘, 边缘计算, 人工智能隐私, 神经网络