通过流形感知稀疏建模与协作灰狼优化的联邦多标签文本特征选择

为何更智能的文本分类很重要

每天，医院、新闻编辑部和社交网络都会生成海量文本，需要同时打上多个重叠主题标签——想象一份医疗报告被标注为多种疾病、治疗方法和风险因素。多标签标注有助于检索、推荐和决策支持，但也把计算机淹没在庞大的候选词和短语列表中。论文提出了一种新方法，旨在在保留用户数据于本地设备的同时，仅挑出最有用的文本线索，使系统既更快又更能保护隐私。

从噪音中提取关键信号

在多标签文本问题中，每个文档可能属于多个类别，且这些类别常常相互关联：一篇关于气候科学的文章也可能涉及政策与经济。同时，现代文本表示——诸如长词表或密集嵌入——包含数千个潜在信号，其中很多是冗余或无关的。“特征过多”会拖慢训练、促成过拟合并削弱预测能力。作者聚焦于特征选择，即寻找紧凑且信息量大的文本特征子集，但他们在一种数据分散在众多设备且不能集中到服务器的情形下进行这项工作。

在不查看数据的情况下学习结构

所提出的框架称为 Fed‑MSMCGWO，运行在联邦学习设置下：每个客户端设备（例如医院或新闻网站）将其原始文本和标签保存在本地。第一阶段，该方法构建一种文档之间相似性及其标签共现方式的“地图”或流形。它将相近的文档和相关标签连接成图，然后学习遵循这些结构的特征权重。一种特殊的稀疏性规则鼓励在多个标签上都不重要的整组特征一并消退，保留既精简又能捕捉文本与标签间潜在关系的表示。

受自然启发的微调

在基于流形的剪枝之后，第二阶段使用一种以灰狼群为模型的生物启发搜索策略对剩余特征权重进行细化。候选特征子集被视为在解空间中探索的狼群。它们被组织成三类协作群体，在对优秀部分解进行谨慎利用与对新解的广泛探索之间取得平衡。通过根据表现最好的群体成员不断更新位置，这些虚拟狼群会逐步收敛到进一步提升标注性能且仍然保持稀疏性的特征组合。

在协作中保持隐私

当每个客户端在本地完成两阶段优化后，只向中央服务器发送其特征权重和所选特征索引——而非原始文档或标签。服务器汇总这些权重，给数据量较大的客户端更大影响力，以形成关于哪些特征最重要的全局视图。然后将该全局权重向量返回给所有客户端，客户端据此进行新一轮本地细化。通常只需若干轮即可收敛到稳定的共享特征集。该循环创建了一种协作学习过程，使机构能够在不共享原始文本数据的情况下互相受益。作者还讨论了如何在未来工作中将该设计与更强的密码学工具结合。

在实践中证明其收益

为验证方法，研究者在八个公开的多标签文本数据集上进行了实验，涵盖教育、健康、艺术和科学等领域。他们将该方法与假设可集中所有数据的经典集中式方法及较新的联邦特征选择方案进行了比较。在多标签性能的若干标准上——包括正确标签的排序准确度以及标签被漏标或误标的频率——新框架始终与替代方法持平或更优，常常在选取极少特征的情况下就达到较高精度。统计检验确认这些提升不是偶然，消融研究表明流形建模与灰狼优化都是整体设计中不可或缺的关键组成。

展望

简而言之，这项工作表明可以削减海量文本表示、尊重多重标签之间的复杂关系，并在众多数据持有方之间进行协作——同时将敏感文档保留在本地。通过将结构化的几何洞察与受自然启发的搜索策略相结合，Fed‑MSMCGWO 提供了构建更快、更准确且更注重隐私的文本标注系统的实用方案。作者设想将该方法扩展到超越纯文本的更丰富数据类型，并与更强的加密技术配对，为能够在不暴露源内容的情况下从多源学习的协作型 AI 铺平道路。

引用: Zheng, Y., Ye, Z., Zhang, S. et al. Federated multi-label text feature selection via manifold-aware sparse modeling and cooperative grey wolf optimization. Sci Rep 16, 11680 (2026). https://doi.org/10.1038/s41598-026-46223-4

关键词: 联邦学习, 特征选择, 多标签文本分类, 隐私保护型人工智能, 元启发式优化