基于判别性 TF‑IDF 信念规则库的垃圾邮件检测模型

更智能的垃圾过滤器为何与每个人息息相关

我们的收件箱被大量垃圾信息淹没，这些信息试图推销假冒产品、窃取密码或诱导我们转账。最危险的垃圾信息往往呈现出新的、不同的形式，在公司收集到足够样本以训练传统检测工具之前就已经出现。本文提出了一种新型垃圾过滤器，即使仅见到少量可疑信息也能表现良好，并能清晰解释为何将某条信息标记为垃圾或安全。

一种全新的方式来解读垃圾邮件的内容

当前大多数垃圾过滤器依赖标准机器学习或深度学习。这些系统通常需要成千上万乃至数百万条带标签的邮件和庞大的词特征列表来学习。它们能力强大，但当出现新的诈骗手法且只有少量示例可用时，往往表现不佳或像黑箱一样难以解释。作者改用一种称为信念规则库的专家系统框架，该框架以人类可读的“如果——那么”规则表示知识，自然适合从小规模数据集中学习。

挑出真正暴露垃圾邮件的词汇

直接的挑战在于原始电子邮件文本包含海量可能的词汇和短语。如果将所有这些输入到规则系统中，会导致规则数量失控。为避免这一点，作者重新设计算法 TF–IDF，使其不仅捕捉词对文档的重要性，还衡量该词更倾向于出现在垃圾邮件还是正常邮件中。他们的“判别性 TF–IDF”方法首先仅专注于垃圾邮件来构建具有指示性的词汇表，然后根据每个词在垃圾邮件或正常邮件中出现的偏向性对其评分，仅保留明显偏向垃圾邮件的词项。

将每条信息浓缩为两个简单信号

该方法没有把数百或数千个词指标输入规则系统，而是将每条信息压缩为仅两个数字。第一个是整体垃圾评分，将信息中那些倾向垃圾的词汇的指示强度累加起来。第二个是垃圾关键词密度，衡量信息中有多少词来自可疑词汇表。这两个数值被缩放到零到一之间，作为紧凑规则集的唯一输入，这些规则描述了不同分数组合应如何被解释为垃圾或安全邮件，并伴随相应的置信度。

可自适应且仍可理解的规则

规则系统以专家知识为起点：例如，同时具有高垃圾评分和高关键词密度的邮件几乎可以确定为垃圾，而信号冲突则需更谨慎的判断。为了优化这些初始设定，作者使用一种进化优化过程，在遵守逻辑约束的同时自动调整规则权重和置信值。这允许模型在真实数据上自我调优而不失透明的规则化结构。每一个最终决策仍然可以追溯到一小组人类可读的规则和输入分数。

在真实世界邮件上验证该方法

团队在两个公开数据集上测试了他们的模型：一个广泛使用的短信（SMS）文本集合和一组欺诈电子邮件。在每种情况下，他们都仅使用200个带标签的示例——100条垃圾和100条正常邮件——以模拟新型垃圾邮件爆发的早期阶段。通过多轮交叉验证，他们的模型在短信数据上达到约91.5%的准确率，在欺诈邮件上达到约95.5%，在相同低数据条件下优于一系列传统机器学习、深度学习和模糊逻辑系统。新的特征评分方法也被证明至关重要：在消融实验中移除此方法会导致性能明显下降，即便规则结构保持不变。

这对更安全收件箱意味着什么

对非专业读者而言，关键结论是：可以构建一种在极少带标签数据下也能高效工作且“能说明其判断过程”的垃圾过滤器。通过将复杂文本提炼为仅两个有意义的信号，然后应用可检视和可调的紧凑规则系统，所提出的模型既能在早期有效检测新型垃圾邮件，又能为其决策提供清晰解释。在实践中，这有助于电子邮件服务提供商和安全团队更快地应对新出现的诈骗活动，减少对不透明黑箱模型的过度依赖，并使专家更清楚地了解垃圾策略如何演变。

引用: Yang, X., Zhou, W., Duan, X. et al. A spam detection model based on the discriminative TF-IDF belief rule base. Sci Rep 16, 11962 (2026). https://doi.org/10.1038/s41598-026-42223-6

关键词: 垃圾邮件检测, 电子邮件安全, 文本分类, 可解释的人工智能, 小样本学习