Clear Sky Science · zh

无需反馈的闭式解学习:前向投影法

· 返回目录

在没有后向信号的情况下教会机器

现代人工智能主要使用一种称为反向传播的方法来学习,其中误差信号沿网络向后传递以调整内部连接。但这一过程与真实大脑的工作方式不同,且可能耗时且资源密集。本文提出了一种称为前向投影(Forward Projection)的新型神经网络学习方法,它完全跳过后向步骤,同时仍能在性能上表现出色,尤其是在数据有限的棘手生物医学任务中。

引导学习的新途径

传统神经网络通过将预测与正确答案比较,并将误差信号在每一层向后发送以微调连接来学习。前向投影采取了不同的路线。它不依赖这些向后的误差信息,而只使用在信号向前传播时可获得的信息:当前层的活动与目标标签。在每一层,该方法将进入该层的输入与期望输出标签结合,经过固定的随机投影和简单非线性变换。这会生成该层的“目标”内部信号——一个该层应努力匹配的类电位般活动模式。

一旦这些目标被构造出来,每层的连接权重就可以通过闭式回归一次性求解,使用的是标准统计公式而非迭代的梯度下降。这意味着网络可以在对数据集进行单次遍历时完成训练,无需反复重访相同样本或存储大量中间激活值。由于不需要信息向后传递,该方法符合生物神经元中单向通信的现象,并且在具有单向连接的专用硬件上实现起来可能更为容易。

Figure 1
Figure 1.

从隐藏活动中看见意义

前向投影一个显著的优势是隐藏层的内部信号变得直接可解释。因为每一层都被明确训练去同时编码输入和标签,其膜样电位可以作为该层的局部分类预测来读取。作者展示了如何将这些信号近似“解码”回标签空间,把活动模式转化为每层关于网络在各个阶段所相信内容的解释。在实验中,这些解释在更深层变得更准确,反映出渐进式学习——早期层捕捉到的是宽泛的模式,而后期层则聚焦于决策关键的细节。

这种可解释性在医学领域尤为重要,因为理解模型为何做出某个决定可能与决定本身同等重要。利用心电图数据,作者展示了前向投影在时间上恰当地突出显示已知的心肌梗死临床征象——例如特定波形片段的变化。在用于检测异常血管生长的眼部扫描中,该方法自然地关注液体腔、亮沉积物和瘢痕样区域等专家查找的特征,即使在每类仅有约100个样本的训练条件下也能如此。

Figure 2
Figure 2.

快速训练、强劲结果

研究团队将前向投影与几种同样试图避免完整反向传播的替代方法以及标准反向传播进行了基准比较。在图像和序列任务上,如Fashion-MNIST手写数字、DNA启动子识别、基于心电图的心肌梗死检测和物体识别,新方法与其他本地学习规则相比匹配或超过了它们的性能。在标准设定下,反向传播总体上仍占优,但前向投影在仅做单次训练遍历的情况下,准确率惊人地接近反向传播。

在“少样本”场景中,即仅有少量有标签样本的情形(临床实践中常见),其优势更为明显。在胸片、视网膜扫描和小规模图像子集上,前向投影往往比反向传播和其他本地方法具有更好的泛化能力。反向传播在小数据集上往往要么过拟合,要么无法学到足够丰富的特征,而前向投影则产生了更稳定、可复用的内部表征。从计算角度看,训练一个大型层所需的乘加操作数量比运行多轮反向传播要少好几个数量级,带来了显著的加速和更低的能耗。

对未来人工智能与脑启发计算的意义

通俗来说,这项工作表明神经网络不必依赖繁重且在生物学上不太可信的反馈循环,依然能学习出有用且可理解的内部表征。通过在一次前向扫描中巧妙地混合输入与标签并用闭式解求权重,前向投影提供了一种快速训练模型、解释其内部工作并应对小而嘈杂的生物医学数据集的方法。尽管反向传播仍是许多大规模任务的金标准,这种无需反馈的方法指向更像大脑、对硬件更友好的学习策略,可能成为下一代高效且可解释人工智能系统的基础。

引用: O’Shea, R., Rajendran, B. Closed-form feedback-free learning with forward projection. Nat Commun 17, 2414 (2026). https://doi.org/10.1038/s41467-026-69161-1

关键词: 无需反馈的学习, 神经网络, 少样本训练, 生物医学人工智能, 可解释深度学习