順伝播のみで学習するスパイキングニューラルネットワークとフォワード–フォワードアルゴリズム

スパイクで思考するコンピュータを教える

今日の最先端の機械学習の多くは、脳で起きていることとはまったく異なる数式を使って学んでいます。本論文は、実際のニューロンのように短い電気パルスで通信する「スパイキング」ニューラルネットワークを、従来のバックプロパゲーションに頼らずに訓練する新しい方法を探ります。著者らは、フォワード–フォワードと呼ばれる脳に着想を得た手法が、スパイキングネットワークに対して画像や音声の認識を高精度で教えられることを示しており、既存の最良手法に匹敵するか時にそれを上回り、かつ低消費電力のニューロモルフィックハードウェアと相性が良い点を強調します。

スパイキング脳が学習しにくい理由

スパイキングニューラルネットワークは、滑らかな連続値ではなく、時間を通じた離散的なバースト（スパイク）で情報を処理します。これにより低消費電力の計算や生物学的脳の模倣に有利ですが、従来の学習アルゴリズムには厄介な問題を生みます。バックプロパゲーションは接続重みを調整するために滑らかな勾配を必要としますが、スパイクはオンかオフの全か無かの事象です。学習時にスパイクを滑らかに扱う代理勾配などの回避策は存在しますが、バックプロパゲーションは依然として大量の中間活動を保存し、全ての層に対して正確な誤差信号を逆伝播させることを要求します。これらの前提は計算コストが高く、生物学的にも非現実的です。

別の道：二つの順方向パスで学ぶ

フォワード–フォワードアルゴリズムは対照的なアプローチを取ります。1回の順伝播の後に誤差信号を逆伝播させる代わりに、ネットワークの各層は“正例”を用いる順伝播と、体系的に誤りを含むように作った“負例”を用いる順伝播の2回のみで訓練されます。各層はニューロンの応答の強さに基づく「良さ（goodness）」という単純なスコアを測定します。目的は正の入力で良さを高くし、負の入力で低くすることです。各層が自分自身の活動のみを使って結合を更新するため、誤差信号をネットワーク全体に逆伝播させる必要がなく、アルゴリズムはより局所的でモジュール化され、ハードウェアに適したものになります。

スパイクでフォワード–フォワードを動かす

著者らはこの考えをスパイキングネットワークに適用するために、入力とラベルの符号化方法、良さの測定方法を慎重に設計しています。まず、画像や音のパターンはレート符号化を使ってスパイク列に変換されます——強い入力ほど短い時間ステップの間に多くのスパイクを生みます。ラベルは入力の一部に直接埋め込まれ、ひとつのベクトルがデータと候補クラスの両方を運びます。正例は正しいラベルを使い、負例はネットワークが混同しやすいクラスから意図的に「手強い」誤ラベルを選びます。リーキ積分発火（leaky integrate-and-fire）ニューロンの層をスパイクが流れるとき、モデルは正／負のパスで各ニューロンがどれだけ発火したかを数えます。層の良さは全体のスパイクカウントで定義され、滑らかな損失関数が正の良さが負の良さを十分に上回るように促しつつ勾配の安定性を保ちます。

このスパイキング方式の性能はどの程度か？

検証のために著者らは、手書き数字（MNIST）、ファッションアイテム、和文文字、着色物体画像（CIFAR-10）などの標準的な視覚ベンチマークや、入力が既にスパイクとして得られるニューロモルフィックデータセット（イベントベースの数字記録であるN-MNISTや、スパイク列として符号化された発話数字のSHD）で小型のスパイキングネットワークを訓練しました。隠れ層を2層、時間ステップを10程度といった小規模構成にもかかわらず、彼らのフォワード–フォワードスパイキングモデルは他のフォワード–フォワードを用いるスパイキングシステムと同等か、それを上回り、バックプロパゲーションで訓練された最良のスパイキングネットワークにも迫る性能を示しました。SHDのような時間的に難しい課題では、いくつかのバックプロパゲーションベースのスパイキングモデルを上回ることさえあり、さらにパラメータ数が少なくイベント駆動型ハードウェアへの対応が容易という利点もありました。

これが将来の脳に似た機械に意味するもの

一般向けの要点は、重厚なバックプロパゲーションの仕組みに頼らずに脳に近いスパイクベースのネットワークを学習させる有望な手段が存在するということです。各層を良い例と悪い例に対する応答の強さで評価し、すべて順方向のパスだけで学習を進めることで、フォワード–フォワードは学習を局所的でモジュール化されたものに保ちながら競争力のある精度を達成します。代理勾配や明示的なラベル埋め込みのように厳密には生物学的でない要素もありますが、この枠組みは機械学習を実際の神経系が適応する方法に一歩近づけ、リアルタイムでストリーミングの感覚データから学ぶ、より効率的で低消費電力なインテリジェントデバイスへの道を開きます。

引用: Ghader, M., Kheradpisheh, S.R., Farahani, B. et al. Backpropagation-free spiking neural networks with the forward–forward algorithm. Sci Rep 16, 14294 (2026). https://doi.org/10.1038/s41598-026-41671-4

キーワード: スパイキングニューラルネットワーク, フォワード–フォワード学習, ニューロモルフィックコンピューティング, 生物に着想を得たAI, バックプロパゲーションの代替