スパイク型ニューラルネットワークにおけるモデル非依存の線形メモリ常在線学習

脳に似た計算機の訓練が難しい理由

スパイク型ニューラルネットワークは、実際の神経細胞と同様に短い電気パルスで情報をやり取りする人工ネットワークの一群です。超効率的な脳由来の計算や神経回路のより現実的なシミュレーションを可能にすると期待されています。しかし、特に長時間にわたる複雑な課題をこれらのネットワークに学習させるには、通常膨大な量のコンピュータメモリと手作りのコードが必要になります。本稿は、スパイクネットワークの訓練をより実用的で広く使えるものにするために設計されたシステム、BrainTraceを紹介します。

リアルタイムで学習するネットワークの教え方

脳に似たネットワークの強力な訓練法の多くは、一連の活動を丸ごと再生し、誤差信号を各時刻に逆伝播させることで機能します。これは「時系列にわたる逆伝播（backpropagation through time）」として知られ、非常に正確になり得ますが、系列が長いかネットワークが大きいとすぐに問題になります。中間状態をすべて保存する必要があり、メモリ消費が時間とネットワークサイズの両方に比例して増加するためです。代替の“オンライン”手法は、データが流れるごとに結合を逐次更新するため保存が大幅に減ります。しかし既存のオンライン則は、非常に単純化されたニューロンモデルにしか適用できなかったり、ネットワークサイズの二乗に比例してメモリが増えるなどの制約があり、現実的な脳規模システムへの適用が難しいことが多いです。

多様なスパイクネットワークに通用する一般的な手法

BrainTraceはまずスパイクネットワークを統一的に記述することでこの問題に対処します。著者らは、多くのニューロンやシナプスの種類を、各ニューロンの状態変化を記述する内部ダイナミクスと、入力スパイクを細胞間の電流に変換する相互作用ダイナミクスという二つの相互作用する部分として表現できることを示します。さらに、送信側ニューロンを中心にシナプスを整理するAlignPreと、受信側ニューロンを中心に整理するAlignPostという二つのモデリング観点を導入します。この抽象化により、単純な漏れ電流ニューロンから適応閾値や複雑なシナプスを持つ高度な細胞まで、さまざまな生物学的および工学的モデルを同じ数学的枠組みで扱えるようになります。

因果関係を追うためのメモリ節約法

オンライン学習の核心的課題は、各結合の小さな変化が最終的にネットワークの振る舞いにどのように影響するかを追跡すること、いわゆる「エリジビリティトレース（eligibility traces）」にあります。本来は完全なエリジビリティ情報を保持するには、ニューロン数の三乗に比例する巨大な行列を追跡する必要があります。BrainTraceはスパイクネットワークの三つの重要な性質を利用します：大部分のニューロンは大半の時間は静止していること、各ニューロンの状態変化は自身の漏れやリセットが支配的であること、そしてスパイクとシナプス導電率は常に非負であること。これらの事実を用いて、著者らは巨大なエリジビリティ行列を各シナプスごとに2つのコンパクトなトレースの積で近似できることを示します。1つは前シナプス（presynaptic）の活動を要約するトレース、もう1つは後シナプス（postsynaptic）の活動を要約するトレースです。このpre‑post伝播則（pp‑prop）により、メモリはネットワークサイズに対して線形にしか増加せず、それでいて完全な逆伝播から得られる勾配とよく整合する勾配を生成します。

数学を隠す自動化ツール

学習則そのものに加え、BrainTraceは深層学習の自動微分ライブラリと似た役割を果たすコンパイラを提供します。利用者は高水準言語でスパイクモデルのダイナミクスを記述します。BrainTraceコンパイラは状態とパラメータの接続を解析し、必要なエリジビリティトレースを構築し、pp‑propまたは関連アルゴリズムをCPU、GPU、あるいは専用アクセラレータ上で効率的に動かす最適化コードを出力します。これにより、モデル開発者は繊細な勾配コードを手作業で作る代わりに科学的な問いに集中でき、オンラインでメモリ効率の良い学習の恩恵を受けられます。

小さなセンサからハエ脳全体まで

著者らはBrainTraceを標準的なニューロモルフィックベンチマークで検証しました。ここではスパイクネットワークがイベントベースの画像、音、ジェスチャーを分類します。複数のデータセットとアーキテクチャにわたり、pp‑propは完全な逆伝播と同等の精度を保ちつつ、メモリ使用量を桁違いに削減し、他のオンライン法より高速に動作しました。重要なのは、このシステムが要求の厳しい神経科学問題にもスケールする点です。ある例では、興奮性と抑制性の集団を分けた生物学的に詳細なスパイクネットワークが証拠蓄積型の意思決定課題を学習し、マウス皮質で記録されたものに似た活動パターンを示しました。別の例では、125,000を超えるニューロンを持ち、ショウジョウバエのコネクトームに基づいて配線されたスパイクモデルが、ハエ脳全体で記録された安静時活動を再現するよう訓練されました。これは従来の単一GPU上での訓練が持つメモリ容量を超える偉業です。

脳に似た計算の将来にとっての意味

専門でない読者にとっての主なメッセージは、BrainTraceがかつて非現実的だった夢——豊かで脳規模のスパイクネットワークをリアルタイムで訓練すること——を現実的な可能性に変えた、ということです。少量のメモリで因果関係を追跡する巧妙な手法を見つけ、これを自動化ツールで包むことで、この研究は脳由来の計算を人工知能と基礎神経科学の両面で日常的に利用できる領域に近づけます。これにより、スーパコンピュータ級の資源を必要とせずに、実際の神経系の効率と時間精度で学習・適応する機械への道が示唆されます。

引用: Wang, C., Dong, X., Ji, Z. et al. Model-agnostic linear-memory online learning in spiking neural networks. Nat Commun 17, 1745 (2026). https://doi.org/10.1038/s41467-026-68453-w

キーワード: スパイク型ニューラルネットワーク, オンライン学習, ニューロモルフィックコンピューティング, 脳シミュレーション, 勾配に基づくトレーニング