PS-SNN: クラス逐次追加学習における拡張可能なスパイキングニューラルネットワークのためのパターン分離学習

なぜ機械に「記憶させる」ことが重要なのか

現代のAIシステムは目覚ましい能力を持ちますが、深刻な弱点があります。新しいことを学ぶと以前に学んだことを忘れてしまう傾向があるのです。この「健忘」は、ロボットやスマートフォンなど、変化する世界から継続的に学び続ける必要があり再学習で全てを作り直せない装置にとって大きな障害となります。本論文で示されるPS-SNNは、エネルギー効率の高いスパイキングニューラルネットワークが時間をかけて新しいカテゴリを学びつつ既存の知識を保つための脳に着想を得た方法を提示し、低消費電力ハードウェア上で動作するより賢く信頼できるAIへの道を示します。

時間とともに忘れてしまう問題

ほとんどのAIモデルは固定データセットで一度だけ訓練されてから展開されます。しかし現実にはデータは波のように到来します：例えばカメラは来月、これまでラベル付けされていなかった新しい種類の物体を目にするかもしれません。標準的なニューラルネットワークをこれら新しいカテゴリで更新すると、内部の「特徴空間」が形を変え、以前のカテゴリに対する性能が崩壊することがよくあります—これが壊滅的忘却と呼ばれる現象です。これは特に、訓練段階がどのカテゴリに対応するか示されないクラス逐次追加学習で困難になります。生物学的ニューロンのように短い電気的スパイクで通信し、低消費電力チップに魅力的なスパイキングニューラルネットワークも同様の問題に悩まされており、従来のディープネットワークほど注目されてきていません。

脳における成長と分離から学ぶ

神経科学は生涯学習に関して二つの補完的なアイデアを示唆します。第一に、脳は新しいニューロンを増やすことができ、とくに海馬という領域で新生が起きることで古い記憶を上書きせずに新しい記憶を保存できると考えられています。第二に、海馬の別の部分である歯状回は「パターン分離器」として働くと考えられ、類似した経験であっても干渉しないように異なる、重複しない活動パターンへと写像します。スパイキングネットワークの既存の継続学習手法は通常、ネットワーク構造の変更や過去データの再利用に焦点を当てますが、出力層をランダム初期化に依存しているため、新しいタスクが来るとカテゴリの内部表現がずれ重なってしまう問題が残ります。著者らは、この見過ごされがちな分類器の設計が不安定性の主要因であると主張します。

PS-SNNが学習プロセスをどう変えるか

PS-SNNは、クラス逐次追加学習に向けて設計されたスパイキングネットワークで、これら二つの脳由来アイデアを組み合わせます。新しいカテゴリ群が到来するたびに、ネットワークは新しい特徴抽出モジュールを追加して成長し、以前のモジュールは凍結してニューロジェネシスを模倣し既存知識を保持します。同時に、毎回出力層をゼロから学習する代わりに、各クラスにあらかじめ計算された特徴空間内の方向を割り当てます。これらの方向は互いに直交するよう構成されており、各クラスは最初から重ならない固有のスロットに固定されます。最初の訓練段階であるパターン分離学習では分類器を固定し、特徴抽出器のみを適応させることで、各クラスのスパイクベースの表現が割り当てられた方向の周りにきつくクラスタリングされ、新旧タスク間の衝突が減少します。

記憶を壊さずに判断を微調整する

直交アンカーは安定性を大きく改善しますが、同時に硬直的でもあります。柔軟性を取り戻すために、PS-SNNはパターン洗練学習と呼ばれる第二段階を追加します。ここでは特徴抽出器を凍結し分類器のみを調整しますが、その際に過去と新しい例を慎重に混ぜたバランスの良いデータを使い、どのクラス群も支配しないようにします。この段階は、第一段階で安定化された基礎表現を乱すことなく、既に十分に分離されたクラス方向間の決定境界を微妙に再形成して識別性能を向上させます—とくに視覚的に類似したカテゴリで有効です。システムはまた過去サンプルの小さなリプレイメモリを保持し、両段階の学習を導く一助としつつ記憶コストを抑えます。

この結果が将来のAIにもたらす意味

クラスが複数ステップで到来する標準的な画像ベンチマークで評価したところ、PS-SNNは以前のスパイクベースの継続学習手法を大幅に上回り、いくつかの主要な従来型ディープネットワークに匹敵するかそれを超える結果を示しました。しかもスパイクベース計算の省エネという利点を維持しています。拡張可能なネットワーク構造と固定された十分に分離されたクラスアンカーを組み合わせることで、長期学習を損なう内部表現のゆっくりとしたドリフトを大幅に抑制します。専門外の読者にとっての要点は、この研究が脳のように忘れずに学び続ける能力に一歩近づけるものであり、日常のデバイスに組み込める将来のニューロモルフィックチップ上で効率的に動作する可能性がある、ということです。

引用: Hu, K., Wen, L., Zhang, T. et al. PS-SNN: pattern separation learning for expandable spiking neural networks in class-incremental learning. Sci Rep 16, 12653 (2026). https://doi.org/10.1038/s41598-026-42970-6

キーワード: 継続学習, スパイキングニューラルネットワーク, 壊滅的忘却, ニューロモルフィックコンピューティング, パターン分離