メムリスタ・クロスバー上での超線形成能連想記憶のためのハードウェア適応型学習アルゴリズム

より賢い記憶ハードウェアが重要な理由

かすれて半分消えかかった電話番号を一瞥しても正しくダイヤルできると想像してみてください。私たちの脳はこうした欠損情報を日常的に補完しますが、今日のコンピュータは同じことを効率的に行うのが苦手です。本論文は、ノイズの混じったヒントから完全なパターンを想起できる、新しいタイプの電子記憶装置を探ります。これは脳の仕組みに近く、はるかに少ないエネルギーで動作します。学習規則とハードウェアの両方を再設計することで、研究者たちはこれらのシステムが予想以上に多くの記憶を蓄えられ、しかも多くの構成要素が故障しても動作し続けられることを示しています。

脳のような想起から電子的記憶へ

数十年前、科学者たちは「連想記憶」を提案しました。これは、脳のように一部しか与えられないか、破損した入力から完全な記憶パターンを回復できます。これを表す有名な数学モデルがホップフィールドニューラルネットワークで、記憶は谷の景観のように振る舞い、ノイズのある入力は最も近い谷へと転がり落ちます。しかし標準的なデジタルチップ上では、この過程は遅く電力を多く消費します。なぜならデータをプロセッサとメモリ間で何度も行き来させる必要があるからです。著者らはこれに代えてメムリスタ・クロスバーを用います。これは情報を保持すると同時に演算をその場で行う小さな電子デバイスの格子で、大規模な並列処理と大幅な省エネルギーを約束します。

不完全なハードウェアをその欠点ごと活かす学習

実際のメムリスタは決して完璧ではありません。書き換え不能になって電気伝導度が変わらなくなるものもあれば、プログラムするたびにわずかに変動するものもあります。従来の設計は学習を純粋に数学的な問題として扱い、こうした実世界の特性を無視した上で計算上の重みを後でハードウェアにコピーしようとしていました。本研究はそのアプローチを逆転させます。学習アルゴリズムを「ハードウェア適応型」にし、どのデバイスが故障しているか、どの伝導度範囲を確実に取れるかといった実チップの詳細モデルを使って訓練します。訓練中は故障デバイスを明示的にマスクし、残りのデバイスを調整することで、ノイズの混じった手がかりが与えられてもネットワーク全体が正しい記憶に収束するようにします。

層状ネットワークでより多くの記憶を格納する

古典的なホップフィールドネットワークは単一層の結合を使い、格納できるパターン数はサイズに比例することが知られています。著者らはハードウェア対応の学習法を多層ネットワーク、つまり入力と出力の間に隠れ層を追加した構成に拡張し、これをメムリスタ・クロスバー上に実装します。これらの追加層は賢い圧縮段のように働き、手書き数字など構造化されたデータでは、格納可能なパターン数が入力ユニット数に対して線形以上の速度で増加します。著者らはこの挙動を超線形成能と呼んでいます。ダウンサンプリングしたMNIST数字画像でのテストでは、多層設計は単層の対応物よりも多くのパターンを格納でき、かつ必要なメムリスタ数が劇的に少なく済むため、ハードウェアコストを爆発させずにスケールさせる明確な道筋を示しています。

白黒だけでなくグレースケールも扱う

これまでの多くの連想記憶は単純なオン／オフパターンのみを扱っていましたが、現実世界のデータ—画像、音、センサー信号—は連続的に変化します。著者らは急峻な“sign”活性化関数を滑らかな“tanh”関数に置き換え、これを多層かつハードウェア適応型の訓練と組み合わせることで、同じメムリスタシステムが連続値パターンを信頼して想起できることを示しています。入力が大きく汚染されても、ネットワークの反復ダイナミクスは正しい保存パターンへ引き戻します。これら連続値の場合でも、システムが保持できる記憶数はサイズに対して線形以上に増加し、アーキテクチャの利点が単純な二値例にとどまらないことを示しています。

実用上の速度、効率、耐障害性

メムリスタ・クロスバーは多くの演算を並列に行えるため、研究者たちは従来のように1つずつではなく全ニューロン状態を同時に更新します。64ニューロンの試作機では、この同時更新により処理時間が約1000倍短縮され、エネルギー消費も数倍削減されました。重要なのは、デバイスの最大半数が永久に書き換え不能でも想起品質が高く保たれ、実用的なプログラミングノイズ下でも性能がほとんど変わらないことです。総じて本研究は、高速でエネルギー効率が高く、欠陥に寛容で、連続的で豊かなパターンを格納できる脳に着想を得た記憶の実用的な設計図を示しており、ハードウェアを生物学的脳の連想能力に一歩近づけます。

引用: He, C., Jiang, M., Shan, K. et al. A hardware-adaptive learning algorithm for superlinear-capacity associative memory on memristor crossbars. Nat Commun 17, 3096 (2026). https://doi.org/10.1038/s41467-026-69958-0

キーワード: 連想記憶, メムリスタ・クロスバー, ニューロモルフィック・ハードウェア, ホップフィールド・ネットワーク, インメモリ計算