鋭敏度を考慮した訓練を用いる物理ニューラルネットワーク

AIハードウェアの未来にとってなぜ重要か

人工知能が強力になるにつれて、それを制約するのは巧妙なアルゴリズムではなく、それらを動かすチップになりつつあります。有望な打開策の一つは、光やアナログ電子回路、あるいは他の波動ベースのシステムを用いてニューラルネットワークを物理ハードウェアとして直接構築することです。本稿は、そうした「物理ニューラルネットワーク」を現実世界の雑音や誤差があっても正確さを維持できるように訓練する新たな方法を紹介します。デバイスがわずかに誤製造される、熱で特性が変化する、あるいは部品がずれるといった状況でも有効です。

デジタルの脳から物理的な機械へ

現代のAIは通常、グラフィックスプロセッサのようなデジタルハードウェア上で動作し、訓練はバックプロパゲーションアルゴリズムで数百万の数値パラメータを調整することに依存しています。物理ニューラルネットワークは、この計算を光学チップや干渉計メッシュ、回折光学系などの実物の材料やデバイスに委ねようとする試みです。これらのシステムは情報を記憶されている場所で処理するため、従来のチップよりも高速かつエネルギー効率が高くなり得ます。しかし訓練は難しい。デジタルモデルを訓練してハードウェアに適用するか、あるいは直接装置上で訓練するかのいずれかで進める必要があり、どちらの道も実際のデバイスが理想モデルから外れる、あるいは時間とともにドリフトする場合に問題に直面します。

物理ネットワークを教える2つの欠陥ある方法

最初のアプローチはインシリコ訓練と呼ばれ、すべてのパラメータをコンピュータモデル上で学習し、それをハードウェアにコピーします。これは数学モデルが製造されたデバイスにほぼ一致する場合にだけうまく機能しますが、製造誤差、電気ノイズ、熱的影響などを含めると稀です。第二のアプローチであるインシチュ訓練は、物理デバイスを学習ループに直接組み込み、パラメータを調整しながら出力を繰り返し測定します。これはモデル誤差を回避しますが、勾配情報の取得が困難かつコスト高であり、訓練結果がデバイス固有になりやすく、同じ仕様の別チップにパラメータを移せないという問題を生みます。どちらの場合も、展開後のわずかな変化（微小な温度変動や整列ずれなど）が精度を大きく損ない、再訓練を余儀なくされます。

学習地形を平らにする

著者らは、鋭敏度意識訓練（SAT）を提案します。これは鋭敏度意識最小化という機械学習の考えに着想を得たものです。SATは訓練データ上で誤差が低い設定を見つけるだけでなく、物理パラメータを少し動かしたときに誤差がゆっくり変化する領域も求めます。幾何的に言えば、従来の訓練はしばしば損失ランドスケープの深く狭い谷を見つけ、電流や位相、位置の僅かなずれで性能が崩壊してしまいます。SATは意図的に幅広く平坦な谷を探索し、そのような摂動下でも性能が高く保たれる領域を選びます。数式的には、訓練目的関数にパラメータ空間の急峻で高曲率な領域を罰する項を追加し、この罰則を二次導関数を計算する高コストな方法ではなく、慎重に選んだ2回の勾配ステップで効率的に近似します。

異なる光学プラットフォームにわたる堅牢性の実証

SATが特定の装置に依存しないことを示すために、著者らは3つの異なる光学ニューラルネットワークプラットフォームに適用しています。マイクロリング共振器の重みバンク（異なる波長で光を導くシリコンの小さなループ）では、SATで訓練したシステムが摂氏数度の温度ドリフトがあっても高い分類精度を維持するのに対し、従来の訓練やノイズ注入法は劇的に失敗することを示しています。これをCIFAR-10での画像分類、画像圧縮と再構成、画像生成といったより要求の高いタスクにも拡張し、穏当な熱変動下でもSATが性能を安定させる一方で、従来手法は性能が崩れることを示しています。マッハ–ツェンダー干渉計メッシュのシミュレーションでは、SAT訓練モデルは現実的な製造誤差に対してずっと寛容であり、重要な点として、あるデバイスで訓練したパラメータを別の欠陥を抱えたチップに移しても精度を失わないことが示されました。最後にOLEDディスプレイ、レンズ、空間光変調器を用いたフリースペース回折光学系では、回転やピクセルずれ、スケーリングといった物理的な整列誤差に対する耐性がSATで改善されました。これらの誤差とネットワークパラメータの正確な関係が明示的にモデル化されていなくとも効果が得られています。

信頼できる物理的AIへの実用的な道筋

平たく言えば、この研究はハードウェアニューラルネットワークを現実のデバイスの避けられない特異性を「許容する」形で教える方法を示しています。誤差ランドスケープの平坦で安定した領域へ学習を導くことで、鋭敏度意識訓練は物理ニューラルネットワークをより正確に、かつ製造ばらつき、温度変動、機械的整列ずれに対してより堅牢にします。詳細な物理モデルの有無を問わず利用でき、複数種類の光学ハードウェアで動作するため、SATは研究室の実証から実世界アプリケーションへのスケールアップに向けた実用的な手法を提供します。

引用: Xu, T., Luo, Z., Liu, S. et al. Physical neural networks using sharpness-aware training. Nat Commun 17, 1766 (2026). https://doi.org/10.1038/s41467-026-68470-9

キーワード: 物理ニューラルネットワーク, フォトニックコンピューティング, 堅牢な訓練, 鋭敏度意識最適化, ニューロモルフィックハードウェア