サンプリングによるディープニューラルネットワーク性能の向上

小さなコイン投げニューロンで賢くなるAI

人工知能が強力になるにつれて、そのエネルギー需要も増大してきました。最新の画像や言語モデルの学習と運用は、小さな町と同等の電力を消費することがあります。本論文は逆説的な着想を探ります：ニューラルネットワークをますます精密で複雑にする代わりに、その構成要素をより単純でノイジーに――デジタルコインをひっくり返すような振る舞いに――し、巧みなサンプリングで同等あるいはそれ以上の性能を得つつエネルギーを節約できるかもしれないという考えです。

精密な回路から確率的な脳へ

今日の多くのディープニューラルネットワークは「決定論的」ユニットを使います：同じ入力を与えれば常に同じ出力が得られます。著者らは確率的ビット（pビット）と呼ばれる代替案に注目します。各pビットは、入力によって設定された確率に従って0と1を行き来する、わずかに偏った小さなコインのように振舞います。同じpビット群から複数のサンプルを取り、その出力を平均することで、多くの正確な数値を保持したり扱ったりせずに、よりリッチな多ビットの振る舞いを近似できます。この考え方は、最適化やサンプリング問題に有効であることが知られていたイジング模型やボルツマンマシンなど、以前の確率的ユニットの概念と現代のAIをつなぎます。

重い答え1つよりも多数の素早い推測を使う

研究は実用的なシンプルな問いを投げかけます：精度を上げたいとき、各ニューロンのデジタル精度を高める方が安くつくのか、それともニューロンを極めて単純のままにして複数のサンプルを取る方が安いのか。著者らはニューラルネットワークの基礎演算のコストを、重みのメモリ読み出し、アクティベーションの読み書き、入力の組み合わせ（シナプス）、非線形性の適用（ニューロン）の4つに分解する一般的なエネルギー式を構築します。重要なのは、重みは一度読み出して複数のサンプルに再利用できるため、支配的なコストであるメモリアクセスを複数回にまたがって分散できる点です。つまり、10回のサンプルは1回の10倍のコストにはならない可能性が高いということです。

画像で確率的ネットワークを試す

このトレードオフが実際に有益かを確かめるため、研究者らは確率的ディープニューラルネットワーク（p-DNN）を画像分類（CIFAR-10）と画像生成（CelebAの顔、MNISTの数字）でテストします。標準的なマルチビットのアクティベーションを単一ビットのpビットに置き換え、損失関数は複数の確率的フォワードパスの平均から計算する「サンプル認識」方式でネットワークを訓練します。分類タスクでは、1ビットのアクティベーションであっても、わずか1サンプルでフルプレシジョンモデルと同等の精度に達し、2サンプルで上回ることが見出されました。サンプル数を増やすと、1ビットp-DNNは3ビット決定論的ネットワークの精度に近づきます。画像生成では、単純にアクティベーションをpビットに置き換えるとノイズの多い画像が生成されますが、確率的要素を考慮した再訓練と最終層の慎重な取り扱いにより、標準的な32ビット基準に近い品質の顔画像が得られることが、標準的な距離指標で示されました。

エネルギーコストと実ハードウェア

著者らはシミュレーションを越えて実際のハードウェア上でエネルギーを評価します。65 nmで作られた確率回路用チップのデータと追加の回路シミュレーションを用いて、大規模な現代AIワークロードは演算よりもメモリのエネルギーに支配されることを示します。p-DNNは主要な計算ステップをフルの乗算加算から1ビットアクティベーションによる単純な加算に大幅に簡素化するため、少数のサンプルを取るための追加計算は、重みが電力を消費する外部メモリに置かれている場合、総エネルギーをほとんど変えません。彼らは画像生成ネットワークのFPGA実装でこれらの予測を検証しました：確率的バージョンは標準設計と比べ推論あたりの総エネルギーを約2.5倍削減しつつ、同等の数字画像を生成しました。乱数生成と比較のオーバーヘッドはメモリや基本的算術に比べて微小です。

調整可能なサンプリングが重要な理由

確率的ネットワークの特徴的な利点は、サンプル数を変えることで実行時に精度を調整できる点です。単一の1ビットp-DNNエンジンは、取るサンプル数に応じて1ビット、2ビット、3ビットの量子化モデルのように振る舞えるため、ハードウェアを再設計する必要がありません。この柔軟性は、重みの精度が既に数ビットにまで下げられつつある大規模言語モデルにとって特に魅力的です。一方でアクティベーションの精度は品質を損なわずに下げるのが難しい。論文の枠組みは、任意のモデルについて、ビット幅を増やす代わりにサンプルを増やすことがエネルギー面で妥当かどうかを見積もる方法を示します。

効率的で柔軟なAIへの新たな道

平たく言えば、本論文は「ノイジーな」ニューラルユニットを避けるのではなく活用できることを示しています。各フォワードパスを安価で近似的な推測と見なし、それらを少数平均することで、ネットワークははるかに単純な計算と控えめなエネルギー上乗せでほぼフルプレシジョンの性能に達することができます。メモリが電力消費の大部分を占めるため、追加サンプリングのコストは小さく、特に重みが一度読み出されて再利用される場合に顕著です。これは、エネルギー効率が高く、実行時にサンプリングを上げ下げして精度とバッテリ寿命や速度をトレードオフできる柔軟なAIハードウェアへの有望なルートを示唆します。

引用: Ghantasala, L.A., Li, MC., Jaiswal, R. et al. Improving deep neural network performance through sampling. npj Unconv. Comput. 3, 18 (2026). https://doi.org/10.1038/s44335-026-00063-7

キーワード: 確率的ニューラルネットワーク, 省エネルギー型AI, サンプリングに基づく推論, 低精度計算, ディープラーニングハードウェア