MISOダウンリンクシステムにおける共同ビームフォーミングとRIS位相最適化のための修正版優先DDPGアルゴリズム

次世代ワイヤレスのためのスマートサーフェス

スマートフォン、自動車、センサーがますます高速で信頼性の高い接続を要求する中、現行のワイヤレスネットワークは限界に近づいています。本研究は、建物に設置した「スマート」反射面（リフレクティブサーフェス）と、電力を節約しつつ自律的に電波の方向付けを学習する人工知能手法を組み合わせることで、将来の6Gネットワークをより環境に優しく、かつ信頼性の高いものにする新しいアプローチを探ります。

壁を有用な信号ミラーに変える

将来の6Gシステムは、多数の端末に対して高データレート、極めて高い信頼性、低遅延を同時に提供しなければなりません。伝統的な基地局だけでこれらを満たそうとすると、追加のハードウェアと電力が大きく必要になります。再構成可能インテリジェントサーフェス（RIS）は別の手段を提供します。多数の小さく低消費電力の素子で覆われたパネルが受信した電波を制御された方向に反射する、いわばプログラム可能なミラーのようなものです。これら反射の位相を慎重に選ぶことで、RISは障害物を回避して信号を再配向したり、弱いリンクを強化したり、干渉を低減したりできます。しかもRIS自体が能動的に電力を放射する必要はなく、被覆範囲の拡大や効率改善のための強力な調整手段をネットワーク設計者に与えます。

ネットワークにとっての難しいバランス調整

RISを有効に使うことは容易ではありません。基地局はアンテナの向き（ビームフォーミング）を決める必要があり、同時にRISは多数の反射素子それぞれの位相を設定しなければなりません。これらの選択は密接に結びついており、同時に複数の制約を満たす必要があります。送信総電力を上限以下に抑えること、各ユーザーに最低限の信号品質を保証すること、RISハードウェアの物理的制限を守ることなどです。数学的には、この共同最適化問題は非常に非線形で「非凸」な性質を持ち、従来の最適化手法はネットワークの規模が大きくなると遅くなったり、不安定になったり、準最適解にとどまったりしがちです。さらに、個々の無線リンクの詳細な状態（チャネル状態情報）を正確に測定すること自体が、実運用ではコスト高で誤差が生じやすい問題です。

ビームの打ち方を学ぶAIエージェント

これらの課題を克服するために、著者らは深層強化学習を用いて学習エージェントを構築しました。深層強化学習は、エージェントが環境との試行錯誤を通じて良い戦略を発見するAIの一分野です。提案手法は修正版優先深層決定論的方策勾配（MP‑DDPG）と呼ばれ、過去のビーム方向、RIS設定、受信電力、信号品質など現在のネットワーク状態を観測し、新しいビームフォーミングとRIS位相の値を選択します。各選択後に与えられる報酬は、送信電力の低減、ユーザーの品質保証（QoS）の達成、基地局の電力上限の遵守という三つの目標を同時に促します。多くのシミュレーションを重ねるうちに、エージェントは無線チャネルの明示的な式を与えられなくとも、これらの目標をバランスさせる制御方策を徐々に学習します。

重要な経験に注目して学習を加速する

本アルゴリズムの鍵は、過去の経験からどのように学ぶかにあります。従来の手法は過去の多くの状況を保存し、訓練時にランダムにサンプリングしますが、これは非効率で時間がかかることがあります。MP‑DDPGでは保存された各経験に報酬と近傍との差異に基づく優先度を付与します。情報量が多く多様性のある経験がより頻繁にサンプリングされ、冗長な経験は無視されます。この「修正版優先リプレイ」により、各学習ステップの有用性が高まり、収束が速くなってエージェントが悪い局所解に陥るのを防ぎます。著者らは付随する計算コストについても解析しており、管理の手間は基本手法より増えるものの、学習の高速化が実運用で十分にそれを上回ることを示しています。

より少ない機材でグリーンな信号を

ダウンリンクのセルラーシナリオを詳細にシミュレーションした結果、研究はMP‑DDPGを従来の粒子群最適化法と元のDDPG学習アルゴリズムと比較しました。新手法は一貫してより少ない訓練エピソードで低い送信電力に到達し、同等の性能を達成するために必要なRIS素子数や基地局アンテナ数を減らすことができました。簡潔に言えば、ネットワークは各反射タイルや各アンテナからより多くの利得を引き出す方法を学びます。一般読者向けの要点は、AIコントローラが基地局のビームと近隣の壁のスマートサーフェスの両方を賢く調整することで、将来の6Gネットワークはより強く信頼できる信号を、より少ないエネルギーとハードウェアで提供できる可能性があり、それがつながる世界の持続可能性向上に寄与する、ということです。

引用: Shukry, S., Fahmy, Y. Modified prioritized DDPG algorithm for joint beamforming and RIS phase optimization in MISO downlink systems. Sci Rep 16, 5942 (2026). https://doi.org/10.1038/s41598-026-36179-w

キーワード: 再構成可能インテリジェントサーフェス, 6Gワイヤレス, 深層強化学習, ビームフォーミング最適化, エネルギー効率の良いネットワーク