油圧式ショベルアームのエネルギー回収を適応制御するためのベイズ強化学習

なぜ賢いショベルが重要か

油圧ショベルは建設や採掘の現場で働く主役ですが、多くのディーゼル燃料を消費し、エンジンから取り出したエネルギーの多くを無駄にしています。動力利用の改善は請負業者の燃料費削減や、全体の排出削減につながります。本研究は、地盤条件や機械の摩耗変化を「先読み」できるようにして、厳しい安全限界を守りながらエネルギーをより効果的に回収・再利用する新しい手法を探ります。

掘削は燃料に厳しい

現代のショベルは、硬い岩盤を掘る場合も緩い土を均す場合も、高めで固定された圧力で油圧系を動かすことが多いです。その画一的な運用は信頼性を保ちますが、特に軽作業やブームが自重で降下する際に熱としてエネルギーを捨ててしまいます。最近の機種には余剰エネルギーを蓄えるアキュムレータを備える設計もありますが、多くはいつ・どのように使うかを単純な固定ルールに頼っています。その結果、燃料消費は必要以上に約20%高くなり、世界中の作業現場で炭素フットプリントが大きくなっています。

アームのための学習制御システム

著者らは、シリンダ、ポンプ、バルブ、ブーム下降時にエネルギーを蓄え後で持ち上げに利用するガス封入アキュムレータを含む、21トン級ショベルアームの詳細な仮想モデルを設計しました。コントローラは現実の不確実性に対処しなければなりません：突如硬くなったり柔らかくなったりする土壌、温度で粘度が変わる油、徐々に摩耗する部品、ノイズやわずかなバイアスを持つセンサなどです。あらゆる状態が既知かつ一定であると仮定する代わりに、システムは機械の真の状態を部分的に隠れたものとして扱い、ベイズ法で最良推定を継続的に更新します。粒子フィルタは土壌の抵抗やアキュムレータが設計点に対してわずかに過充填／不足しているかといった隠れた要因を推定します。

安全に順応するよう機械を教える

この状態推定の上に、研究チームは強化学習（RL）ポリシーを訓練します。これはシミュレーション内で試行錯誤を通じて良い戦略を徐々に発見するアルゴリズムです。各時点でポリシーは機械の状態に関する現在の「信念」を受け取り、ポンプ圧力やバルブ開度に対する連続的な指令を出します。専用の安全レイヤがそれらの提案を検査し、厳密な安全範囲内にクリップします：全体の油圧は5〜35メガパスカルの間、アキュムレータは12〜28メガパスカルの窓内に保たれ、バルブの動きはシステムを急激に揺さぶらないよう制限されます。学習プロセスは、掘削サイクルを速く終了しつつ可能な限り少ない油圧エネルギーを使い、バケットを目標につけることを報酬として与え、安全領域へ押しやるような行為には罰則を与えます。

スマートコントローラの性能

研究者らは毎秒100更新で大規模な共シミュレーションを行い、ベイズRLコントローラを二つの従来型設定と比較しました：固定パラメータのものと、熟練オペレータが圧力や速度を単純に手動調整する様子を模したものです。すべてのコントローラは同じ台本化された20分間の作業に直面し、その間に土壌の難易度が段階的に変化し、油温が冷たい状態から熱い状態へと上がります。学習ベースのコントローラは数秒で土壌変化を追跡し、地盤が硬くなるとサイクル時間を保つために圧力を上げ、掘削が楽になると圧力を下げてエネルギーを節約しアキュムレータ充填の機会を増やします。多くのランダム化実験を通じて、固定コントローラに比べ掘削サイクル当たりのエネルギー使用を約20〜22%削減し、オペレータ調整型に比べても約14〜18%削減しました。同時にサイクル時間が短くなり、バケットの位置精度も向上しました。圧力が限度を超えそうになる事象や長時間にわたる逃し弁作動といった安全事象は、性能を強化しつつもむしろ減少しました。

実機への示唆

一般の読者にとっての重要なメッセージは、ショベルアームが慎重さと節約を両立して学べるという点です。掘りにくさ、部品の健康状態、アキュムレータに蓄えられたエネルギー量を常に更新することで、コントローラはリアルタイムにエネルギーを蓄えるべき時と生産性を維持するために多少使うべき時を判断します。本研究はまだ実機試験ではなくシミュレーションに基づくもので、単一機種のサイズに焦点を当てていますが、確率的推論と学習ベースの制御を組み合わせることで重機を安全や速度を犠牲にせずに大幅に効率化できることを示しています。同様のアプローチが実機へ移行すれば、請負業者は同じ量の土をより少ない燃料で、摩耗を抑え、排出も低くして移動できる可能性があります。

引用: Hu, P., Wen, T., Zhang, D. et al. Bayesian reinforcement learning for adaptive control of energy recuperation in hydraulic excavator arms. Sci Rep 16, 6195 (2026). https://doi.org/10.1038/s41598-026-35391-y

キーワード: 油圧ショベル, エネルギー回収, 強化学習, ベイズ制御, 大型機械の効率性