Apprentissage par renforcement bayésien pour le contrôle adaptatif de la récupération d'énergie dans les bras d'excavatrice hydraulique

Pourquoi des pelleteuses plus intelligentes comptent

Les excavatrices hydrauliques sont les bêtes de somme du bâtiment et de l'exploitation minière, mais elles consomment beaucoup de diesel et gaspillent une grande partie de l'énergie fournie par le moteur. Toute amélioration de leur gestion de l'énergie peut se traduire par des factures de carburant plus faibles pour les entrepreneurs et par moins d'émissions pour tous. Cette étude explore une nouvelle manière de faire « anticiper » les bras d'excavatrice face à l'évolution des conditions du sol et à l'usure de la machine, afin qu'ils puissent récupérer et réutiliser l'énergie plus efficacement tout en respectant des limites de sécurité strictes.

Creuser coûte cher en carburant

Les excavatrices modernes font souvent fonctionner leurs systèmes hydrauliques à des pressions élevées et fixes, qu'elles creusent une roche dure ou qu'elles lissent un sol meuble. Cette approche universelle assure la fiabilité des machines mais dissipe de l'énergie sous forme de chaleur, en particulier lors de tâches légères ou quand la flèche descend sous son propre poids. Bien que certains modèles récents intègrent des dispositifs capables de capter cet excès d'énergie dans des accumulateurs hydrauliques, la plupart des machines s'en remettent encore à des règles simples et fixes pour décider quand et comment les utiliser. Le résultat est une consommation de carburant pouvant être supérieure d'environ 20 % à ce qui serait nécessaire et une empreinte carbone plus importante sur les chantiers du monde entier.

Un système de commande qui apprend pour le bras

Les auteurs conçoivent un modèle virtuel détaillé d'un bras d'excavatrice de 21 tonnes, incluant ses vérins, sa pompe, ses valves et un accumulateur rempli de gaz qui stocke de l'énergie lorsque la flèche descend et la restitue pour aider à lever la charge ensuite. Leur contrôleur doit composer avec de nombreuses incertitudes réelles : un sol qui se durcit ou s'assouplit soudainement, l'huile qui s'épaissit ou s'amincit avec la température, des composants qui s'usent progressivement, et des capteurs bruyants ou légèrement biaisés. Plutôt que de supposer que tout est connu et constant, le système considère que l'état réel de la machine est partiellement caché et met continuellement à jour sa meilleure estimation par des méthodes bayésiennes. Un filtre particulaire estime des facteurs cachés tels que la résistance du sol et si l'accumulateur est légèrement sur- ou sous-chargé par rapport à son point de conception.

Apprendre à la machine à s'adapter en toute sécurité

Par-dessus cet estimateur d'état, l'équipe entraîne une politique d'apprentissage par renforcement (RL), un algorithme qui découvre progressivement de bonnes stratégies par essais et erreurs en simulation. À chaque instant, la politique reçoit la « croyance » courante sur l'état de la machine et choisit des commandes continues pour la pression de la pompe et l'ouverture des valves. Une couche de sécurité dédiée vérifie ensuite ces suggestions et les bornes dans une plage strictement sûre : les pressions hydrauliques doivent rester globalement entre 5 et 35 mégapascals, l'accumulateur doit rester dans sa fenêtre de 12–28 mégapascals, et les mouvements de valves sont limités pour éviter des à-coups. Le processus d'apprentissage récompense le contrôleur pour terminer chaque cycle de creusement rapidement, en utilisant le moins d'énergie hydraulique possible et en maintenant la position de la benne, tout en pénalisant les actions qui pousseraient le système vers des régions dangereuses.

Performances du contrôleur intelligent

Les chercheurs réalisent de vastes co-simulations à 100 mises à jour par seconde, comparant leur contrôleur bayésien RL à deux configurations plus traditionnelles : l'une à paramètres fixes et l'autre qui imite un opérateur expérimenté effectuant des ajustements manuels simples de pression et de vitesse. Tous les contrôleurs affrontent la même mission scriptée de 20 minutes, au cours de laquelle la difficulté du sol change en plusieurs étapes et l'huile passe du froid au chaud. Le contrôleur basé sur l'apprentissage détecte les variations du sol en quelques secondes, augmente la pression lorsque le sol devient plus dur pour garder des temps de cycle stables, et la baisse quand le creusement s'assouplit afin d'économiser de l'énergie et de créer plus d'opportunités de charger l'accumulateur. Sur de nombreuses exécutions aléatoires, il réduit la consommation d'énergie par cycle de creusement d'environ 20–22 % par rapport au contrôleur fixe et d'environ 14–18 % par rapport à l'opérateur ajustant manuellement, tout en raccourcissant les temps de cycle et en améliorant la précision d'atteinte des positions de la benne. Les événements de sécurité, tels que des pressions tentant de dépasser les limites ou des soupapes de décharge s'ouvrant longtemps, deviennent plus rares même si le système pousse plus la performance.

Ce que cela signifie pour les machines réelles

Pour un lecteur non spécialiste, le message principal est que le bras d'excavatrice peut apprendre à être à la fois prudent et économe. En mettant constamment à jour sa compréhension de la difficulté du creusement, de l'état de santé de ses composants et de l'énergie stockée dans son accumulateur, le contrôleur décide en temps réel quand économiser l'énergie et quand en dépenser un peu pour maintenir la productivité. L'étude repose encore sur la simulation plutôt que sur des essais sur le terrain, et elle se concentre sur une taille de machine unique, mais elle montre que la combinaison du raisonnement probabiliste et du contrôle par apprentissage peut rendre les engins lourds sensiblement plus efficaces sans sacrifier la sécurité ni la vitesse. Si des approches similaires sont transférées aux excavatrices réelles, elles pourraient aider les entrepreneurs à déplacer la même quantité de terre avec moins de carburant, moins d'usure et moins d'émissions.

Citation: Hu, P., Wen, T., Zhang, D. et al. Bayesian reinforcement learning for adaptive control of energy recuperation in hydraulic excavator arms. Sci Rep 16, 6195 (2026). https://doi.org/10.1038/s41598-026-35391-y

Mots-clés: excavatrice hydraulique, récupération d'énergie, apprentissage par renforcement, contrôle bayésien, efficacité des engins lourds