Байесовское обучение с подкреплением для адаптивного управления рекуперацией энергии в стрелах гидравлических экскаваторов

Почему важны более «умные» экскаваторы

Гидравлические экскаваторы — рабочие лошадки в строительстве и горном деле, но они потребляют много дизеля и теряют большую часть энергии, полученной от двигателя. Любое улучшение в том, как они используют мощность, может означать меньшие счета за топливо для подрядчиков и меньше выбросов для всех. В этом исследовании предложен новый подход, позволяющий стрелам экскаватора «думать наперед» о меняющихся условиях грунта и износе машины, чтобы эффективнее восстанавливать и повторно использовать энергию при строгих требованиях безопасности.

Копать — значит тратить топливо

Современные экскаваторы часто эксплуатируют свои гидравлические системы при высоком фиксированном давлении, независимо от того, разрубают ли они твердый камень или аккуратно уплотняют рыхлый грунт. Такой универсальный подход поддерживает надежность, но превращает энергию в тепло, особенно при легких работах и когда стрела опускается под собственным весом. Хотя в некоторых новых разработках используются устройства для накопления избыточной энергии в гидравлических аккумуляторах, большинство машин все еще руководствуются простыми фиксированными правилами, определяющими, когда и как ими пользоваться. В результате расход топлива может быть на 20% выше необходимого, а углеродный след на стройплощадках по всему миру — больше.

Система управления со способностью учиться для стрелы

Авторы создают подробную виртуальную модель стрелы 21-тонного экскаватора, включая цилиндры, насос, клапаны и газовый аккумулятор, который накапливает энергию при опускании стрелы и отдает ее, помогая позже поднять груз. Контроллер должен справляться со множеством реальных неопределенностей: грунт может внезапно уплотниться или разрыхлиться, масло меняет вязкость с температурой, компоненты постепенно изнашиваются, а датчики дают шумные или слегка смещенные показания. Вместо предположения о полноте и неизменности знаний система рассматривает истинное состояние машины как частично скрытое и постоянно обновляет свои оценки с помощью байесовских методов. Частичный фильтр (particle filter) оценивает скрытые факторы, такие как сопротивление грунта и то, слегка перезаряжен ли аккумулятор по сравнению с расчетной точкой.

Обучение машины адаптироваться безопасно

Поверх этого оценивателя состояния команда обучает политику с подкреплением (RL) — алгоритм, который постепенно открывает хорошие стратегии методом проб и ошибок в симуляции. В каждый момент политика получает текущее «убеждение» о состоянии машины и выбирает непрерывные команды для давления насоса и открытия клапанов. Специальный уровень безопасности затем проверяет эти предложения и ограничивает их до строго безопасного диапазона: гидравлическое давление должно оставаться в пределах 5–35 мегапаскалей, аккумулятор — в окне 12–28 мегапаскалей, а перемещения клапанов ограничены, чтобы не допустить резких рывков. Процесс обучения вознаграждает контроллер за быстрое завершение каждого цикла копания, минимальное потребление гидравлической энергии и точность положения ковша, одновременно штрафуя действия, которые подталкивают систему в небезопасные области.

Насколько хорошо работает «умный» контроллер

Исследователи проводят масштабные ко-симуляции с частотой обновления 100 раз в секунду, сравнивая свой байесовский RL-контроллер с двумя более традиционными вариантами: одним с фиксированными параметрами и другим, имитирующим опытного оператора, выполняющего простые ручные корректировки давления и скорости. Все контроллеры выполняют один и тот же запрограммированный 20-минутный сценарий, в котором сложность грунта меняется по стадиям, а масло прогревается от холодного до горячего. Контроллер на основе обучения отслеживает изменения грунта за считанные секунды: повышает давление, когда грунт становится жестче, чтобы поддерживать постоянное время цикла, и снижает его, когда копание упрощается, экономя энергию и создавая больше возможностей для зарядки аккумулятора. В ряде случайных прогонов он сокращает расход энергии на цикл копания примерно на 20–22% по сравнению с фиксированным контроллером и примерно на 14–18% по сравнению с контролируемым оператором, одновременно сокращая время цикла и повышая точность позиционирования ковша. События нарушения безопасности, такие как попытки давления превысить пределы или длительное срабатывание предохранительных клапанов, становятся реже, несмотря на то, что система работает более агрессивно для повышения производительности.

Что это значит для реальной техники

Для неспециалиста ключевая мысль такова: стрела экскаватора может научиться быть одновременно осторожной и бережливой. Постоянно обновляя представление о том, насколько трудно копать, в каком состоянии находятся компоненты и сколько энергии хранится в аккумуляторе, контроллер в реальном времени решает, когда экономить энергию, а когда потратить немного больше, чтобы сохранить производительность. Исследование пока основано на симуляциях, а не полевых испытаниях, и сосредоточено на одной масcе машины, но оно показывает, что сочетание вероятностного анализа и алгоритмов обучения может сделать тяжелую технику заметно эффективнее без ущерба для безопасности или скорости. Если подобные подходы внедрят в реальные экскаваторы, подрядчики смогут перемещать тот же объем земли с меньшим расходом топлива, меньшим износом и снижением выбросов.

Цитирование: Hu, P., Wen, T., Zhang, D. et al. Bayesian reinforcement learning for adaptive control of energy recuperation in hydraulic excavator arms. Sci Rep 16, 6195 (2026). https://doi.org/10.1038/s41598-026-35391-y

Ключевые слова: гидравлический экскаватор, рекуперация энергии, обучение с подкреплением, байесовское управление, эффективность тяжелой техники