Bayesowskie uczenie ze wzmocnieniem do adaptacyjnej kontroli odzysku energii w ramionach koparek hydraulicznych

Dlaczego mądrzejsze koparki mają znaczenie

Koparki hydrauliczne to zaplecze budownictwa i górnictwa, ale zużywają dużo diesla i zmarnowują znaczną część energii pobieranej z silnika. Każda poprawa w wykorzystaniu mocy przekłada się na niższe rachunki paliwowe dla wykonawców i mniejsze emisje dla wszystkich. W badaniu pokazano nowy sposób, by ramię koparki „myślało do przodu” o zmieniających się warunkach gruntowych i zużyciu maszyny, tak aby skuteczniej odzyskiwać i ponownie wykorzystywać energię, zachowując jednocześnie rygorystyczne limity bezpieczeństwa.

Prace ziemne są wymagające dla paliwa

Nowoczesne koparki często pracują przy wysokich, stałych ciśnieniach hydraulicznych niezależnie od tego, czy rąbią twardą skałę, czy delikatnie wygładzają sypki grunt. Takie uniwersalne ustawienie zapewnia niezawodność, ale zamienia energię w ciepło, szczególnie przy lekkich zadaniach i gdy wysięgnik opuszcza się pod własnym ciężarem. Choć niektóre nowsze konstrukcje mają urządzenia do magazynowania nadmiarowej energii w akumulatorach hydraulicznych, większość maszyn nadal polega na prostych, stałych regułach decydowania kiedy i jak z nich korzystać. W efekcie zużycie paliwa może być o około 20% wyższe niż konieczne, co powiększa ślad węglowy na placach budowy na całym świecie.

System uczący sterowania ramieniem

Autorzy opracowali szczegółowy model wirtualny ramienia 21-tonowej koparki, obejmujący cylindry, pompę, zawory oraz akumulator gazowy, który magazynuje energię przy opuszczaniu wysięgnika i oddaje ją, by później pomóc podnieść ładunek. Sterownik musi radzić sobie z wieloma rzeczywistymi niepewnościami: grunt, który nagle twardnieje lub robi się luźniejszy, olej, który gęstnieje lub rzednie wraz z temperaturą, elementy, które stopniowo się zużywają, oraz czujniki o zaszumionych lub lekko obciążonych pomiarach. Zamiast zakładać, że wszystko jest znane i stałe, system traktuje prawdziwy stan maszyny jako częściowo ukryty i ciągle aktualizuje swoje najlepsze przypuszczenia metodami bayesowskimi. Filtr cząsteczkowy estymuje ukryte czynniki, takie jak opór gruntu oraz to, czy akumulator jest nieco przeładowany lub niedoładowany względem punktu projektowego.

Nauka maszyny adaptacji z zachowaniem bezpieczeństwa

Na szczycie tego estymatora stanu zespół trenuje politykę uczenia ze wzmocnieniem (RL), algorytm który stopniowo odkrywa dobre strategie metodą prób i błędów w symulacji. W każdym momencie polityka otrzymuje bieżące „przekonanie” o stanie maszyny i wybiera ciągłe komendy dla ciśnienia pompy oraz otwarć zaworów. Dedykowana warstwa bezpieczeństwa weryfikuje te propozycje i przycina je do ściśle bezpiecznego zakresu: ciśnienia hydrauliczne muszą się utrzymywać ogólnie pomiędzy 5 a 35 megapaskalami, akumulator musi pozostawać w oknie 12–28 megapaskali, a ruchy zaworów są ograniczone, by nie powodować szarpnięć systemu. Proces uczenia nagradza sterownik za szybkie kończenie cyklu kopania, używanie jak najmniej energii hydraulicznej oraz utrzymanie łyżki na celu, jednocześnie karząc działania, które zagrażałyby wejściem w strefy niebezpieczne.

Jak dobrze działa inteligentny sterownik

Badacze przeprowadzili obszerne współsymulacje przy 100 aktualizacjach na sekundę, porównując swój bayesowski sterownik RL z dwoma bardziej tradycyjnymi rozwiązaniami: jednym o stałych parametrach oraz drugim, który imituje wykwalifikowanego operatora wykonującego proste ręczne regulacje ciśnienia i prędkości. Wszystkie sterowniki zostały poddane temu samemu zaprogramowanemu 20‑minutowemu zadaniu, w którym trudność gruntu zmienia się na kilku etapach, a olej nagrzewa się od zimnego do gorącego. Sterownik oparty na uczeniu śledzi zmiany w gruncie w ciągu sekund, podnosząc ciśnienie, gdy grunt staje się twardszy, aby utrzymać czasy cykli, i obniżając je, gdy kopanie staje się łatwiejsze, by oszczędzać energię i zwiększać możliwości ładowania akumulatora. W licznych losowych przebiegach zmniejsza zużycie energii na cykl kopania o około 20–22% w porównaniu ze sterownikiem stałym i o około 14–18% w porównaniu z operatorem dokonującym regulacji, równocześnie skracając czasy cykli i poprawiając dokładność pozycjonowania łyżki. Zdarzenia związane z bezpieczeństwem, takie jak próby przekroczenia limitów ciśnień czy długotrwałe otwieranie zaworów upustowych, stają się rzadsze, mimo że system dąży do wyższej wydajności.

Co to oznacza dla rzeczywistych maszyn

Dla czytelnika spoza branży kluczowy przekaz jest taki, że ramię koparki może nauczyć się być jednocześnie ostrożne i oszczędne. Dzięki ciągłemu aktualizowaniu wiedzy o tym, jak trudne jest kopanie, jak zdrowe są jej komponenty i ile energii jest zgromadzone w akumulatorze, sterownik decyduje w czasie rzeczywistym, kiedy oszczędzać energię, a kiedy wydać jej trochę więcej, by utrzymać wydajność. Badanie oparte jest wciąż na symulacji, a nie na testach polowych, i koncentruje się na pojedynczym rozmiarze maszyny, ale pokazuje, że łączenie rozumowania probabilistycznego z kontrolą opartą na uczeniu może znacząco poprawić efektywność sprzętu ciężkiego bez poświęcania bezpieczeństwa czy prędkości. Jeśli podobne podejścia zostaną przeniesione do rzeczywistych koparek, mogą pomóc wykonawcom przesunąć tę samą masę ziemi przy mniejszym zużyciu paliwa, mniejszym zużyciu elementów i niższych emisjach.

Cytowanie: Hu, P., Wen, T., Zhang, D. et al. Bayesian reinforcement learning for adaptive control of energy recuperation in hydraulic excavator arms. Sci Rep 16, 6195 (2026). https://doi.org/10.1038/s41598-026-35391-y

Słowa kluczowe: koparka hydrauliczna, odzysk energii, uczenie ze wzmocnieniem, sterowanie bayesowskie, efektywność maszyn ciężkich