Bayesiansk förstärkningsinlärning för adaptiv styrning av energiåtervinning i hydrauliska grävarmsystem

Varför smartare grävmaskiner spelar roll

Hydrauliska grävmaskiner är bygg- och gruvarbetets arbetsdjur, men de förbrukar mycket diesel och slösar bort en stor del av den energi som motorn levererar. Varje förbättring i hur de använder effekt kan innebära lägre bränslekostnader för entreprenörer och färre utsläpp för alla. Denna studie undersöker ett nytt sätt att få grävarmarna att "tänka före" kring skiftande markförhållanden och maskinslitage, så att de kan återvinna och återanvända energi mer effektivt samtidigt som de håller sig inom strikta säkerhetsgränser.

Grävning sliter på bränslet

Moderna grävmaskiner kör ofta sina hydraulsystem vid höga, fasta tryck oavsett om de skär i hård berggrund eller försiktigt slätar ut lös jord. Denna universallösning gör maskinerna pålitliga men omvandlar mycket energi till värme, särskilt vid lätta uppgifter och när bommen sänks under sin egen vikt. Även om vissa nyare konstruktioner inkluderar ackumulatorer som kan fånga upp överskottsenergi, förlitar sig de flesta maskiner fortfarande på enkla, fasta regler för när och hur de ska användas. Resultatet blir en bränsleförbrukning som kan vara upp till 20 % högre än nödvändigt och ett större koldioxidavtryck på arbetsplatser över hela världen.

En inlärande styrning för armen

Författarna konstruerar en detaljerad virtuell modell av en 21-ton grävarm, inklusive cylindrar, pump, ventiler och en gasfylld ackumulator som lagrar energi när bommen rör sig nedåt och frigör den för att hjälpa till att lyfta lasten senare. Deras styrenhet måste hantera många verkliga osäkerheter: jord som plötsligt blir hårdare eller mjukare, olja som tjocknar eller tunnas ut med temperaturen, komponenter som slits gradvis och sensorer som är brusiga eller något förskjutna. Istället för att anta att allt är känt och konstant behandlar systemet maskinens sanna tillstånd som delvis dolt och uppdaterar ständigt sin bästa uppskattning med bayesianska metoder. Ett partikelfilter uppskattar dolda faktorer som jordens motstånd och om ackumulatorn är något över- eller underladdad jämfört med dess konstruktionspunkt.

Lära maskinen att anpassa sig säkert

På toppen av denna tillståndsestimator tränar teamet en förstärkningsinlärningspolicy (RL), en algoritm som gradvis upptäcker bra strategier genom försök och misstag i simulering. Vid varje ögonblick får policyn den aktuella "tron" om maskinens tillstånd och väljer kontinuerliga kommandon för pumptryck och ventilöppningar. Ett särskilt säkerhetslager granskar sedan dessa förslag och klipper dem till ett strikt säkert intervall: hydrauliska tryck måste hållas mellan 5 och 35 megapascal totalt, ackumulatorn måste förbli inom sitt 12–28 megapascal-fönster, och ventilrörelser begränsas så att de inte rycker systemet. Inlärningsprocessen belönar styrenheten för att avsluta varje grävcirkel snabbt, använda så lite hydraulisk energi som möjligt och hålla skopan på målet, samtidigt som åtgärder som skulle pressa systemet mot osäkra områden bestraffas.

Hur väl den smarta styrningen presterar

Forskarna kör omfattande kösimuleringar med 100 uppdateringar per sekund och jämför sin bayesianska RL-styrning med två mer traditionella uppsättningar: en med fasta parametrar och en som imiterar en skicklig operatör som gör enkla manuella justeringar av tryck och hastighet. Alla styrenheter utsätts för samma scriptade 20-minutersjobb, där jordens svårighet ändras i flera steg och oljan värms upp från kall till varm. Den inlärningsbaserade styrningen spårar förändringar i jorden inom sekunder, höjer trycket när marken blir tuffare för att hålla cykeltider stabila och sänker det när grävningen blir enklare för att spara energi och skapa fler möjligheter att ladda ackumulatorn. Över många randomiserade körningar minskar den energianvändningen per grävcirkel med cirka 20–22 % jämfört med den fasta styrningen och med ungefär 14–18 % jämfört med den operatörsjusterade, samtidigt som cykeltider förkortas och träffsäkerheten för skopans position förbättras. Säkerhetshändelser, såsom tryck som försöker överskrida gränser eller säkerhetsventiler som öppnas under långa perioder, blir ovanligare även om systemet pressar prestandan hårdare.

Vad detta betyder för verkliga maskiner

För en lekmannaläsare är huvudbudskapet att grävarmen kan lära sig att vara både försiktig och sparsamt. Genom att kontinuerligt uppdatera sin förståelse av hur svårt det är att gräva, hur friska dess komponenter är och hur mycket energi som är lagrad i ackumulatorn beslutar styrenheten i realtid när den ska spara energi och när den ska spendera lite extra för att bibehålla produktiviteten. Studien bygger fortfarande på simulering snarare än fälttester och fokuserar på en enda maskinstorlek, men den visar att kombinationen av probabilistiskt resonemang och inlärningsbaserad styrning kan göra tung utrustning avsevärt mer effektiv utan att offra säkerhet eller hastighet. Om liknande tillvägagångssätt överförs till verkliga grävmaskiner kan de hjälpa entreprenörer att flytta samma mängd jord med mindre bränsle, mindre slitage och lägre utsläpp.

Citering: Hu, P., Wen, T., Zhang, D. et al. Bayesian reinforcement learning for adaptive control of energy recuperation in hydraulic excavator arms. Sci Rep 16, 6195 (2026). https://doi.org/10.1038/s41598-026-35391-y

Nyckelord: hydraulisk grävmaskin, energiåtervinning, förstärkningsinlärning, bayesiansk styrning, effektivitet i tunga maskiner