Bayessches Reinforcement-Learning für adaptive Regelung der Energierückgewinnung an hydraulischen Baggerarmen

Warum intelligentere Bagger wichtig sind

Hydraulische Bagger sind die Arbeitspferde im Bau- und Bergbau, verbrauchen aber viel Diesel und verschenken einen Großteil der vom Motor bezogenen Energie. Jede Verbesserung im Energieeinsatz kann sich in niedrigeren Kraftstoffkosten für Auftragnehmer und geringeren Emissionen für alle niederschlagen. Diese Studie untersucht einen neuen Ansatz, mit dem Baggerarme „vorausdenken“ können in Bezug auf wechselnde Bodenverhältnisse und Maschinenverschleiß, sodass sie Energie effektiver zurückgewinnen und wiederverwenden können, während sie strenge Sicherheitsgrenzen einhalten.

Aushub zehrt am Kraftstoff

Moderne Bagger betreiben ihre Hydrauliksysteme häufig mit hohen, festen Drücken – unabhängig davon, ob sie harten Fels durchdringen oder lockeren Boden sanft glätten. Dieser Einheitsansatz sorgt für Zuverlässigkeit, verschwendet aber Energie in Form von Wärme, besonders bei leichten Tätigkeiten und wenn der Ausleger sich unter seinem Eigengewicht absenkt. Zwar besitzen einige neuere Konstruktionen Vorrichtungen, die überschüssige Energie in hydraulischen Akkumulatoren speichern können, doch die meisten Maschinen verlassen sich weiterhin auf einfache, feste Regeln dafür, wann und wie diese genutzt werden. Das Ergebnis ist ein bis zu etwa 20 % höherer Kraftstoffverbrauch als nötig und ein größerer CO2-Fußabdruck auf Baustellen weltweit.

Ein lernendes Regelungssystem für den Arm

Die Autorinnen und Autoren entwerfen ein detailliertes virtuelles Modell eines 21-Tonnen-Baggerarms, inklusive seiner Zylinder, Pumpe, Ventile und eines gasgefüllten Akkumulators, der Energie speichert, wenn der Ausleger absenkt, und sie später freigibt, um die Last zu heben. Ihr Regler muss mit vielen realen Unsicherheiten zurechtkommen: Boden, der plötzlich härter oder weicher wird, Öl, das sich mit der Temperatur verdickt oder verflüssigt, Bauteile, die allmählich verschleißen, und Sensoren, die verrauscht oder leicht voreingenommen sind. Anstatt anzunehmen, dass alles bekannt und konstant ist, behandelt das System den wahren Zustand der Maschine als teilweise verborgen und aktualisiert fortlaufend seine beste Schätzung mittels Bayesscher Methoden. Ein Partikelfilter schätzt verborgene Faktoren wie die Bodenresistenz und ob der Akkumulator im Vergleich zum Sollzustand leicht über- oder unterladen ist.

Die Maschine sicher anpassungsfähig machen

Auf diese Zustandsschätzung baut das Team eine Reinforcement-Learning-(RL-)Policy auf, einen Algorithmus, der in Simulation durch Versuch und Irrtum nach und nach gute Strategien erlernt. In jedem Augenblick erhält die Policy den aktuellen „Glauben“ über den Maschinenzustand und wählt kontinuierliche Befehle für Pumpendruck und Ventilöffnungen. Eine dedizierte Sicherheitsinstanz prüft diese Vorschläge anschließend und beschneidet sie auf einen strikt sicheren Bereich: Hydraulikdrücke müssen insgesamt zwischen 5 und 35 Megapascal bleiben, der Akkumulator muss innerhalb seines 12–28-Megapascal-Fensters gehalten werden, und Ventilbewegungen sind so begrenzt, dass sie das System nicht ruckartig belasten. Der Lernprozess belohnt den Regler dafür, jeden Aushubzyklus zügig zu beenden, dabei möglichst wenig hydraulische Energie zu verbrauchen und die Schaufel auf Kurs zu halten, und bestraft Aktionen, die das System in unsichere Bereiche treiben würden.

Wie gut der intelligente Regler abschneidet

Die Forschenden führen umfangreiche Co-Simulationen mit 100 Aktualisierungen pro Sekunde durch und vergleichen ihren bayesschen RL-Regler mit zwei traditionelleren Setups: einem mit festen Parametern und einem, das einen versierten Bediener nachahmt, der einfache manuelle Anpassungen an Druck und Geschwindigkeit vornimmt. Alle Regler bewältigen denselben szenarisierten 20-Minuten-Auftrag, in dem sich die Bodenschwierigkeit in mehreren Phasen ändert und das Öl von kühl zu heiß erwärmt. Der lernbasierte Regler erkennt Bodenänderungen innerhalb weniger Sekunden, erhöht den Druck, wenn der Untergrund härter wird, um die Zykluszeiten stabil zu halten, und senkt ihn, wenn das Graben leichter wird, um Energie zu sparen und mehr Gelegenheiten zum Laden des Akkumulators zu schaffen. Über viele randomisierte Läufe hinweg senkt er den Energieverbrauch pro Aushubzyklus um etwa 20–22 % gegenüber dem festen Regler und um etwa 14–18 % gegenüber dem operatoranpassten Regler, verkürzt gleichzeitig die Zykluszeiten und verbessert die Treffgenauigkeit der Schaufelposition. Sicherheitsevents, etwa Drücke, die versuchen, Grenzwerte zu überschreiten, oder lange geöffnete Überdruckventile, werden seltener, obwohl das System die Leistung stärker ausreizt.

Was das für reale Maschinen bedeutet

Für eine allgemeine Leserschaft ist die Kernbotschaft, dass der Baggerarm lernen kann, sowohl vorsichtig als auch sparsam zu sein. Indem er fortwährend sein Verständnis dafür aktualisiert, wie schwierig das Graben ist, wie „gesund“ seine Komponenten sind und wie viel Energie im Akkumulator gespeichert ist, entscheidet der Regler in Echtzeit, wann Energie gespart und wann ein wenig mehr Energie eingesetzt werden sollte, um die Produktivität zu erhalten. Die Studie stützt sich noch auf Simulationen statt Feldversuche und konzentriert sich auf eine Maschinenklasse, zeigt aber, dass die Kombination probabilistischer Modellierung mit lernbasiertem Regelungsverhalten schwere Geräte deutlich effizienter machen kann, ohne Sicherheit oder Tempo zu opfern. Wenn ähnliche Ansätze auf reale Bagger übertragen werden, könnten Auftragnehmer dieselbe Erdmenge mit weniger Kraftstoff, geringerem Verschleiß und niedrigeren Emissionen bewegen.

Zitation: Hu, P., Wen, T., Zhang, D. et al. Bayesian reinforcement learning for adaptive control of energy recuperation in hydraulic excavator arms. Sci Rep 16, 6195 (2026). https://doi.org/10.1038/s41598-026-35391-y

Schlüsselwörter: hydraulischer Bagger, Energierückgewinnung, Reinforcement Learning, Bayessche Regelung, Effizienz schwerer Maschinen