Modelvoorspellende regeling aangedreven door reinforcement learning voor het optimaliseren van een tegenroterende permanentmagneet-synchronemotor in een onderzees voortstuwingssysteem

Slimmere motoren voor stillere onderzeeërs

Moderne onderzeeërs vertrouwen op stille, efficiënte voortstuwing om de oceanen te verkennen en wetenschappelijke, commerciële of defensieopdrachten uit te voeren. Deze studie bekijkt een speciaal type elektromotor dat twee schroeven in tegengestelde richting laat draaien, wat helpt een onderzeeër soepel en geruisloos door het water te laten bewegen. De onderzoekers tonen aan hoe het combineren van geavanceerde voorspellende instrumenten met een leer-algoritme deze motoren stabiel en efficiënt kan houden, zelfs wanneer golven, stromingen en plotselinge manoeuvres ze verstoren.

Twee schroeven, één stabiele onderzeeër

Traditionele systemen met één schroef kunnen ervoor zorgen dat een onderzeeër gaat draaien en rollen, vooral bij hoge snelheden, wat sturen bemoeilijkt en detectie vergemakkelijkt. Om dit te vermijden gebruiken ingenieurs tegenroterende schroefsysteem: twee schroeven op dezelfde as die in tegengestelde richting draaien. Centraal in deze opstelling staat de tegenroterende permanentmagneet-synchronemotor (CRPMSM), die in wezen bestaat uit twee compacte, koppelrijke elektromotoren gestapeld op elkaar. Deze configuratie heft ongewenste wringkrachten op, verbetert het energiegebruik en vermindert geluid, wat allemaal cruciaal is voor stealth en lange missies onder water. Echter, wanneer de belastingen op de twee rotoren uit balans raken, bijvoorbeeld in turbulent water of bij scherpe bochten, wordt het een serieuze regeltechnische uitdaging om beide zijden perfect synchroon te houden.

Waarom conventionele regeling tekortschiet

Ingenieurs hebben vele regelstrategieën geprobeerd om CRPMSM-rotoren gesynchroniseerd en efficiënt te houden. Methoden zoals veldgeoriënteerde regeling en directe koppelregeling kunnen goed werken onder kalme, voorspelbare omstandigheden, maar ze hebben moeite wanneer de onderwateromgeving snel verandert of sterk ongelijk is. Geavanceerdere technieken zoals sliding-mode, fuzzy- en adaptieve regeling verbeteren de robuustheid, maar berusten vaak op zeer nauwkeurige wiskundige modellen van de motor en het omringende water. In de praktijk zijn die modellen nooit perfect en mismatches kunnen leiden tot grotere koppelrimpel, langzamere herstelreacties na verstoringen en verspilde energie. Modelvoorspellende regeling (MPC), die optimale regelacties over een korte toekomstige horizon plant, biedt een snelle respons maar is nog steeds sterk afhankelijk van de kwaliteit van het onderliggende model.

Een hybride regelaar die lerend verbetert

De auteurs stellen een hybride Reinforcement Learning-gedreven Modelvoorspellende Regeling (RL-MPC) raamwerk voor dat de sterke punten van beide benaderingen combineert. MPC gebruikt een wiskundig model van de CRPMSM om te voorspellen hoe stromen, koppel en snelheid zich over de komende regelstappen zullen ontwikkelen en kiest spanningscommando’s die de gewenste snelheid- en stroomdoelen moeten volgen binnen gestelde limieten. Daarbovenop observeert een reinforcement learning-agent, gebaseerd op het Twin Delayed Deep Deterministic Policy Gradient (TD3) algoritme, hoe de echte motor zich gedraagt. Door beloningen te ontvangen wanneer snelheidsfouten, stroomfouten en regelinspanning klein zijn, past de leeragent geleidelijk de MPC-uitgangen aan om modelfouten, ongebruikte belastingen en externe verstoringen te compenseren. Een ruimtevector pulsbreedtemodulatiestadium zet deze geoptimaliseerde spanningscommando’s vervolgens om in schakelingssignalen voor de omvormer die de motor aandrijft.

De slimme motor op de proef

Om hun aanpak te evalueren bouwden de onderzoekers een gedetailleerde simulatie van een 120 kW tegenroterend motorsysteem in MATLAB/Simulink en testten ze het onder drie realistische bedrijfsscenario’s. In het eerste draaide de motor met constante snelheid terwijl de belasting op beide rotoren veranderde maar in balans bleef; in het tweede werd de snelheid gevarieerd bij constante belasting; in het derde, de meest veeleisende casus, ervaarden de rotoren verschillende belastingen terwijl de snelheidssetpoint vaststond. In alle gevallen werd RL-MPC rechtstreeks vergeleken met conventionele MPC met dezelfde voorspellings- en regelhorizon.

Snellere respons, schonere stromen, betere synchronisatie

De hybride RL-MPC regelaar presteerde consequent beter dan de standaard MPC in alle tests. Wanneer belastingen of snelheden plots veranderden, verminderde RL-MPC de overshoot in snelheid van ongeveer 30% naar rond 15–16,6% en halveerden de inssettijd van ongeveer 1,4 seconden naar 0,7 seconden. Koppelrimpels waren kleiner en de twee tegenroterende rotoren bleven nauw gesynchroniseerd, zelfs wanneer de ene rotor zwaarder werd belast dan de andere. Even belangrijk was de merkbare verbetering in de kwaliteit van de statorstroom: totale harmonische vervorming daalde met meer dan 60% tijdens zware transiënten met ongelijke belasting, van 9,3% voor MPC naar 3,4% voor RL-MPC, en tot zo laag als ongeveer 2–3% in stationaire toestand. Schonere stromen betekenen minder opwarming, stillere werking en hogere algehele efficiëntie.

Wat dit betekent voor toekomstige onderwatervoertuigen

Voor niet-specialisten is de kernboodschap dat het toevoegen van een leerlayer bovenop een voorspellende regelaar onderzeemotoren zowel slimmer als robuuster maakt. In plaats van volledig te vertrouwen op vaste vergelijkingen die kunnen falen wanneer de zee ruig wordt of het voertuig scherp manoeuvreert, kan het RL-MPC raamwerk zich on-the-fly aanpassen en de dubbelrotor-motor synchroon, responsief en efficiënt houden. Hoewel de resultaten tot nu toe op simulatie zijn gebaseerd en in echte hardware en op echte oceanen gevalideerd moeten worden, wijst dit werk op toekomstige onderwatervoertuigen die verder reizen met dezelfde energie, minder geluid maken en stabiel en bestuurbaar blijven onder uitdagende omstandigheden.

Bronvermelding: Delelew, E.Y., Dulecha, K.A., Ararso, Z.T. et al. Reinforcement learning-driven model predictive control for optimizing counter-rotating permanent magnet synchronous motor in submarine propulsion system. Sci Rep 16, 5277 (2026). https://doi.org/10.1038/s41598-026-36126-9

Trefwoorden: onderzeese voortstuwing, tegenroterende motor, reinforcement learning-besturing, modelvoorspellende regeling, onderwatervoertuigen