NeuroAction: en neuroevolutionär metod för förstärkningsinlärning för autonoma fordon

Varför smartare körstilar för självkörande bilar spelar roll

De flesta av oss föreställer oss självkörande bilar som lugna, perfekt rationella förare. Men dagens system tenderar att jaga en enda blandning av mål—till exempel att undvika kollisioner samtidigt som de tar dig dit snabbt—och den blandningen bestäms av ingenjörer. NeuroAction, metoden som beskrivs i denna artikel, syftar till att ge autonoma bilar något som liknar mänsklig flexibilitet: förmågan att välja mellan flera säkra körstilar, från försiktigt "baby ombord"-beteende till rask motorvägskörning, utan att behöva träna om bilen varje gång.

Från universallösning till många säkra alternativ

Dagens djupa förstärkningsinlärningssystem för körning lär sig genom trial-and-error: de observerar vägen, utför handlingar som styrning och acceleration, och får en enda numerisk belöning som förenar olika mål som hastighet, säkerhet och körfältsplacering. För att anpassa systemet måste ingenjörer utforma den enda belöningen mycket noggrant. Om de viktar hastighet för högt kan bilen köra aggressivt; om de överbetonar säkerhet kan den krypa fram. Att ändra preferenser senare innebär vanligtvis att gå tillbaka och träna om ett stort neuralt nätverk från grunden, vilket är långsamt, minneskrävande och känsligt för tekniska inställningar.

Dela upp körningen i enkla mål

NeuroAction angriper detta genom att dela upp köruppgiften i flera tydliga mål istället för ett. I studien bedömdes bilens virtuella förare oberoende på tre saker: hur snabbt den färdas inom ett säkert intervall, hur troget den håller sig i det högra (vanligen säkrare) körfältet och hur väl den undviker kollisioner. Istället för att slå ihop dessa till en enda poäng behandlar metoden dem som separata måttstockar. I bakgrunden utvärderas varje möjlig körpolicy—det neurala nätverk som omvandlar sensorinput till styr- och hastighetsbeslut—längs alla tre axlarna samtidigt.

Låt evolutionen söka bättre förare

I stället för att finjustera nätverksvikter med standardtekniken backpropagation använder NeuroAction idéer hämtade från biologisk evolution. En population av olika körpolicys skapas och testas i en simulerad motorvägsmiljö. Policys som uppnår bra avvägningar mellan hastighet, körfältsdisciplin och säkerhet behålls och kombineras, medan sämre policys kasseras. Över många generationer upptäcker denna evolutionära process en hel front av starka lösningar—känd som en Pareto-front—där ingen policy kan förbättras i ett mål utan att offra minst ett av de andra.

Jämförelse mellan evolutionär och gradientbaserad inlärning

Forskarna tillämpade NeuroAction på en välanvänd 2D-motorvägssimulator, med en standard agent baserad på neurala nätverk. De optimerade sedan agentens parametrar med flera etablerade multiobjektiva evolutionära algoritmer och jämförde hur väl varje algoritm kunde täcka spannet av önskvärda avvägningar. Ett nyckelmått, hypervolymen av den upptäckta fronten, fångar både hur bra och hur varierade lösningarna är. En algoritm, NSGA-II, uppnådde bäst total täckning, medan en nära släkting, NSGA-III, gav särskilt konsekventa resultat över upprepade körningar.

Hur olika körstilar ser ut

Genom att granska enskilda policys på Pareto-fronten visar författarna att varje punkt motsvarar en igenkännbar körstil. En policy håller sig stadigt i höger körfält nästan till varje pris, offrar hastighet och kolliderar så småningom med ett mycket långsamt fordon framför—en överdrivet försiktig strategi som värderar körfältspreferens för högt. En annan policy byter initialt körfält men återvänder sedan till ett fritt högerfält, bibehåller högre hastighet samtidigt som den undviker kollisioner. I allmänhet producerar metoderna ett spektrum av strategier som sträcker sig från konservativa, körfältsföljande förare till mer bestämda men fortfarande säkra cruisers, alla tillgängliga samtidigt utan omträning.

Vad detta innebär för framtida självkörande bilar

För en icke-specialist är huvudbudskapet att NeuroAction förvandlar träningen av självkörande bilar till en sökning efter många bra alternativ i stället för ett fast beteende. Detta gör det möjligt att välja en körpolicy som matchar situationen—långsamt och ultrasäkert när barn finns ombord, snabbare när du har bråttom—samtidigt som säkerhetsbegränsningar respekteras. Även om de nuvarande experimenten är i simulering och använder förenklade mål pekar ramverket mot mer anpassningsbara, preferensmedvetna autonoma fordon som kan erbjuda personliga men pålitliga körstilar byggda på en solid matematisk grund.

Citering: Aboyeji, E., Ajani, O.S., Fenyom, I. et al. NeuroAction: a neuroevolutionary approach to reinforcement learning for autonomous vehicles. Sci Rep 16, 7403 (2026). https://doi.org/10.1038/s41598-026-38269-1

Nyckelord: autonom körning, förstärkningsinlärning, evolutionära algoritmer, multiobjektiv optimering, självkörande bilar