NeuroAction: גישה נוירו-אבולוציונית ללמידת חיזוק לרכבים אוטונומיים

מדוע סגנונות נהיגה חכמים יותר חשובים

רובינו מדמיינים מכוניות אוטונומיות כנהגים רגועים והגיוניים לחלוטין. אבל המערכות של היום נוטות לרדוף אחרי שילוב יחיד של מטרות — כמו לא להתנגש ובאותו הזמן להגיע במהירות — והשילוב הזה מוקבע על ידי מהנדסים. NeuroAction, הגישה המתוארת במאמר זה, שואפת לתת למכוניות האוטונומיות משהו קרוב יותר לגמישות אנושית: היכולת לבחור מתוך מספר סגנונות נהיגה בטוחים, מקפדן כמו "תינוק על הלוח" ועד נסיעה נמרצת בכביש מהיר, בלי לאמן את הרכב מחדש בכל פעם.

מפתרון אחד שמתאים לכולם למספר אפשרויות בטוחות

מערכות למידת חיזוק עמוקה עכשוויות לנהיגה לומדות בניסוי וטעייה: הן צופות בדרך, מבצעות פעולות כמו הגה והתאוצה, ומקבלות פרס מספרי יחיד שממזג יחד מטרות שונות כמו מהירות, בטיחות ומיקום בנתיב. כדי לכוון את המערכת, על המהנדסים לעצב את אותו פרס יחיד בזהירות. אם הם נותנים משקל גבוה מדי למהירות, הרכב עלול לנהוג באגרסיביות; אם הם מדגישים יותר מדי את הבטיחות, הוא עלול לזחול. שינוי העדפות מאוחר יותר בדרך כלל מצריך חזרה לאימון רשת עצבית גדולה מאפס, תהליך איטי שצורך זיכרון ורגיש לפרמטרים טכניים.

לפצל את הנהיגה למטרות פשוטות

NeuroAction מתמודד עם הבעיה על ידי חלוקת משימת הנהיגה למספר יעדים ברורים במקום אחד. במחקר, הנהג הווירטואלי של הרכב מוערך באופן נפרד בשלוש נקודות: עד כמה הוא נוסע במהירות בתוך טווח בטוח, עד כמה הוא נשאר בנאמנות בנתיב הימני ביותר (בדרך כלל הבטוח יותר), ועד כמה הוא נמנע מתאונות. במקום לשלב את אלה לציון יחיד, השיטה מתייחסת אליהם כסולמות נפרדים. מאחורי הקלעים, כל מדיניות נהיגה אפשרית — הרשת העצבית שממירה קלטי חיישנים להחלטות הגה ומהירות — מוערכת לאורך כל שלושת הצירים במקביל.

לתת לאבולוציה לחפש נהגים טובים יותר

במקום לכוונן משקלים של רשת עם טכניקת ה-backpropagation הסטנדרטית, NeuroAction משתמשת ברעיונות שאובטו מהאבולוציה הביולוגית. נאמנת אוכלוסייה של מדיניות נהיגה שונה ונבחנת בסביבה סימולציה של כביש מהיר. מדיניות שמשיגה ויתורים טובים בין מהירות, משמעת נתיב ובטיחות נשמרות ומושלבות מחדש, בעוד המנהגים החלשים יותר מושלכים. לאורך דורות רבים, התהליך האבולוציוני מגלה חזית של פתרונות חזקים — הידועה כחזית פארטו — שבה לא ניתן לשפר מדיניות במטרה אחת בלי לפגוע לפחות באחת מהשאר.

השוואה בין למידה אבולוציונית ולמידה מבוססת גרדיאנט

החוקרים יישמו את NeuroAction על סימולטור כביש מהיר דו־ממדי נפוץ, באמצעות סוכן נהיגה סטנדרטי מבוסס רשת עצבית. הם א 옵טימיזו את פרמטרי הסוכן בעזרת מספר אלגוריתמים אבולוציוניים מולטי־מטריים מוכרים, והשוו עד כמה כל אחד יכול לכסות את טווח הוויתורים הרצויים. מדד ביצוע מרכזי, ה"היפרווליום" של החזית שהתגלתה, לקח בחשבון גם את איכות וגם את המגוון של הפתרונות. אלגוריתם אחד, NSGA-II, השיג את הכיסוי הטוב ביותר הכולל, בעוד קרוב משפחתו, NSGA-III, הפיק תוצאות עקביות במיוחד בחזרות ריצה חוזרות.

איך נראים סגנונות נהיגה שונים

על ידי בחינה של מדיניות בודדות בחזית פארטו, המחברים מראים שכל נקודה מת Corresponds to a recognizably different driving style. מדיניות אחת נשארת היטב בנתיב הימני כמעט בכל מחיר, מקניית מהירות ובסופו של דבר מתנגש ברכב איטי מאוד שלפניה — אסטרטגיה זהירה מדי שמעריכה יתר על המידה את העדפת הנתיב. מדיניות אחרת משנה נתיבים בתחילה אך חוזרת אחר כך לנתיב ימני פנוי, שומרת על מהירות גבוהה יותר ועדיין נמנעת מתאונות. באופן כללי, השיטות מייצרות ספקטרום של אסטרטגיות הנעות מנהגים שמרניים המעמידים על שמירת נתיב ועד נוסעים נמרצים יותר אך עדיין בטוחים, כולם זמינים בו-זמנית ללא אימון מחודש.

מה זה אומר לרכבים אוטונומיים בעתיד

לקורא שאינו מומחה, המסר המרכזי הוא ש-NeuroAction הופכת את האימון של מכוניות אוטונומיות לחיפוש אחר מספר אפשרויות טובות במקום התנהגות בודדת וקבועה. זה מאפשר לבחור מדיניות נהיגה שתתאים לסיטואציה — איטית ו"אולטרה-בטוחה" כשנוסעים עם ילדים, מהירה יותר כשממהרים — תוך שמירה על מגבלות בטיחות. אף על פי שהניסויים הנוכחיים נערכו בסימולציה ומשתמשים ביעדים מפושטלים, המסגרת מצביעה לעבר רכבים אוטונומיים גמישים יותר, המודעים להעדפות ויכולים להציע סגנונות נהיגה מותאמים אישית ואמינים המבוססים על יסוד מתמטי מוצק.

ציטוט: Aboyeji, E., Ajani, O.S., Fenyom, I. et al. NeuroAction: a neuroevolutionary approach to reinforcement learning for autonomous vehicles. Sci Rep 16, 7403 (2026). https://doi.org/10.1038/s41598-026-38269-1

מילות מפתח: נהיגה אוטונומית, למידת חיזוק, אלגוריתמים אבולוציוניים, אופטימיזציה מולטי-מטרית, מכוניות אוטונומיות