DRLO-VANET: מסגרת סילוק משימות מבוססת חיזוק עמוק לביצוע משימות ברוחב פס נמוך וחיסכון באנרגיה ב‑VANETs

מדוע חישוב חכם ברכבים חשוב

הרכבים המודרניים, ובמיוחד הרכבים הנהגים בעצמם, הופכים למחשבים ניידים. הם מנתחים באופן רציף זימוני מצלמה, רדאר, מפות ומידע תעבורתי כדי לשמור על בטיחות הנוסעים ולשמור על זרימת התנועה. כל העיבוד הזה לוקח זמן וצריכת אנרגיה. כיום רכבים יכולים לעבד נתונים על גבי המערכת הפנימית שלהם או לשלוח אותם למחשבי קצה לאורך הדרך. בחירה שגויה עלולה לגרום לעיכובים, לאי‑הושלמות משימות או לבזבוז סוללה. מאמר זה חוקר דרך חדשה לבצע את הבחירות הללו באופן אוטומטי וחכם, באמצעות אלגוריתמים לומדים המסתנכרנים לתנאי התנועה והרשת בזמן אמת.

רכבים, כבישים ועוזרים בסמוך

בעיר העתידית, הרכבים לא רק יתקשרו זה עם זה אלא גם עם מחשבים קטנים המוטמעים בתחנות צידי הדרך לאורך הרחובות. יחידות אלו מתפקדות כמעין מיני‑מרכזי נתונים מקומיים, הרבה יותר קרובות מאשר שרתי ענן מרוחקים. רכב המתקרב לצומת עשוי להצטרך להריץ משימה תובענית, למשל שילוב נתוני מצלמה וחיישנים כדי לזהות הולכי רגל מוסתרים. הוא יכול לעבד את המשימה על המעבד המוגבל שלו או להעבירה לאחת מיחידות צידי הדרך. הבחירה הטובה תלויה בצפיפות התנועה, בעומס על כל יחידת קצה, בעוצמת הקישור האלחוטי ובדחיפות המשימה. מכיוון שכל אלה משתנים מדי שנייה, כללים סטטיים — כמו תמיד להשתמש ביחידה הקרובה ביותר — נופלים כשנבחנים בתנאי תנועה אמיתיים.

לאפשר למערכת ללמוד בעצמה

המחברים מציעים את DRLO‑VANET, מסגרת המאפשרת למערכת ללמוד החלטות טובות בניסוי וטעייה במקום להסתמך על חוקים מעשה‑יד. במודל שלהם, כל כלי רכב מתואר כמקבל החלטות הצופה בסביבתו — צפיפות כלי הרכב, איכות האות, רמת הסוללה שלו, גודל המטלה והמועד האחרון שלה וכמויות העומס על יחידות צידי הדרך. סוכן לומד בוחר בין מספר אופציות: לעבד מקומית, לשלוח את המשימה לאחת מיחידות צידי הדרך, או אף לפצל את העיבוד בין הרכב ליחידת הקצה. לאחר כל החלטה המערכת מודדת כמה זמן לקח ביצוע המשימה, כמה אנרגיה נוצלה, האם הושלמה לפני המועד האחרון, עד כמה השימוש ביחידות הצידי הדרך מאוזן וכמה פעמים הרכב נאלץ לעבור בין יחידות שונות בזמן תנועה. התוצאות משולבות לציון משוב יחיד שמדרבן את הסוכן הלומד לכיוון החלטות טובות יותר עם הזמן.

בניית סביבה מדומה ריאליסטית לבחינה

כדי להעריך האם האסטרטגיה הנלמדת תעבוד בפועל, החוקרים בנו סימולציה ממוחשבת מפורטת באמצעות מדמה הרשת ns‑3 המקושר לכלי למידת חיזוק. העיר הוירטואלית שלהם כוללת צמתים חוצי‑כביש, כלי רכב נעים במהירויות שונות ויחידות צידי דרך הממוקמות ברשת כך שאזורי הכיסוי חופפים כמו בפריסה אמיתית. הקישורים האלחוטיים נשענים על מודלים ריאליסטיים לדרכים פתוחות ול»קניונים« עירוניים צפופים, שבהם מבנים יוצרים השתקפויות ואובדן אות. משימות בגדלים ובדד‑ליינים שונים מגיעות לכל רכב, ומחשבי הצדי‑דרך מדומיינים עם תורים וכוח עיבוד מוגבל, כך שהם עלולים להיתקע כאשר רבים מעבירים משימות בו זמנית. שתי שיטות למידה פופולריות, Deep Q‑Networks ו‑Soft Actor‑Critic, משמשות לאימון מדיניות החלטה על פני נסיעות וסיטואציות ערוציות רבות בסימולציה.

כמה טוב מתפקדת שיטת הלמידה

הצוות השווה את DRLO‑VANET עם שלוש חלופות נפוצות: תמיד לעבד בחישוב פנימי, תמיד להעביר ליחידת צידי הדרך הקרובה ביותר ואסטרטגיית »חמדנית« הרודפת אחרי העיכוב המידתי הנמוך ביותר בלי תכנון קדימה. בתנועה חלשה כל השיטות מתפקדות באופן סביר, אך ככל שנכנסים יותר רכבים לרשת החולשות של הכללים הפשוטים מתגלות. העברה ליחידה הקרובה מעמיסה כמה יחידות צידי‑דרך ויוצרת תורים ארוכים. האסטרטגיה החמדנית מפחיתה עיכוב בתחילה אך מאלצת כלי רכב לעבור שוב ושוב בין יחידות, מה שמוסיף עלויות ואי‑יציבות. לעומת זאת, המדיניות שנלמדה ב‑DRLO‑VANET מפזרת את העומס באופן מאוזן יותר, נמנעת מקישורים אלחוטיים בעייתיים ומגבילה החלפות מיותרות. בסימולציות היא מקטינה את עיכוב המשימות בעד כ‑40 אחוז, מצמצמת את צריכת האנרגיה בכ‑30–35 אחוז, שומרת על יותר מ‑90 אחוז מהמשימות בזמן בתנועה בינונית ומצמצמת בכחצי את אירועי ההחלפה לעומת השיטה החמדנית.

מה המשמעות הזו לנהגים היומיומיים

עבור הקוראים שאינם מומחים, המסקנה המרכזית היא שרכבים וכבישים יכולים לשתף פעולה בצורה הרבה יותר חכמה מאשר כיום. במקום כללים נוקשים, בקרה מבוססת למידה יכולה לצפות עד כמה הכביש והרשת עמוסים ולבחור ברקע היכן כל משימה דיגיטלית תרוץ, כך שהתשובות יישארו מהירות, הסוללות יחזיקו זמן רב יותר וציוד צידי‑הדרך לא יישטעף. אמנם המחקר מבוסס על סימולציה ולא על רכבים בעולם האמיתי, אך הוא מצביע לעתיד שבו ה»חשיבה« הנחוצה לנהיגה אוטונומית תחולק באופן אוטומטי בין כלי הרכב והתשתית הסמוכה, מה שיהפוך שירותי בטיחות וניווט מתקדמים לאמינים יותר גם בתנועה צפופה ומשתנה במהירות.

ציטוט: Neelima, S., Sree, S.R. & Ramakrishnaiah, N. DRLO-VANET: a deep reinforcement learning-based offloading framework for low-latency and energy-efficient task execution in VANETs. Sci Rep 16, 10582 (2026). https://doi.org/10.1038/s41598-026-46336-w

מילות מפתח: רכבים אוטונומיים, חישוב בקצה, רשתות רכביות, למידת חיזוק, העברת משימות