שיטת הקצאת משאבים לאינטרנט של הדברים קוגניטיבי המבוססת על אלגוריתם חיזוק רב-סוכני

למה הנתונים של הרכב שלך צריכים להישאר "טריים"

רכבים מודרניים משתפים באופן רציף מידע על מיקומם, מהירותם וסביבתם עם רכבים אחרים ועם ציוד צדי כביש. כדי שתכונות בטיחות ופונקציות נהיגה אוטונומית יפעלו היטב, המידע הזה צריך להיות לא רק מדויק אלא גם טרי: הודעת בלימה שאיחרה שנייה אחת עלולה להיות חסרת תועלת. המאמר חוקר כיצד לשמור על עדכניות הנתונים האלה ככל הניתן ברשתות אלחוטיות צפופות, באמצעות שיטת בקרה מבוססת למידה שמאפשרת לרכבים להחליט בעצמם כיצד ומתי לשדר.

דרכים חכמות שמשתפות את הספקטרום

המחקר בוחן רשת כבישים עתידית שבה אלפי רכבים מחוברים משתפים ספקטרום רדיו מוגבל עם משתמשים קיימים כמו לקוחות טלפונים ניידים. תצורה זו, הנקראת אינטרנט של הדברים קוגניטיבי, מניחה שהרכבים הם "אורחים מנומסים": הם יכולים לשאול תדרים רק מתי שזה לא מפריע למשתמשים הראשיים. במקביל, הרכבים חייבים לתקשר זה עם זה ועם תחנות בסיס במהירות מספקת לתמיכה באזהרות התנגשות, תיאום תנועה ושירותי בידור. איזון הדרישות האלה קשה כי הרכבים נעים במהירות, האותות נחלשים כשהם מתפתלים בין גושי בניינים, והערוצים הזמינים משתנים מרגע לרגע.

מדידת טריות, לא רק מהירות

עיצוב רשת מסורתי מתמקד לעתים קרובות בהעלאת קצב הנתונים או בהפחתת ההשהיה הממוצעת. עם זאת, עבור הודעות קריטיות לבטיחות ברכב, מה שחשוב באמת הוא עד כמה ישן עדכון המצב האחרון כשהוא מגיע למקלט. המחברים משתמשים במטריק שנקראת גיל המידע (Age of Information), אשר גדל ככל שעובר הזמן מאז העדכון המוצלח האחרון ומתאפס כאשר מגיע הודעה חדשה. במודל שלהם, כל זוג כלי רכב שולח שוב ושוב יחידות נתונים. אם הקישור האלחוטי חזק וברמת ההספק הנבחרת מספיק גבוהה, היחידה הנוכחית מתנקזת במהירות והגיל יורד; אם הקישור חלש או ההספק מוגבל, נתונים נשארים ומועברים הלאה והגיל ממשיך לטפס. המטרה היא לבחור ערוצי רדיו ורמות הספק כך שהגיל יישאר נמוך ככל האפשר, תוך חיסכון באנרגיה והגנה על המשתמשים הראשיים מפני הפרעה.

ללמד רכבים לשתף פעולה באמצעות ניסוי וטעייה

מכיוון שהסביבה האלחוטית משתנה במהירות וכל רכב רואה רק מידע מקומי, המחברים מסדרים את הבעיה כמשימת למידה במקום נוסחה קבועה. כל רכב פועל כסוכן אינטליגנטי הצופה שוב ושוב במצבו: אילו ערוצים נראים עסוקים, כמה חזקים קישורי הרדיו שלו, כמה נתונים נשארו לשלוח וכמה זמן עבר מאז העדכון האחרון. בהתבסס על תצפית חלקית זו הוא בוחר פעולה המשלבת בחירה בדידה (באיזה ערוץ להשתמש, או האם להישאר שקט) עם בחירה רציפה (באיזה הספק לשדר). אחרי הפעולה המערכת מודדת עד כמה המידע טרי, כמה הספק נעשה שימוש והאם הופרעו משתמשים ראשיים. משוב זה מומר לאות תגמול שמנחה את הסוכנים, לאורך פרקים רבים של סימולציה, לקראת החלטות משותפות טובות יותר.

אלגוריתם למידה מותאם להחלטות מעורבות

כדי לאמן את הסוכנים הללו, המחברים מפתחים גרסה רב-סוכנית משופרת של שיטה פופולרית שנקראת Proximal Policy Optimization. הווריאנט שלהם, IMAPPO, משתמש במודול אימון מרכזי שרואה את המצב הגלובלי ומעריך כמה הטובות הן הפעולות המשולבות של כל הרכבים, בעוד שכל רכב לומד כלל החלטה פרטי שאותו הוא יכול ליישם בזמן אמת. חידוש מרכזי הוא רשת החלטה משודרגת שיכולה לטפל באופן טבעי גם בבחירה בינארית (הדלקה/כיבוי של ערוצים) וגם בטווח הרציף של רמות ההספק האפשריות. בסימולציות של דרכים ברשת ריבועית בעיר, עם רכבים ותחנות בסיס במקומות ריאליסטיים והשפעות רדיו כמו דעיכה והפרעה כלולות, השיטה המוצעת מושוותה לכמה אלגוריתמי למידה מתקדמים ולבסיס אקראי.

נתונים טריים יותר עם פחות אנרגיה

התוצאות מראות שהשיטה החדשה יכולה לשמור על מידע בצורה ברורה טריה יותר תוך צריכת הספק נמוכה יותר. במספרי רכבים שונים וכמויות שונות של נתונים לשליחה, IMAPPO מקטין את גיל המידע הממוצע עד לכדי כחצי לעומת גישה אקראית פשוטה, ומצטיין גם על פני שיטות למידה מתקדמות אחרות בשוליים משמעותיים. במקביל היא מפחיתה את ההספק הכולל שמשתמשים הרכבים, תורמת לשימור חיי סוללה ומגבילה הפרעה למשתמשים אחרים בספקטרום. עבור הקורא הכללי, המשמעות היא שבקרה חכמה מבוססת למידה של מי מדבר מתי ובאיזו עצימות בדרך האלחוטית יכולה להפוך רכבים מחוברים ואוטונומיים לבטוחים יותר, יעילים יותר ומכבדים יותר את גלי האוויר הצפופים שהם נאלצים לשתף.

ציטוט: Wang, R., Shen, Y., Wang, D. et al. A cognitive internet of things resource allocation method based on multi-agent reinforcement learning algorithm. Sci Rep 16, 7756 (2026). https://doi.org/10.1038/s41598-026-36380-x

מילות מפתח: רכבים מחוברים, שיתוף ספקטרום אלחוטי, גיל המידע, למידת חיזוק, אינטרנט של הדברים