למידת חיזוקים פדרטיבית משולבת במשא ומתן לתזמון זרמים ללא קונפליקטים בין קצה–ענן

למה לאפליקציות חכמות צריך תנועה חלקה מאחורי הקלעים

ממפות תנועה חיות ועד חיישנים במפעלים, רבות מהאפליקציות המודרניות תלויות בזרם נתונים קבוע שצריך לעובד בתוך מילישניות. כדי לעמוד בקצב, ארגונים מפזרים חישובים על פני מכשירי קצה קרובים ושרתים מרוחקים בענן. אך כאשר חלקים רבים של הרשת מקבלים החלטות עצמאיות בו־זמנית, הם עלולים להתנגש, ולגרום לפקקי תנועה דיגיטליים, עלייה בעלויות ותגובות איטיות. המאמר בוחן דרך חדשה לתאום החלטות אלה, כך שאפליקציות סטרימינג יישמרו מהירות, יציבות ויעילות גם תחת דרישה המשתנה באופן קיצוני.

כאב גדילה בעבודת צוות של קצה וענן

מצלמות חכמות, כלי רכב וחיישנים תעשייתיים שולחים כיום זרמים בלתי פוסקים של נתונים שצריך לנתח בזמן אמת. מחשבי הקצה הקרובים למשתמשים מקצרים השהיות, בעוד מרכזי נתונים בענן מוסיפים כוח עיבוד. עם זאת, ההחלטה היכן להפעיל כל חלק של העבודה מורכבת, מכיוון שמשימות תלויות זו בזו ועומסים יכולים לזנק ללא התרעה. שיטות תזמון קלאסיות מסתמכות על כללים קבועים או תכנון לא מקוון. הן עובדות בסביבות רגועות אך מתקשות כאשר אלפי משימות ומכונות צריכים להסתגל בכל שנייה על פני מספר אזורים. בקרה מרכזית מוחלטת עלולה להפוך לצוואר בקבוק, בעוד בקרים מקומיים עצמאיים נוטים להתנגש במאבק על משאבים משותפים.

לימוד תזמון — אבל בלי לדרוך על הרגליים

גישות עדכניות מאפשרות לסוכנים תוכנה ללמוד כללי תזמון טובים דרך ניסוי וטעיה, טכניקה שנקראת למידת חיזוקים. למידה פדרטיבית מאפשרת לרבים מהסוכנים לאמן יחדיים תוך שמירה על הנתונים הגולמיים במקומם, מה שחשוב לפרטיות ולרוחב הפס. עם זאת, כאשר כל אשכול של מכשירי קצה לומד בעצמו ומתמזג דגם רק מדי פעם, פעולותיהם עדיין עלולות להיכנס לסתירה. שני אשכולות עלולים להעביר עומס לאותם שרתי ענן במקביל, או להחליף משימות הלוך ושוב, וליצור השהיות נוספות ובזבוז אנרגיה. המחברים טוענים כי מה שנחסר הוא דרך מפורשת לסוכנים אלה לתקשר זה עם זה ולנהל משא ומתן לפני נקיטת פעולה.

שולחן משא ומתן למתזמנים דיגיטליים

המסגרת המוצעת, FedNeg-RL, מוסיפה שכבת משא ומתן קלה מעל למידת חיזוקים פדרטיבית. לכל אשכול של מכשירי קצה יש סוכן מייצג שמנטר עומס מקומי, חוזה תנועה קרובה בזמן ומזהה אילו משימות רגישות ביותר לעיכוב. לפני ביצוע שינויים שעשויים להשפיע על קישורים משותפים או צמתים בענן, הנציגים מחליפים סיכומים קצרים, כגון עומס צפוי וההשפעה האפשרית של מהלכיהם, במקום נתונים גולמיים. באמצעות פרוטוקולים פשוטים בסגנון טיעון הם מנהלים משא ומתן על תוכנית משותפת שממנעת התנגשויות, ולאחר מכן כל אשכול מיישם את הפעולה המוסכמת מקומית. לאורך זמן, תהליך הלמידה שלהם מעוצב להעדיף תוכניות ששומרות על השהיה נמוכה, עלות ואנרגיה סבירים, וקונפליקטים נדירים.

בדיקה בגירסאות וירטואליות עמוסות של ערים

להערכת FedNeg-RL, המחברים בנו סימולציות מפורטות של עומסי עבודה בסגנון אינטרנט הדברים, שכללו מאות משימות מקושרות וזרמי נתונים פיצוצים וקשים לחיזוי, בדומה לאלה שנמצאים במוניטורי תנועה בערים חכמות. הם השוו את שיטתם עם מתזמים מבוססי כללים, אלגוריתמים אבולוציוניים, למידת חיזוקים מקומית סטנדרטית, למידה פדרטיבית טהורה וסוכן למידה מרכזי יחיד. בתרחישים רבים, FedNeg-RL הקטין את מספר התצורות ההפרעות שנגרמו על ידי קונפליקטים עד כ־41 אחוז, הפחית את ההשהיה הגבוהה (10 האחוזים האיטיים ביותר) בכ־20 עד 28 אחוז, והוריד את העומס של התאמות בכ־35 אחוז בקירוב. הוא גם השתמש באנרגיה באופן מאוזן יותר והתמודד היטב עם גידול במספר המשימות והמכונות.

מה המשמעות עבור מערכות מחוברות עתידיות

במלים פשוטות, FedNeg-RL מראה שלימוד לבקרים תוכנה לא רק ללמוד מניסיון אלא גם לנהל משא ומתן עם עמיתיהם יכול להפוך את התשתית המשותפת של קצה וענן לפעולה חלקה יותר. במקום החלטות מפוזרות ומתחרות, אשכולות מתאמים במידה מספקת כדי לשמור על אפליקציות סטרימינג רגישות, יציבות ויעילות, מבלי לחשוף נתונים פרטיים או להסתמך על מוח מרכזי יחיד. ככל שהפריסות בעולם האמיתי יגדלו ויתסבכו, למידה מודעת משא ומתן כזו עשויה לסייע להבטיח שהבמה המחשובית הבלתי נראית מאחורי ערים חכמות, מפעלים ושירותים תמשיך לפעול בשקט ברקע, גם כאשר הדרישות משתנות ללא הרף.

ציטוט: Kang, X., Hua, C. Negotiation-augmented federated reinforcement learning for conflict-free edge–cloud stream scheduling. Sci Rep 16, 15158 (2026). https://doi.org/10.1038/s41598-026-45004-3

מילות מפתח: תזמון ענן קצה, למידת חיזוקים פדרטיבית, סטרימינג של IoT, משא ומתן מולטי-סוכן, הפחתת זמן השהייה