אלגוריתם DDPG ממוקד-מועדף משופר לאופטימיזציית קרני ושלב RIS משותף במערכות MISO תחתית

משטחים חכמים עבור גל התקשורת הבא

לקראת דרישות גבוהות יותר בקצב ובאמינות מצד הטלפונים, המכוניות והחיישנים שלנו, רשתות האלחוט של היום נדחקות אל גבולותיהן. מחקר זה חוקר גישה חדשה שעשויה להפוך את רשתות ה‑6G העתידיות לירוקות יותר ומהימנות יותר על ידי שילוב "מישורים" משתקפים חכמים על בניינים עם טכניקת בינה מלאכותית שלומדת באופן עצמאי כיצד לכוון את אותות הרדיו תוך שימוש באנרגיה מופחתת.

להפוך קירות למראות מועילות לאות

מערכות ה‑6G העתידיות צריכות לשרת מספר עצום של מכשירים בקצבים גבוהים, באמינות מוצקה ובהשהיה נמוכה מאוד. עמידה בכל הדרישות האלה בעזרת תחנות בסיס מסורתיות בלבד תחייב חומרה ואנרגיה רבים. משטחים אינטליגנטים ניתנים לכוונון (RIS) מציעים גישה אחרת: לוחות מצופים ברכיבים זעירים וחסכוניים באנרגיה אשר מסוגלים להחזיר גלים אלקטרומגנטיים נכנסים בכיוונים מבוקרים, כמו מראה הניתנת לתכנות. על‑ידי בחירה מדויקת של פאזה ההחזרה, RIS יכול להסיט אותות סביב מכשולים, לחזק קישורים חלשים ולהפחית הפרעות, הכל ללא שידור פעיל של כוח משלו. זה נותן למעצבי רשתות כפתור חזק נוסף לכוונון כשמנסים להרחיב כיסוי ולשפר יעילות.

איזון מסובך עבור הרשת

שימוש טוב ב‑RIS אינו פשוט. תחנת הבסיס צריכה להחליט כיצד לכוון את אנטנותיה (beamforming), בעוד ה‑RIS חייב לכוונן את הפאזה של כל אחד מהרכיבים הרבים שלו. הבחירות האלה מקושרות זה לזה, והן חייבות לעמוד במגבלות רבות בו‑זמנית: לשמור על הספק השידור הכולל מתחת למקסימום, להבטיח לכל משתמש איכות אות מינימלית ולכבד מגבלות פיזיקליות של חומרת ה‑RIS. מתמטית, בעיית הכוונון המשותפת הזו היא לא‑קווית ו"לא קמורה", כלומר כלים אופטימיזציה קונבנציונליים נוטים להיות איטיים, שבירים או תקועים בפתרונות לא‑אופטימליים, במיוחד ככל שהרשתות גדלות. מעל לכך, מדידה מדויקת של מצב כל קישור רדיו (מידע מצב הערוץ) יקרה ופגיעה ליישום במציאות.

לאפשר לסוכן בינה מלאכותית ללמוד כיצד לכוון קרניים

כדי להתגבר על המכשולים האלה, הכותבים בונים סוכן למידה באמצעות למידה חיזוק עמוקה, ענף של בינה מלאכותית שבו סוכן מפתח אסטרטגיות טובות דרך ניסוי וטעייה בסביבה. שיבוצם, שנקרא Modified Prioritized Deep Deterministic Policy Gradient (MP‑DDPG), מצפה את מצב הרשת הנוכחי — כיווני קרינה קודמים, הגדרות RIS, הספקים שנתקבלו ואיכות האות — ואז בוחר ערכי קרינה ופאזה חדשים ל‑RIS. לאחר כל בחירה הוא מקבל תגמול שמעודד שלושה דברים בו‑זמנית: הפחתת הספק השידור, עמידה ביעדי איכות השירות של המשתמשים וכיבוד מגבלת ההספק של תחנת הבסיס. לאורך אינטראקציות סימולציה רבות, הסוכן לומד בהדרגה מדיניות בקרה שמאזנת בין היעדים האלה מבלי שיינתן לו באופן מפורש נוסחא לערוץ הרדיו.

לימוד מהיר יותר על ידי התמקדות במה שחשוב

החדשנות המרכזית נעוצה באופן שבו האלגוריתם לומד מהניסיון העבר. גישות סטנדרטיות מאחסנות מצבים רבים מהעבר ודוגמות אותם באקראי במהלך האימון, מה שיכול להיות מבוזבז ואיטי. MP‑DDPG במקום זאת מקצה לכל חוויה מאוחסנת עדיפות התלויה הן בתגמולה והן עד כמה מצבה שונה מהשכנים הקרובים ביותר שלה. חוויות שמעידות ומתכלות שונות נדגמות בתדירות גבוהה יותר, בעוד שחוויות מיותרות מתעלמים מהן. ה"ניגוד מועדף משופר" הזה עושה כל צעד למידה שימושי יותר, מאיץ התכנסות ועוזר לסוכן להימנע מפתרונות מקומיים גרועים. הכותבים גם מנתחים את חישוב העודף שזה מוסיף ומראים שלמרות שהניהול מורכב יותר מהשיטה הבסיסית, הלמידה המהירה יותר מפצה על כך במציאות.

אותות ירוקים יותר עם פחות חומרה

באמצעות סימולציות מחשב מפורטות של תרחיש ירידה (downlink) תאי, המחקר משווה את MP‑DDPG לשתיים חלופיות: שיטת אופטימיזציית עדר חלקיקים מסורתית ול‑DDPG המקורי. השיטה החדשה משיגה בעקביות הספק שידור נמוך יותר במספר מופעים אימון קטן יותר, והיא עושה זאת באמצעות פחות אלמנטים ב‑RIS ופחות אנטנות בתחנת הבסיס עבור רמת ביצועים זהה. במילים פשוטות, הרשת לומדת להפיק יותר תועלת מכל אריח החזרה וכל אנטנה. לקורא שאינו מומחה, המסר הוא שכאשר בקר מבוסס בינה מלאכותית מכוונן בצורה חכמה הן את קרני תחנת הבסיס והן את המשטחים החכמים על קירות סמוכים, רשתות ה‑6G העתידיות יכולות לספק אותות חזקים ומהימנים תוך שימוש בפחות אנרגיה ופחות חומרה — מה שעוזר להפוך את עולמנו המחובר ליותר בר-קיימא.

ציטוט: Shukry, S., Fahmy, Y. Modified prioritized DDPG algorithm for joint beamforming and RIS phase optimization in MISO downlink systems. Sci Rep 16, 5942 (2026). https://doi.org/10.1038/s41598-026-36179-w

מילות מפתח: משטח אינטליגנטי ניתן לכוונון, תקשורת 6G, למידה חיזוק עמוקה, אופטימיזציית קרינה (beamforming), רשתות יעילות אנרגטית