הערכה השוואתית של אלגוריתמי אופטימיזציה מבוססי גרדיאנט לחיזוי עומס לטווח הקצר באמצעות רשתות שאריות עמוקות

מדוע צריכת החשמל של מחר חשובה כבר היום

בכל פעם שאנו מדליקים אור או מחברים מכשיר, חברות החשמל חייבות כבר לדאוג לאספקת חשמל כדי לענות על הביקוש. ניחוש הביקוש מחר כמה שעות או יום מראש עוזר למפעילי הרשת לשמור על אספקת חשמל, למנוע הפסקות חשמל ולחסוך בעלויות. מאמר זה בוחן כיצד כלי בינה מלאכותית מודרניים יכולים להפוך את תחזיות הביקוש הקצרות טווח ליותר מדויקות ויציבות, ומראה שלבחירת שיטת האימון — שלפעמים מתעלמים ממנה — יש חשיבות שווה לזו של המודל עצמו.

להתאים לרשת שמשתנה

ביקוש לחשמל עולה ויורד בהתאם לשעה ביום, עונה, חגים ומזג האוויר. שיטות סטטיסטיות מסורתיות מתקשות להתמודד עם דפוסים מורכבים אלה, במיוחד כאשר מעורבים אותות מרובים. מודלים של למידה עמוקה, המערמים שכבות רבות של חישובים פשוטים, הפכו לפופולריים מכיוון שהם יכולים ללמוד יחסים לא־ליניאריים עדינים. בין השאר, ארכיטקטורה שנקראת רשת שאריות עמוקה מוסיפה חיבורים קצרים בין שכבות, מה שמקל על אימון של מודלים מאוד עמוקים ומשפר את יכולתם ללכוד תלותות ארוכות טווח בנתונים כמו עומסי חשמל.

שני סוגי "מוח" שמודעים למזג האוויר

המחברים מתמקדים בשני דגמי רשת שאריות קרובים לחיזוי עומס לטווח הקצר. הראשון משתמש בצריכת חשמל קודמת, מידע זמן (כמו שעה ויום בשבוע) ובטמפרטורה כדי לחזות את 24 השעות הבאות של הביקוש. הדגם השני מוסיף עוד משתני מזג אוויר רבים מעיר טרופית — כולל גשם ורוח — אבל מתקצר אותם לקבוצת אותות משולבים קטנה באמצעות כלי סטטיסטי סטנדרטי השומר על רוב הווריאציה ומצמצם חפיפה. זה מאפשר לתמונה המטאורולוגית העשירה ביותר להעשיר את הרשת בלי להפוך אותה לגסה או קשה מדי לאימון.

כיצד בחירות אימון מעצבות את הלמידה

רוב המחקרים שמשתמשים ברשתות השאריות הללו לחיזוי חשמל בוחרים בשקט בשיטת אימון פופולרית בשם Adam ונשארים איתה. כאן "שיטת אימון" מתייחסת למתכון המתמטי שמזיז את הפרמטרים הפנימיים של המודל צעד אחר צעד בזמן שהוא לומד מהנתונים ההיסטוריים. המאמר מאתגר את ההרגל הזה על ידי השוואה שיטתית של שלוש־עשרה אלגוריתמי אימון מבוססי גרדיאנט שונים, כולל גישות קלאסיות וכמה וריאנטים אדפטיביים מודרניים, כולם תחת אותה ארכיטקטורת מודל. המחברים בודקים אותם על שני מערכי נתונים מהעולם האמיתי: אחד ממערכת החשמל הממוזגת של ניו אינגלנד בארצות הברית ואחד ממלזיה הטרופית.

מה עבד הכי טוב באקלים שונה

בשני האזורים, שיטות שמתאימות את קצב הלמידה שלהן לפי דפוסי שגיאה אחרונים בדרך כלל גברו על גישות ישנות ופשוטות יותר. עבור המודל המקורי שהתבסס בעיקר על טמפרטורה כאות מזג האוויר, וריאנט בשם AMSGrad נתן את שגיאות החיזוי הממוצעות הנמוכות ביותר ואת התנהגות האימון היציבה ביותר בשני האקלים. כשהמחברים עברו לגרסה הדחוסה של המזג אוויר, האיזון השתנה. בתצורת קלט זו, שיטה אדפטיבית אחרת, AdaBelief, עלתה קדימה ו־Adam גם הופיעה חזקה. במילים אחרות, שינוי באופן שבו מידע מזג האוויר ארוז עבור המודל עיצב בעדינות את נוף הלמידה והעדיף כללי אימון שונים.

בדיקה שהשיפורים אמיתיים ולא מזל

כדי לוודא שהשיפורים שנצפו אינם רק רעש סטטיסטי, המחברים השתמשו בטכניקת ריסמפלינג שמנגנת מחדש את משימת החיזוי שוב ושוב על דגימות נתונים שעברו שינויים קלים. זה איפשר להם לאמוד עד כמה סביר שאחת שיטות האימון באמת מצטיינת על פני אחרת. הבדיקות הראו שמספר מהשיפורים שצוינו, כמו AMSGrad שמתגבר על Adam בנתוני ניו אינגלנד והיתרונות של גישת המזג־האויר הדחוס תחת אופיטימייזרים מסוימים במלזיה, אינם סבירים שייגרמו במקרה בלבד.

מחשבות לעתיד רשת החשמל

לא־מומחים יכולים להבין מהמסר הראשי שדיוק טוב יותר של תחזיות ביקוש חשמל אינו תלוי רק בהמצאת רשתות עצביות חדשות או בהזנתן ביותר פרמטרים מטאורולוגיים. אופן האימון של אותן רשתות ואופן העיבוי של קלטי מזג האוויר יכולים לשנות משמעותית את הדיוק והיציבות. על ידי הדגמה ששיטות אימון אדפטיביות מסוימות משפרות ביצועים בקביעות, ושבחירה מיטבית יכולה תלות באופן הצגת הנתונים, המחקר מספק לתכנני רשתות ולמפתחי בינה מלאכותית מתכון ברור יותר לבניית כלי תחזית אמינים יותר שיתרמו לשמירה על מערכות חשמל בטוחות וכלכליות.

ציטוט: Liu, J., Ahmad, F.A., Samsudin, K. et al. A comparative evaluation of gradient-based optimization algorithms for short-term load forecasting using deep residual networks. Sci Rep 16, 14949 (2026). https://doi.org/10.1038/s41598-026-45829-y

מילות מפתח: חיזוי עומס לטווח הקצר, רשתות שאריות עמוקות, אלגוריתמי אופטימיזציה, חיזוי מערכות חשמל, תכונות מטאורולוגיות