Porównawcza ocena algorytmów optymalizacji bazujących na gradiencie dla krótkoterminowego prognozowania obciążenia przy użyciu głębokich sieci rezydualnych

Dlaczego jutrzejsze zużycie energii ma znaczenie już dziś

Za każdym razem, gdy zapalamy światło lub podłączamy urządzenie, firmy energetyczne muszą już mieć przygotowaną energię, by zaspokoić to zapotrzebowanie. Przewidywanie popytu na kilka godzin lub dzień do przodu pomaga operatorom sieci utrzymać zasilanie, unikać przerw i oszczędzać koszty. Artykuł ten bada, jak nowoczesne narzędzia sztucznej inteligencji mogą zwiększyć dokładność i stabilność krótkoterminowych prognoz popytu, oraz pokazuje, że często pomijany wybór metody trenowania może mieć równie duże znaczenie co sam model.

Dostosowywanie się do zmieniającej się sieci

Zapotrzebowanie na energię rośnie i maleje w zależności od pory dnia, pory roku, świąt i pogody. Tradycyjne metody statystyczne mają trudności z tymi złożonymi wzorcami, szczególnie gdy zaangażowanych jest wiele sygnałów. Modele uczenia głębokiego, które układają wiele warstw prostych obliczeń, stały się popularne, ponieważ potrafią wychwycić subtelne, nieliniowe zależności. Wśród nich konstrukcja zwana głęboką siecią rezydualną dodaje „skróty” między warstwami, co ułatwia trenowanie bardzo głębokich modeli i poprawia zdolność do uchwycenia długoterminowych zależności w danych, takich jak obciążenia energetyczne.

Dwa rodzaje modelu uwzględniającego pogodę

Autorzy skupiają się na dwóch blisko spokrewnionych modelach głębokich sieci rezydualnych do krótkoterminowego prognozowania obciążenia. Pierwszy używa przeszłego zużycia energii, informacji o czasie (takich jak godzina i dzień tygodnia) oraz temperatury do przewidzenia kolejnych 24 godzin zapotrzebowania. Drugi model dodaje znacznie więcej zmiennych pogodowych z miasta tropikalnego, w tym opady i wiatr, ale kompresuje je do niewielkiego zestawu połączonych sygnałów przy użyciu standardowego narzędzia statystycznego, które zachowuje większość zmienności przy jednoczesnym zmniejszeniu redundancji. Pozwala to bogatszemu obrazowi pogodowemu informować sieć bez uczynienia jej nieporęczną lub trudniejszą w trenowaniu.

Jak wybory trenowania kształtują uczenie

Większość badań używających tych głębokich sieci rezydualnych do prognozowania energii domyślnie wybiera popularną metodę trenowania zwaną Adam i na tym poprzestaje. Metoda trenowania tutaj oznacza matematyczny przepis, który stopniowo koryguje wewnętrzne ustawienia modelu w trakcie uczenia na danych historycznych. Niniejszy artykuł podważa ten nawyk, systematycznie porównując trzynaście różnych algorytmów trenowania opartych na gradiencie, w tym klasyczne podejścia i kilka nowoczesnych, adaptacyjnych wariantów, wszystkie w tym samym schemacie modelu. Autorzy testują je na dwóch rzeczywistych zestawach danych: jednym z umiarkowanego systemu energetycznego Nowej Anglii w USA oraz drugim z tropikalnej Malezji.

Co dawało najlepsze wyniki w różnych klimatach

W obu regionach metody, które adaptują wielkość kroku uczenia na podstawie ostatnich wzorców błędów, generalnie przewyższały starsze, prostsze podejścia. Dla oryginalnego modelu, który głównie polegał na temperaturze jako sygnale pogodowym, wariant zwany AMSGrad dał najniższe średnie błędy prognozowania i najbardziej stabilne zachowanie trenowania w obu klimatach. Gdy autorzy przeszli do skompresowanej, wielopogodowej wersji modelu, równowaga się przesunęła. Przy tak zapakowanym wejściu inna metoda adaptacyjna, AdaBelief, wysunęła się na prowadzenie, a Adam również wykazał solidne rezultaty. Innymi słowy, zmiana sposobu, w jaki informacje pogodowe są przedstawiane modelowi, subtelnie przekształciła krajobraz uczenia i sprzyjała innym regułom trenowania.

Sprawdzanie, czy zyski są rzeczywiste, a nie przypadkowe

Aby upewnić się, że zaobserwowane poprawy nie były jedynie szumem statystycznym, autorzy zastosowali technikę próbkowania wielokrotnego, która wielokrotnie odtwarza zadanie prognozowania na nieznacznie zmienionych próbkach danych. Pozwoliło to oszacować, jak prawdopodobne jest, że jedna metoda trenowania rzeczywiście przewyższa inną. Testy wykazały, że kilka zaobserwowanych korzyści, takich jak wyższość AMSGrad nad Adamem na danych z Nowej Anglii oraz zalety podejścia ze skompresowaną pogodą przy niektórych optymalizatorach w Malezji, są mało prawdopodobne do przypisania wyłącznie przypadkowi.

Co to oznacza dla przyszłej sieci energetycznej

Dla osób niebędących specjalistami główny przekaz jest taki, że poprawa prognoz popytu na energię to nie tylko wynajdywanie nowych sieci neuronowych czy pakowanie do nich większej ilości danych pogodowych. Sposób trenowania tych sieci oraz sposób destylacji wejść pogodowych mogą znacząco zmienić dokładność i stabilność. Pokazując, że niektóre adaptacyjne reguły trenowania konsekwentnie poprawiają wydajność, oraz że najlepszy wybór może zależeć od sposobu reprezentacji danych wejściowych, badanie to daje planistom sieci i praktykom AI jaśniejszy przepis na budowanie bardziej niezawodnych narzędzi prognostycznych, które pomagają utrzymać systemy energetyczne bezpieczne i ekonomiczne.

Cytowanie: Liu, J., Ahmad, F.A., Samsudin, K. et al. A comparative evaluation of gradient-based optimization algorithms for short-term load forecasting using deep residual networks. Sci Rep 16, 14949 (2026). https://doi.org/10.1038/s41598-026-45829-y

Słowa kluczowe: krótkoterminowe prognozowanie obciążenia, głębokie sieci rezydualne, algorytmy optymalizacji, prognozowanie w systemach energetycznych, cechy meteorologiczne