Adaptacyjne wielokryterialne sterowanie energetyką mikrosieci z wykorzystaniem głębokiego uczenia ze wzmocnieniem z uwzględnieniem degradacji baterii i niepewności źródeł odnawialnych

Inteligentniejsza lokalna energia na co dzień

W miarę jak coraz więcej domów, kampusów i firm montuje panele słoneczne i baterie, decydowanie, kiedy kupować, magazynować lub zużywać energię elektryczną, staje się działaniem o wysokiej stawce. Jeśli zostanie wykonane dobrze, obniża rachunki i emisje; jeśli źle, marnuje czystą energię i przyspiesza zużycie drogich baterii. W tym badaniu zbadano, jak pewna forma sztucznej inteligencji — głębokie uczenie ze wzmocnieniem — może działać jako „operator cyfrowy” mikrosieci zasilanej słońcem i baterią, ucząc się dzień po dniu, jak minimalizować koszty, wykorzystywać więcej energii odnawialnej i chronić baterię przed przedwczesnym starzeniem — nawet gdy prognoza pogody się myli.

Dlaczego małe sieci energetyczne mają znaczenie

Mikrosieci to zwarte systemy zasilania łączące panele słoneczne, magazyny energii, sterowalne odbiory i połączenie z większą siecią. Mogą zasilać kampus lub sąsiedztwo i utrzymywać krytyczne obciążenia, gdy główna sieć jest przeciążona. Jednak ich obsługa jest trudna: nasłonecznienie i zapotrzebowanie zmieniają się co minutę, ceny energii zmieniają się w ciągu dnia, a każdy cykl ładowania–rozładowania powoli pogarsza stan baterii. Tradycyjne schematy sterowania opierają się na optymalizacji matematycznej i dokładnych prognozach, które często zawodzą, gdy warunki odbiegają od oczekiwań lub gdy system staje się zbyt złożony.

Sterownik uczący się na doświadczeniu

Naukowcy zbudowali szczegółowy cyfrowy bliźniak mikrosieci o skali kampusowej w zachodniej Arabii Saudyjskiej, obejmujący 300 kW paneli słonecznych, dużą baterię litowo-jonową, odbiory elastyczne i nieelastyczne oraz dwukierunkowe połączenie z główną siecią. Następnie przeszkolili agenta głębokiego uczenia ze wzmocnieniem — konkretnie zaawansowaną sieć Deep Q‑Network — do obsługi tego wirtualnego systemu w krokach co 15 minut przez wiele symulowanych lat. Agent obserwował poziom naładowania baterii, krótkoterminowe prognozy produkcji słonecznej i zapotrzebowania, ceny energii oraz temperaturę, i wybierał działania, takie jak intensywność ładowania lub rozładowania baterii oraz uruchamianie przesuwalnych obciążeń. Po każdym kroku otrzymywał nagrodę łączącą trzy cele: płacić mniej za energię, spowolnić zużycie baterii i opierać się mniej na zasilaniu z paliw kopalnych.

Równoważenie kosztów, zdrowia baterii i czystej energii

Aby odzwierciedlić kompromisy rzeczywistego świata, zespół włączył model starzenia baterii oparty na fizyce bezpośrednio do sygnału uczącego. Funkcja nagrody karała zarówno krótkoterminowe koszty, jak i długoterminową utratę pojemności, a także surowo przeciwdziałała naruszeniom ograniczeń bezpieczeństwa, takim jak przeładowanie czy nadmierne rozładowanie baterii. Po około 10 000 symulowanych dni treningu agent odkrył strategie, które ludzie często zalecają — choć nigdy mu ich wprost nie wytłumaczono. Nauczył się preferować wiele cykli o umiarkowanej głębokości zamiast kilku głębokich, utrzymywać baterię w średnim stanie naładowania, gdzie starzenie postępuje wolniej, oraz zostawiać zapas w baterii przed słonecznymi godzinami, aby nadchodząca energia słoneczna mogła zostać zmagazynowana zamiast zmarnowana.

Pokonując konwencjonalny inteligentny sterownik

Nowy sterownik oparty na uczeniu został przetestowany w bezpośrednim porównaniu z silnym odniesieniem znanym jako sterowanie predykcyjne modelowe (model predictive control), powszechnie stosowanym w przemyśle i zakładającym dostęp do dobrych prognoz. Na podstawie pełnego roku danych pogodowych i zapotrzebowania wyuczona polityka zredukowała całkowite koszty operacyjne o około 12 procent, zmniejszyła utratę pojemności baterii o nieco ponad 8 procent i zwiększyła wykorzystanie lokalnie wytworzonej energii słonecznej o około 10 procent. Ograniczyła też szczytowe pobory mocy z sieci i powiązane emisje dwutlenku węgla o niemal 14 procent. Co może być szczególnie godne uwagi, po przeszkoleniu sterownik AI podejmował decyzje w ciągu kilku tysięcznych sekundy — znacznie szybciej niż trwająca kilka sekund optymalizacja wymagana przez metodę konwencjonalną — co czyni go odpowiednim dla taniego sprzętu lokalnego.

Odporność, gdy prognoza pogody się myli

Prawdziwe mikrosieci muszą radzić sobie z nieoczekiwanym zachmurzeniem i niedoskonałymi prognozami. Naukowcy wystawili oba sterowniki na działanie coraz mniej dokładnych prognoz słonecznych. Gdy błędy prognoz stały się poważne, koszty tradycyjnego sterownika wzrosły o ponad jedną piątą, podczas gdy koszty sterownika uczącego się wzrosły o mniej niż jedną dziesiątą. Agent AI lepiej radził sobie także z gwałtownymi wahaniami nasłonecznienia, wykorzystując baterię do wygładzania przepływów mocy bez uciekania się do szkodliwych głębokich rozładowań. Planował elastyczne obciążenia tak, by pokrywały się z produkcją słoneczną i godzinami niskich cen, co dodatkowo zmniejszało obciążenie sieci.

Co to oznacza dla przyszłych systemów energetycznych

Mówiąc prościej, badanie pokazuje, że wytrenowana sztuczna inteligencja może obsługiwać system solarny z baterią jak bystry operator, który dba o dzisiejszy rachunek, jutrzejsze zdrowie baterii i wpływ klimatyczny każdego kilowatogodziny. Ucząc się bezpośrednio z danych, zamiast polegać na doskonałych prognozach i uproszczonych wzorach, sterownik dostarcza tańszą, czyściejszą energię przy jednoczesnym wydłużeniu żywotności drogich baterii. Chociaż praca została wykonana w symulacji dla mikrosieci kampusowej w Arabii Saudyjskiej, to samo podejście można dostosować do innych lokalizacji i rozszerzyć na sieci mikrosieci, oferując obiecującą drogę ku bardziej odpornym, efektywnym i zrównoważonym lokalnym systemom energetycznym.

Cytowanie: Altimania, M.R.M., Basem, A., Saydullaev, B. et al. Adaptive multi-objective optimization of microgrid energy management using deep reinforcement learning considering battery degradation and renewable uncertainty. Sci Rep 16, 14296 (2026). https://doi.org/10.1038/s41598-026-44179-z

Słowa kluczowe: mikrosieci, głębokie uczenie ze wzmocnieniem, zdrowie baterii, energia odnawialna, zarządzanie energią