Новый подход на основе обучения с подкреплением для краткосрочного прогнозирования нагрузки и цен на энергорынке

Почему важно прогнозировать электроэнергию на завтра

Каждый раз, когда вы включаете свет, за кулисами работает обширная сеть электростанций, рынков и компьютеров, чтобы обеспечить доступность и приемлемость цены на электроэнергию. Если операторы сети могут точно предсказать, сколько энергии люди будут потреблять и как будут меняться цены в ближайшие часы, они могут избежать отключений, сократить потери и сэкономить деньги для всех. В этой статье рассматривается новый способ составления таких краткосрочных прогнозов с помощью методов, изначально разработанных для обучения игре и управления роботами.

Более умные предположения в меняющемся энергетическом мире

Спрос на электроэнергию и цены могут сильно колебаться из часа в час. Жары, морозы, праздники и стоимость топлива толкают систему в разные стороны. Традиционные инструменты прогнозирования, такие как простые трендовые модели или даже стандартные методы машинного обучения, часто рассматривают задачу как простое подгонку под прошлые данные. Они испытывают трудности, когда условия быстро меняются или когда многие факторы взаимодействуют сложным образом. Авторы утверждают, что современные энергосети, особенно с растущей долей возобновляемых источников, нуждаются в инструментах прогнозирования, которые могут адаптироваться на ходу и учиться напрямую на своих успехах и ошибках.

Агент, обучающийся на энергетическом рынке

Исследователи переосмыслили задачу прогнозирования как задачу принятия решений. В каждый час компьютерный «агент» наблюдает текущую ситуацию: недавний спрос на электроэнергию, прошлые цены, температуру, влажность, день недели, праздники и стоимость топлива. Затем он выбирает действие: свою лучшую оценку спроса и цены на следующий час. Когда становятся известны реальные значения, агент получает оценку в зависимости от того, насколько он ошибся — большие ошибки наказываются, небольшие вознаграждаются. Со временем система ищет стратегию, максимизирующую долгосрочный результат, а не только точность одного шага. Чтобы справиться с множеством входных данных, авторы используют схему глубокого обучения с подкреплением на основе Deep Q‑Network — типа нейронной сети, оценивающей пригодность каждого возможного действия в каждой ситуации.

От сырых данных к надежным прогнозам

Для проверки подхода команда обратилась к реальным данным PJM Interconnection — крупного американского рынка электроэнергии, охватывающего части Среднего Запада и Восточного побережья. Они использовали примерно три года почасовых записей (2021–2023), включая рыночные цены, потребление электроэнергии, метеорологические наблюдения и индексы цен на топливо. Перед обучением данные очистили: заполнили редкие пропуски, удалили аномальные выбросы и масштабировали всё в сопоставимые диапазоны. Также применили статистические методы для сжатия большого набора входных признаков при сохранении большей части полезной изменчивости. Агент обучения затем тренировали в повторных проходах по этой истории, постепенно переходя от случайных проб и ошибок к использованию обнаруженных закономерностей.

Насколько хорошо показал себя агент

В соревновании с широко используемыми методами прогнозирования — включая ARIMA (традиционная модель временных рядов), сети LSTM и популярный алгоритм XGBoost — система на основе обучения с подкреплением показала лучшие результаты. На отложенных тестовых данных, которых модель ранее не видела, она сократила средние процентные ошибки по спросу и цене примерно на 15–20 процентов по сравнению с этими базовыми методами. Прогнозы хорошо отслеживали как зимние, так и летние суточные циклы и отражали общие ценовые колебания, хотя модель по‑прежнему испытывала трудности с самыми резкими, редкими всплесками цен и необычным поведением в праздничные дни. Анализ выученной стратегии показал, что агент неявно обнаружил экономически осмысленную закономерность: после наблюдения очень высоких цен он склонялся к ожиданию немного меньшего спроса в следующем часе, имитируя реальную реакцию спроса, хотя об этом ему прямо не говорили.

Что это значит для повседневного использования энергии

Для неспециалистов главное — этот подход на базе обучения может помочь операторам сети управлять энергосистемами более плавно и экономично. Более точные краткосрочные прогнозы позволяют генерирующим компаниям и операторам рынков более эффективно планировать работу электростанций, интегрировать возобновляемые источники с меньшим количеством непредвиденных ситуаций и снижать риск внезапных ценовых скачков или дефицита. Хотя метод требует больших объёмов данных и вычислительных ресурсов и ещё нуждается в доработке для экстремальных событий, он указывает на будущее, в котором рынками электроэнергии управляют адаптивные, самосовершенствующиеся инструменты, постоянно обучающиеся на постоянно меняющемся поведении потребителей, погоде и стоимости топлива.

Цитирование: Wu, Y., Ma, Y. & Aliev, H. A novel reinforcement learning-based approach for short-term load and price forecasting in energy markets. Sci Rep 16, 5141 (2026). https://doi.org/10.1038/s41598-026-37366-5

Ключевые слова: прогнозирование для интеллектуальной сети, прогноз цен на электроэнергию, обучение с подкреплением, прогноз спроса на энергию, глубокая Q‑сеть