Чувствительность к размеру мини-батча в глубоких резидуальных сетях для краткосрочного прогнозирования нагрузки: эмпирическое исследование

Почему это исследование важно для обычных потребителей электроэнергии

Сохранение электроснабжения по приемлемой цене зависит от того, насколько точно энергокомпании умеют предсказывать спрос на электроэнергию на следующий день. В этом исследовании рассматривается удивительно простое решение в процессе обучения современных моделей искусственного интеллекта, прогнозирующих спрос: сколько примеров показывать модели за один раз. Тщательно протестировав этот «размер мини-батча», авторы показывают, что корректный выбор этого параметра может сделать прогнозы более точными и надёжными в очень разных климатических условиях.

Как сегодня прогнозируют потребление энергии

Потребление электроэнергии меняется в течение суток, по сезонам и от погодных условий, и даже небольшие улучшения точности прогноза могут приносить крупным компаниям миллионы долларов ежегодно. Старые методы прогнозирования опирались на статистические формулы, которым было трудно справляться с современными сложными паттернами потребления. Новые модели глубокого обучения лучше работают с шумными, нелинейными зависимостями, но их бывает сложно обучать. В частности, глубокие резидуальные сети, которые передают информацию вперёд через короткие обходные пути, стали популярны для краткосрочного прогнозирования, поскольку они могут выявлять глубокие закономерности, не становясь нестабильными.

Две сети, два климата, один вопрос

Чтобы понять, как выбор параметров обучения влияет на эти модели, авторы изучили две реальные энергосистемы. Одна находится в Новой Англии в США, с выраженными сезонными колебаниями из‑за отопления зимой и охлаждения летом. Другая — в тропической Малайзии, где сезоны менее выражены, а кратковременные погодные явления и дожди важнее. Для Новой Англии использовали резидуальную сеть, принимающую историю потребления и температуру. Для Малайзии протестировали как эту модель, так и вариант, который сжимает множество погодных измерений в несколько ключевых комбинированных признаков с помощью математической техники, уменьшая избыточность и сохраняя большую часть полезной климатической информации.

Что на самом деле контролирует размер мини-батча

Обучение модели глубокого обучения означает настройку миллионов внутренних параметров для уменьшения разрыва между прогнозом и реальным спросом. Размер мини-батча — это число временных точек, которые модель видит перед каждой корректировкой. Малые батчи делают обновления шумными и более случайными, что помогает исследовать пространство решений, но может сделать процесс обучения резким. Очень большие батчи дают более гладкие обновления, но могут привести модель к решению, которое слишком точно подстраивается под тренировочные данные и плохо обобщается. Ключевой вопрос — существует ли оптимальная точка для этих резидуальных сетей, используемых в прогнозировании нагрузки, и совпадает ли она в разных климатах и при разнообразных погодных входах.

Что показали эксперименты

В жёстко контролируемой установке, где менялся только размер мини-батча, авторы протестировали значения от очень малых до очень больших. В обеих системах — Новой Англии и Малайзии — они обнаружили, что батчи среднего размера дают лучшие прогнозы. На практике размер батча 64 стабильно давал наименьшие ошибки, причём 32 был близок по результату. Меньшие батчи делали обучение менее стабильным и менее точным, в то время как большие батчи постепенно ухудшали производительность. При сравнении резидуальных сетей с другими популярными архитектурами глубокого обучения — сверточными, рекуррентными, механизмом внимания или их гибридами — резидуальные модели показали лучшие результаты. В тропическом случае лучшей оказалась версия, которая сводила множество погодных измерений к компактному сводному представлению.

Как авторы проверяли свои результаты

Чтобы убедиться, что обнаруженные закономерности не являются случайностью, в исследовании использовали технику ресэмплинга, называемую бутстрепом. Этот метод многократно пересчитывает различия в производительности на перемешанных версиях ошибок, чтобы оценить, насколько вероятно, что наблюдаемые улучшения возникли случайно. Анализ показал, что выигрыши при использовании батча размера 64 вместо 32 статистически значимы, и что модель с сжатыми погодными признаками последовательно и надёжно превосходит базовую резидуальную сеть при одинаковых условиях обучения.

Что это значит для планирования электроэнергии

Для неспециалистов основной вывод в том, что, казалось бы, незначительные решения в процессе обучения моделей ИИ могут заметно изменить точность прогнозов спроса на электроэнергию. Эта работа показывает, что для глубоких резидуальных сетей, применяемых в краткосрочном прогнозировании нагрузки, средние размеры батчей обеспечивают хороший баланс между стабильностью обучения и гибкостью, а использование грамотно сжатой погодной информации может дополнительно повысить точность прогнозов. В совокупности эти выводы дают практические рекомендации для коммунальных служб и инженеров, стремящихся строить более умные и эффективные сети, не разрабатывая модели заново.

Цитирование: Liu, J., Ahmad, F.A., Samsudin, K. et al. Mini-batch size sensitivity in deep residual networks for short-term load forecasting: an empirical study. Sci Rep 16, 14996 (2026). https://doi.org/10.1038/s41598-026-45002-5

Ключевые слова: краткосрочное прогнозирование нагрузки, глубокие резидуальные сети, размер мини-батча, потребление электроэнергии, погодные данные