Empfindlichkeit der Mini-Batch-Größe in tiefen ResNet für kurzfristige Lastprognosen: eine empirische Studie

Warum diese Forschung für Stromverbraucher wichtig ist

Die Versorgungssicherheit zu einem angemessenen Preis hängt davon ab, wie gut Energieversorger die Stromnachfrage für den nächsten Tag einschätzen können. Diese Studie untersucht eine überraschend einfache Trainingsentscheidung in modernen KI-Modellen zur Lastprognose: wie viele Beispiele dem Modell auf einmal gezeigt werden. Durch sorgfältiges Testen dieser „Mini-Batch-Größe“ zeigen die Autorinnen und Autoren, dass die richtige Wahl dieser Einstellung Prognosen genauer und in sehr unterschiedlichen Klimazonen verlässlicher machen kann.

Wie die Stromnachfrage heute vorhergesagt wird

Die Stromnachfrage variiert mit Tageszeit, Jahreszeit und Wetter, und schon kleine Verbesserungen der Prognosegenauigkeit können großen Versorgungsunternehmen jährlich Millionen einsparen. Ältere Prognoseverfahren basierten auf statistischen Formeln, die mit den heutigen komplexen Verbrauchsmustern Schwierigkeiten hatten. Neuere Deep-Learning-Modelle bewältigen unregelmäßiges, nichtlineares Verhalten besser, sind aber schwieriger zu trainieren. Besonders tiefe Residualnetzwerke, die Informationen über Abkürzungswege weiterreichen, sind für kurzfristige Prognosen populär geworden, weil sie tiefe Muster lernen können, ohne instabil zu werden.

Zwei Netze, zwei Klimazonen, eine Frage

Um zu prüfen, wie Trainingsentscheidungen diese Modelle beeinflussen, untersuchen die Autorinnen und Autoren zwei reale Stromsysteme. Eines befindet sich in New England in den USA mit starken saisonalen Schwankungen durch Heizbedarf im Winter und Kühlung im Sommer. Das andere liegt in tropischem Malaysia, wo die Jahreszeiten weniger ausgeprägt sind und kurzfristige Wetterereignisse sowie Regen wichtiger sind. Für New England verwenden sie ein Residualnetz, das vergangene Nachfrage und Temperatur nutzt. Für Malaysia testen sie sowohl dieses Modell als auch eine Variante, die viele Wettermesswerte mithilfe einer mathematischen Technik zu wenigen kombinierten Merkmalen komprimiert, sodass Redundanzen reduziert und die wichtigsten Klimainformationen erhalten bleiben.

Was die Mini-Batch-Größe tatsächlich steuert

Das Training eines Deep-Learning-Modells bedeutet, Millionen interner Parameter so anzupassen, dass die Lücke zwischen vorhergesagter und tatsächlicher Nachfrage minimiert wird. Die Mini-Batch-Größe ist die Anzahl von Zeitpunkten, die das Modell vor jeder Anpassung sieht. Kleine Batches führen zu lauten, zufälligen Updates, was dem Modell helfen kann, zu explorieren, das Training aber auch sprunghaft macht. Sehr große Batches liefern glattere Updates, können das Modell jedoch zu Lösungen treiben, die sich zu stark an die Trainingsdaten anpassen und schlecht generalisieren. Die zentrale Frage ist, ob es für diese Residualnetzwerke in der Lastprognose einen Sweet Spot gibt und ob dieser in verschiedenen Klimazonen und bei unterschiedlich reichhaltigen Wetterdaten gleich ist.

Was die Experimente zeigten

Unter streng kontrollierten Bedingungen, bei denen nur die Mini-Batch-Größe variiert wurde, testeten die Autorinnen und Autoren Werte von sehr klein bis sehr groß. Sowohl im New-England- als auch im malaysischen System zeigte sich, dass mittelgroße Batches die besten Prognosen lieferten. Praktisch erwies sich eine Batch-Größe von 64 durchgehend als fehlerärmstes Setting, dicht gefolgt von 32. Kleinere Batches machten das Training weniger stabil und weniger genau, während größere Batches die Leistung stetig verschlechterten. Im Vergleich zu anderen verbreiteten Deep-Learning-Architekturen auf Basis von Convolutions, rekurrenten Einheiten, Attention-Mechanismen oder Hybridformen schnitten die Residualmodelle besser ab. Die Variante, die mehrere Wettermessungen zu einer kompakten Zusammenfassung kombinierte, erzielte im tropischen Fall die besten Ergebnisse.

Wie die Autorinnen und Autoren ihre Ergebnisse überprüften

Damit diese Muster nicht auf Zufall zurückzuführen sind, nutzte die Studie eine Resampling-Technik namens Bootstrapping. Diese Methode berechnet die Leistungsunterschiede wiederholt anhand zufällig geschüttelter Fehlerwerte neu, um abzuschätzen, wie wahrscheinlich die beobachteten Verbesserungen rein zufällig auftreten. Die Analyse zeigte, dass die Gewinne durch die Verwendung einer Batch-Größe von 64 statt 32 statistisch signifikant sind und dass das wetterkomprimierte Modell unter den gleichen Trainingsbedingungen konsistent und zuverlässig besser abschnitt als das einfache Residualnetz.

Was das für die Energieplanung bedeutet

Für Nicht-Fachleute ist die Kernbotschaft: scheinbar kleine Trainingsentscheidungen in KI-Modellen können einen spürbaren Einfluss darauf haben, wie gut wir die Stromnachfrage für den nächsten Tag vorhersagen können. Diese Arbeit zeigt, dass bei tiefen Residualnetzwerken für kurzfristige Lastprognosen mittlere Batch-Größen ein gutes Gleichgewicht zwischen Trainingsstabilität und Flexibilität bieten und dass gut komprimierte Wetterinformationen die Prognosen weiter schärfen können. Zusammen liefern diese Erkenntnisse praktische Hinweise für Versorger und Ingenieurinnen und Ingenieure, die schlauere, effizientere Netze bauen wollen, ohne ihre Modelle völlig neu entwerfen zu müssen.

Zitation: Liu, J., Ahmad, F.A., Samsudin, K. et al. Mini-batch size sensitivity in deep residual networks for short-term load forecasting: an empirical study. Sci Rep 16, 14996 (2026). https://doi.org/10.1038/s41598-026-45002-5

Schlüsselwörter: kurzfristige Lastprognose, tiefe ResNet, Mini-Batch-Größe, Stromnachfrage, Wetterdaten