Tiefes Reinforcement Learning für Ressourcenallokation und skalierbare Numerologie in NR-U-fähigen Multi‑RAT-HetNets

Warum Ihr zukünftiges Telefon schlauere Luftwellen braucht

Auf dem Weg zu 6G konkurrieren Telefone, Autos, Fabrikroboter und VR‑Headsets um dieselbe unsichtbare Ressource: das Funkspektrum. Einige Geräte benötigen extrem schnelles Video, andere verlangen Reaktionszeiten im Millisekundenbereich, und die gemeinsam genutzten Frequenzen sind bereits überlastet. Diese Arbeit untersucht, wie die Kombination neuer 5G/6G‑Funktechnologien mit künstlicher Intelligenz deutlich mehr Leistung aus lizenziertem und unlizenziellem Spektrum herausholen kann, sodass anspruchsvolle Anwendungen selbst in dicht besiedelten Städten und Fabriken flüssig bleiben.

Viele Dienste, eine überfüllte Funkwelt

Die Netze von morgen müssen sehr unterschiedliche Anforderungen gleichzeitig bedienen. Enhanced Mobile Broadband (eMBB) treibt datenintensive Anwendungen wie 4K‑Streaming und virtuelle Realität an, während Ultra‑Reliable Low‑Latency Communication (URLLC) sicherheitskritische Verbindungen unterstützt, etwa für autonome Fahrzeuge oder industrielle Steuerung, bei denen Millisekunden zählen. Anstatt für jeden Dienst ein eigenes physisches Netz zu bauen, können Betreiber „Slices“ einrichten—virtuelle Fahrspuren auf derselben Funkhardware—jeweils auf einen Diensttyp zugeschnitten. Die Herausforderung besteht darin, dass all diese Slices weiterhin begrenztes Spektrum und Basisstationen teilen, sodass die Entscheidung, wer wann welche Ressourcen erhält, zu einem komplexen Jonglierakt wird.

Unlizenziertes Spektrum nutzen

Um die Belastung lizenzierter Frequenzen zu verringern, führte 5G New Radio in unlizenzierten Bändern (NR‑U) ein, mit dem Mobilfunk‑Basisstationen neben Wi‑Fi bei etwa 5 GHz und darüber hinaus betrieben werden können. Die Autoren untersuchen ein heterogenes Netz, in dem eine große Makro‑Basisstation und mehrere Small Cells sowohl lizenziertes NR als auch unlizenziertes NR‑U verwenden. Nutzer können auf drei Arten verbunden sein: mit einem traditionellen NR‑Small Cell, mit einem NR‑U‑Small Cell oder über Carrier Aggregation, die beide Verbindungen kombiniert. Gleichzeitig unterstützt jede Zelle zwei Slices: eines auf Geschwindigkeit (eMBB) und eines auf extrem geringe Latenz (URLLC) ausgerichtet. Das System muss das unlizenzierte Band außerdem fair mit nahegelegenen Wi‑Fi‑Access‑Points teilen, die nach ihren eigenen Regeln um den Kanal konkurrieren.

Flexible Timing für unterschiedliche Bedürfnisse

Ein zentrales Instrument in diesem Design ist die „skalierbare Numerologie“, eine 5G‑Funktion, die bestimmt, wie Funksignale in Zeit und Frequenz angeordnet sind. Grobere Einstellungen verwenden enge Frequenzabstände und längere Zeitfenster, was bei hohen Datenraten effizient, aber reaktionsärmer ist. Feinere Einstellungen nutzen größere Abstände und sehr kurze Zeitfenster, die schnell reagieren und für verzögerungssensible Anwendungen geeignet sind, jedoch pro Slot weniger Bits transportieren. Die Arbeit erlaubt jedem Slice—sowohl dem geschwindigkeitsorientierten als auch dem latenzorientierten—seine eigene Numerologie auf NR‑ und NR‑U‑Links zu wählen. Diese Flexibilität vergrößert den Konfigurationsspielraum erheblich, macht aber manuelles Tuning nahezu unmöglich.

Das Netzwerk sich selbst anpassen lehren

Um mit dieser Komplexität umzugehen, setzen die Autoren auf künstliche Intelligenz. Sie modellieren die Nutzerzufriedenheit mit einem einfachen Index, der steigt, wenn die Datenrate eines Nutzers ein Ziel übertrifft oder seine Verzögerung unter einen Schwellenwert fällt. Eine deep reinforcement learning‑Methode namens dueling deep Q‑network (DDQN) beobachtet die aktuelle Auslastung jeder Slice und Zelle und lernt, wie der Anteil der Funkressourcen und die Numerologieauswahl pro Slice so angepasst werden, dass die Gesamtzufriedenheit maximiert wird. Darüber hinaus erlaubt ein regret‑basiertes Lernverfahren den Nutzern, ihre Wahl der Basisstation und des Modus (NR, NR‑U oder kombiniert) „zu überdenken“, wodurch sie schrittweise zu Optionen gelenkt werden, die historisch bessere Zufriedenheit erbracht haben. Der Prozess wiederholt sich: Ressourceneinstellungen beeinflussen die Nutzerzuordnungen, die wiederum in die Lernschleife zurückfließen.

Was die Simulationen zeigen

Mithilfe detaillierter mathematischer Modelle für Signalqualität, Interferenz und Wi‑Fi‑Kanalteilung simuliert das Team ein dichtes Indoor‑Szenario mit einer Makro‑Zelle, drei Small Cells und koexistierenden Wi‑Fi‑Netzen. Sie vergleichen ihr intelligentes Multi‑Radio‑, Multi‑Slice‑System mit drei gängigen Basisvarianten: NR‑nur‑Netzen, gemischtem NR und Wi‑Fi ohne Aggregation sowie LTE‑Wi‑Fi‑Aggregation (LWA). Über eine weite Bandbreite von Nutzerzahlen und Dienstmischungen steigert der vorgeschlagene Ansatz die durchschnittliche Nutzerzufriedenheit um bis zu etwa 70 % gegenüber einfacheren Schemata. Er bleibt robust, selbst wenn viele Wi‑Fi‑Nutzer auf denselben unlizenzierten Kanälen konkurrieren, und übertrifft traditionellere Optimierungsverfahren wie genetische Algorithmen oder einfachere Lernmethoden.

Was das für den Alltag bedeutet

Für Nicht‑Spezialisten ist die Botschaft klar: Eine intelligentere, KI‑gesteuerte Steuerung der gemeinsamen Nutzung von lizenziertem und unlizenziertem Spektrum kann künftige 6G‑Netze schneller und reaktionsfähiger erscheinen lassen – selbst in überfüllten Umgebungen. Durch flexible Aufteilung der Kapazität zwischen schnellem Video und ultra‑zuverlässigen Steuerverbindungen, durch dynamische Auswahl von Funkparametern und durch smarte Entscheidungen, welche Basisstation und welches Frequenzband ein Gerät nutzt, hält das vorgeschlagene System mehr Nutzer länger zufrieden. Würde dies in realen Netzen eingesetzt, könnten Ihr nächstes Telefon, Auto oder Headset reibungsloser funktionieren, ohne dass große neue exklusive Spektrumbereiche nötig wären.

Zitation: Elmosilhy, N.A., Elmesalawy, M.M., El-Haleem, A.M.A. et al. Deep reinforcement learning for resource allocation and scalable numerology in NR-U enabled multi-RAT HetNets. Sci Rep 16, 4768 (2026). https://doi.org/10.1038/s41598-026-36539-6

Schlüsselwörter: 6G-Netzwerk-Slicing, Koexistenz von NR-U und Wi‑Fi, tiefes Reinforcement Learning, Ressourcenallokation, URLLC und eMBB