Głębokie uczenie ze wzmocnieniem do przydziału zasobów i skalowalnej numerologii w sieciach NR-U obsługujących wielo-RAT HetNety

Dlaczego twój przyszły telefon potrzebuje inteligentniejszych fal radiowych

W miarę jak zmierzamy ku 6G, nasze telefony, samochody, roboty fabryczne i zestawy VR będą konkurować o ten sam niewidzialny zasób: widmo radiowe. Niektóre urządzenia potrzebują ultraszybkiego wideo, inne — reakcji w ułamkach sekundy, a pasma, którymi się dzielą, są już zatłoczone. Artykuł bada, jak połączenie nowych technologii radiowych 5G/6G z sztuczną inteligencją może wycisnąć znacznie więcej wydajności zarówno ze spektrum licencjonowanego, jak i nielicencjonowanego, utrzymując wymagające aplikacje płynnymi nawet w zatłoczonych miastach i zakładach przemysłowych.

Wiele usług, jeden zatłoczony świat bezprzewodowy

Sieci jutra muszą jednocześnie obsługiwać bardzo różne potrzeby. Enhanced Mobile Broadband (eMBB) napędza zadania o dużej przepustowości, takie jak streaming 4K i wirtualna rzeczywistość, natomiast Ultra‑Reliable Low‑Latency Communication (URLLC) wspiera łącza krytyczne dla bezpieczeństwa, takie jak samochody autonomiczne czy sterowanie przemysłowe, gdzie liczą się milisekundy. Zamiast budować osobną fizyczną sieć dla każdego zastosowania, operatorzy mogą tworzyć „plastry” — wirtualne pasy na tym samym sprzęcie radiowym — z których każdy jest dostrojony do jednego typu usługi. Wyzwanie polega na tym, że wszystkie te plastry nadal dzielą ograniczone widmo i stacje bazowe, więc decyzja, kto i kiedy otrzyma zasoby, to skomplikowana sztuka żonglowania.

Wykorzystanie pasm nielicencjonowanych

Aby odciążyć częstotliwości licencjonowane, 5G wprowadziło New Radio w pasmach nielicencjonowanych (NR‑U), które pozwalają stacjom komórkowym współistnieć z Wi‑Fi wokół 5 GHz i wyżej. Autorzy badają heterogeniczną sieć, w której duża stacja makro i kilka małych komórek używają zarówno licencjonowanego NR, jak i nielicencjonowanego NR‑U. Użytkownicy mogą łączyć się na trzy sposoby: z tradycyjną małą komórką NR, z małą komórką NR‑U lub przez agregację nośników łączącą oba łącza. Jednocześnie każda komórka obsługuje dwa plastry: jeden skoncentrowany na szybkości (eMBB) i drugi na ultra‑niskich opóźnieniach (URLLC). System musi też dzielić pasmo nielicencjonowane sprawiedliwie z pobliskimi punktami dostępowymi Wi‑Fi, które konkurują o kanał według własnych zasad.

Elastyczny timing dla różnych potrzeb

Kluczowym narzędziem w tym projekcie jest „skalowalna numerologia”, funkcja 5G zmieniająca sposób, w jaki sygnały radiowe są rozmieszczane w czasie i częstotliwości. Bardziej „grube” ustawienia używają węższych odstępów i dłuższych slotów czasowych, co jest efektywne dla wysokich przepływności, ale reaguje wolniej. Bardziej „drobne” ustawienia stosują szersze odstępy i bardzo krótkie sloty, które reagują szybko i nadają się do ruchu wrażliwego na opóźnienia, ale przenoszą mniej bitów na slot. Artykuł pozwala każdemu plastrze — zorientowanemu na prędkość lub na opóźnienie — wybierać własną numerologię zarówno na łączach NR, jak i NR‑U. Ta elastyczność znacznie powiększa przestrzeń możliwych konfiguracji, ale jednocześnie powoduje, że ręczne strojenie staje się praktycznie niemożliwe.

Nauka sieci samodzielnej adaptacji

Aby poruszać się w tej złożoności, autorzy sięgają po sztuczną inteligencję. Modelują „satysfakcję” użytkownika prostym indeksem, który rośnie, gdy przepustowość użytkownika przekracza cel lub gdy opóźnienie spada poniżej progu. Metoda głębokiego uczenia ze wzmocnieniem zwana dueling deep Q‑network (DDQN) obserwuje aktualne obciążenie każdego plastra i komórki, a następnie uczy się, jak dostosować udział zasobów radiowych i wybór numerologii dla każdego plastra, aby zmaksymalizować całkowitą satysfakcję. Na to nakłada się algorytm nauki opartej na żalu (regret‑based), który pozwala użytkownikom „ponownie rozważyć”, do której stacji bazowej i w jakim trybie (NR, NR‑U lub połączonym) się podłączyć, stopniowo kierując ich ku opcjom, które historycznie dawały lepszą satysfakcję. Proces się powtarza: ustawienia zasobów wpływają na asocjację użytkowników, która z kolei zasilają pętlę uczenia.

Co ujawniają symulacje

Wykorzystując szczegółowe modele matematyczne jakości sygnału, interferencji i współdzielenia kanałów z Wi‑Fi, zespół symuluje gęsty scenariusz wewnętrzny z komórką makro, trzema małymi komórkami i współistniejącymi sieciami Wi‑Fi. Porównują inteligentny system wielousługowy, wielopasmowy z trzema powszechnymi punktami odniesienia: sieciami tylko NR, mieszanką NR i Wi‑Fi bez agregacji oraz agregacją LTE‑Wi‑Fi (LWA). W szerokim zakresie liczby użytkowników i miksów usług proponowane rozwiązanie podnosi średnią satysfakcję użytkownika nawet o około 70% w porównaniu z prostszymi schematami. Pozostaje odporne nawet gdy wielu użytkowników Wi‑Fi konkuruje na tych samych kanałach nielicencjonowanych, i przewyższa bardziej tradycyjne techniki optymalizacyjne, takie jak algorytmy genetyczne czy prostsze metody uczenia.

Co to oznacza dla codziennych użytkowników

Dla osób nietechnicznych przekaz jest prosty: inteligentniejsze, sterowane przez AI zarządzanie tym, jak nasze urządzenia dzielą widmo licencjonowane i nielicencjonowane, może sprawić, że przyszłe sieci 6G będą odczuwalnie szybsze i bardziej responsywne, nawet w zatłoczonych środowiskach. Dzięki elastycznemu dzieleniu pojemności między szybkie wideo a ultra‑niezawodne sygnały sterujące, dynamicznemu doborowi ustawień radiowych i decyzjom, która stacja bazowa i które pasmo ma służyć danemu urządzeniu, proponowany system utrzymuje więcej użytkowników zadowolonych przez większą część czasu. Jeśli zostanie wdrożony w rzeczywistych sieciach, takie techniki mogą pomóc twojemu kolejnemu telefonowi, samochodowi czy zestawowi słuchawkowemu działać płynnie bez konieczności udostępniania ogromnych nowych wycinków ekskluzywnego widma.

Cytowanie: Elmosilhy, N.A., Elmesalawy, M.M., El-Haleem, A.M.A. et al. Deep reinforcement learning for resource allocation and scalable numerology in NR-U enabled multi-RAT HetNets. Sci Rep 16, 4768 (2026). https://doi.org/10.1038/s41598-026-36539-6

Słowa kluczowe: dzielenie sieci 6G, współistnienie NR-U i Wi‑Fi, głębokie uczenie ze wzmocnieniem, przydział zasobów, URLLC i eMBB