Глубокое подкрепляющее обучение для распределения ресурсов и масштабируемой нумерологии в NR-U‑совместимых мульти‑RAT HetNets

Почему вашему будущему телефону нужны более «умные» эфирные ресурсы

По мере приближения эры 6G наши телефоны, автомобили, промышленные роботы и VR‑гарнитуры будут конкурировать за один и тот же невидимый ресурс: радиоспектр. Одним устройствам нужен сверхбыстрый поток видео, другим — реакции за доли секунды, а эфиры уже перегружены. В этой статье исследуется, как сочетание новых радиотехнологий 5G/6G и искусственного интеллекта позволяет извлечь гораздо больше возможностей как из лицензированного, так и из нелицензированного спектра, обеспечивая плавную работу требовательных приложений даже в густонаселённых городах и на производстве.

Множество сервисов в одном загруженном беспроводном мире

Сети завтрашнего дня должны одновременно обслуживать очень разные потребности. Enhanced Mobile Broadband (eMBB) обеспечивает высокоскоростные задачи, такие как потоковое 4K‑видео и виртуальная реальность, в то время как Ultra‑Reliable Low‑Latency Communication (URLLC) поддерживает критичные с точки зрения безопасности соединения — например, для автономных автомобилей или промышленного управления, где важны миллисекунды. Вместо строительства отдельной физической сети для каждого сервиса операторы могут создать «срезы» — виртуальные полосы на одном радиооборудовании — каждая из которых настроена под определённый тип услуг. Проблема в том, что все эти срезы по‑прежнему делят ограниченный спектр и базовые станции, так что решение о том, кто и когда получает ресурсы, становится сложной задачей по управлению.

Использование нелицензированного спектра

Чтобы снизить нагрузку на лицензированные частоты, 5G ввёл New Radio в нелицензированных диапазонах (NR‑U), что позволяет сотовым базовым станциям работать рядом с Wi‑Fi в районе 5 ГГц и выше. Авторы рассматривают гетерогенную сеть, где крупная макро‑базовая станция и несколько малых сот используют как лицензированный NR, так и нелицензированный NR‑U. Пользователи могут подключаться тремя способами: к традиционной NR‑малой соте, к NR‑U‑малой соте или через агрегацию несущих, объединяющую оба канала. При этом каждая сота поддерживает два среза: один ориентирован на скорость (eMBB), другой — на сверхнизкую задержку (URLLC). Система также должна справедливо делить нелицензированный диапазон с соседними точками доступа Wi‑Fi, которые сами конкурируют за канал по своим правилам.

Гибкое время для разных требований

Ключевой инструмент в этой архитектуре — «масштабируемая нумерология», функция 5G, которая меняет то, как радиосигналы упорядочены во времени и частоте. Более «грубые» настройки используют узкое разнесение и более длинные временные слоты, что эффективно для высоких скоростей передачи, но даёт медленный отклик. Более «тонкие» настройки применяют большее разнесение и очень короткие слоты, которые быстро реагируют и подходят для трафика с чувствительностью к задержке, но вмещают меньше битов на слот. В статье каждому срезу — ориентированному на скорость или на задержку — разрешается выбирать собственную нумерологию для ссылок NR и NR‑U. Эта гибкость значительно расширяет пространство возможных конфигураций, но также делает ручную настройку практически невозможной.

Обучение сети адаптироваться самостоятельно

Чтобы справиться с этой сложностью, авторы обращаются к искусственному интеллекту. Они моделируют «удовлетворённость» пользователя простым индексом, который растёт, когда скорость пользователя превышает цель или его задержка опускается ниже порога. Метод глубокого подкрепляющего обучения, называемый дуэльной глубокой Q‑сетью (DDQN), наблюдает текущую нагрузку на каждый срез и каждую соту, затем учится регулировать доли радиоресурсов и выбор нумерологии для каждого среза с целью максимизации суммарной удовлетворённости. Поверх этого пользователи используют алгоритм обучения на основе сожаления, который позволяет им «пересмотреть» выбор базовой станции и режима (NR, NR‑U или комбинированный), постепенно переводя их к опциям, которые в прошлом приносили лучшую удовлетворённость. Процесс повторяется: настройки ресурсов влияют на ассоциации пользователей, которые, в свою очередь, возвращают данные в цикл обучения.

Что показывают симуляции

Используя подробные математические модели качества сигнала, помех и совместного использования канала с Wi‑Fi, команда симулировала плотный внутренний сценарий с макро‑сотой, тремя малыми сотами и сосуществующими сетями Wi‑Fi. Они сравнили свою интеллектуальную мультирадио, мультисрезовую систему с тремя распространёнными базовыми вариантами: только NR, смешанные NR и Wi‑Fi без агрегации и агрегацию LTE‑Wi‑Fi (LWA). В широком диапазоне числа пользователей и типов сервисов предложенный подход повышает среднюю удовлетворённость пользователей примерно на 70% по сравнению с более простыми схемами. Он остаётся устойчивым даже когда многие пользователи Wi‑Fi конкурируют в тех же нелицензированных каналах и превосходит более традиционные методы оптимизации, такие как генетические алгоритмы или более простые методы обучения.

Что это значит для повседневных пользователей

Для неспециалистов вывод прост: более умное, управляемое ИИ распределение того, как наши устройства делят лицензированный и нелицензированный спектр, может сделать будущие сети 6G быстрее и отзывчивее, даже в загруженных средах. Гибко распределяя пропускную способность между быстрым видеопотоком и сверхнадежными управляющими сигналами, выбирая радионастройки на ходу и определяя, к какой базовой станции и частоте должно подключаться каждое устройство, предлагаемая система дольше удерживает большее число пользователей в состоянии удовлетворённости. Если такие методы применят в реальных развертываниях, ваш следующий телефон, автомобиль или гарнитура смогут работать плавно без необходимости выделения огромных новых участков эксклюзивного спектра.

Цитирование: Elmosilhy, N.A., Elmesalawy, M.M., El-Haleem, A.M.A. et al. Deep reinforcement learning for resource allocation and scalable numerology in NR-U enabled multi-RAT HetNets. Sci Rep 16, 4768 (2026). https://doi.org/10.1038/s41598-026-36539-6

Ключевые слова: сегментация сети 6G, совместное использование NR-U и Wi‑Fi, глубокое подкрепляющее обучение, распределение ресурсов, URLLC и eMBB