Apprentissage profond par renforcement pour l’allocation des ressources et la numérologie évolutive dans des HetNets multi-RAT compatibles NR-U

Pourquoi votre téléphone de demain a besoin d’ondes plus intelligentes

À l’approche de la 6G, nos téléphones, voitures, robots d’usine et casques VR se disputent tous la même ressource invisible : le spectre sans fil. Certains appareils exigent de la vidéo ultra‑rapide, d’autres des temps de réaction à la milliseconde, et les ondes qu’ils partagent sont déjà encombrées. Cet article examine comment combiner de nouvelles technologies radio 5G/6G et l’intelligence artificielle peut extraire bien plus de performance des bandes sous licence et non soumises à licence, en maintenant les applications exigeantes fluides même dans des villes et usines très denses.

De nombreux services, un même univers radio surchargé

Les réseaux de demain doivent satisfaire des besoins très différents simultanément. L’Enhanced Mobile Broadband (eMBB) alimente des usages à haut débit comme le streaming 4K et la réalité virtuelle, tandis que l’Ultra‑Reliable Low‑Latency Communication (URLLC) prend en charge des liaisons critiques pour la sécurité, comme les voitures autonomes ou le contrôle industriel, où chaque milliseconde compte. Plutôt que de construire un réseau physique distinct pour chaque service, les opérateurs peuvent créer des « slices » — voies virtuelles sur le même matériel radio — chacune adaptée à un type de service. Le défi tient au fait que toutes ces slices continuent de partager un spectre et des stations de base limités, de sorte que décider qui obtient quelles ressources et quand relève d’un véritable exercice d’équilibriste.

Mettre le spectre non soumis à licence au travail

Pour alléger la pression sur les fréquences sous licence, la 5G a introduit le New Radio en bandes non soumises à licence (NR‑U), qui permet aux stations cellulaires de coexister avec le Wi‑Fi autour de 5 GHz et au‑delà. Les auteurs étudient un réseau hétérogène où une grande macro‑cellule et plusieurs petites cellules utilisent à la fois le NR sous licence et le NR‑U non soumis à licence. Les utilisateurs peuvent se connecter de trois manières : à une petite cellule NR traditionnelle, à une petite cellule NR‑U, ou via de l’agrégation de porteuse combinant les deux liens. En parallèle, chaque cellule supporte deux slices : l’une axée sur le débit (eMBB) et l’autre sur la latence ultra‑basse (URLLC). Le système doit aussi partager la bande non soumise à licence de manière équitable avec les points d’accès Wi‑Fi voisins, qui se disputent le canal selon leurs propres règles.

Un timing flexible pour des besoins différents

Un outil clé de cette conception est la « numérologie évolutive », une fonctionnalité 5G qui modifie la façon dont les signaux radio sont organisés en temps et en fréquence. Des réglages plus grossiers utilisent un espacement étroit et des créneaux temporels longs, efficaces pour les débits élevés mais réactifs lentement. Des réglages plus fins emploient un espacement plus large et des créneaux très courts, qui répondent rapidement et conviennent au trafic sensible à la latence, mais transportent moins de bits par créneau. L’article permet à chaque slice — orientée débit ou latence — de choisir sa propre numérologie sur les liens NR et NR‑U. Cette flexibilité élargit considérablement l’espace des configurations possibles, mais rend aussi le réglage manuel presque impossible.

Apprendre au réseau à s’adapter tout seul

Pour naviguer cette complexité, les auteurs recourent à l’intelligence artificielle. Ils modélisent la « satisfaction » des utilisateurs par un indice simple qui augmente quand le débit d’un utilisateur dépasse une cible ou que sa latence passe en dessous d’un seuil. Une méthode d’apprentissage profond par renforcement appelée dueling deep Q‑network (DDQN) observe la charge actuelle sur chaque slice et chaque cellule, puis apprend à ajuster la répartition des ressources radio et le choix de la numérologie par slice pour maximiser la satisfaction totale. Parallèlement, un algorithme d’apprentissage basé sur le regret permet aux utilisateurs de « reconsidérer » quelle station de base et quel mode (NR, NR‑U ou combiné) ils choisissent, les orientant progressivement vers les options qui ont historiquement offert une meilleure satisfaction. Le processus se répète : les réglages de ressources influencent les associations d’utilisateurs, qui à leur tour alimentent la boucle d’apprentissage.

Ce que révèlent les simulations

En s’appuyant sur des modèles mathématiques détaillés de la qualité du signal, des interférences et du partage du canal Wi‑Fi, l’équipe simule un scénario intérieur dense avec une macro‑cellule, trois petites cellules et des réseaux Wi‑Fi coexistants. Ils comparent leur système intelligent multi‑radio, multi‑slice à trois références courantes : des réseaux NR seuls, un mélange NR et Wi‑Fi sans agrégation, et l’agrégation LTE‑Wi‑Fi (LWA). Sur une large gamme de nombres d’utilisateurs et de proportions de services, l’approche proposée augmente la satisfaction moyenne des utilisateurs jusqu’à environ 70 % par rapport aux schémas plus simples. Elle reste robuste même lorsque de nombreux utilisateurs Wi‑Fi se disputent les mêmes canaux non soumis à licence, et surpasse des techniques d’optimisation plus traditionnelles comme les algorithmes génétiques ou des méthodes d’apprentissage plus simples.

Ce que cela signifie pour les utilisateurs au quotidien

Pour les non‑spécialistes, le message est simple : un contrôle plus intelligent, piloté par l’IA, de la façon dont nos appareils partagent le spectre sous licence et non soumis à licence peut rendre les réseaux 6G plus rapides et plus réactifs, même dans des environnements encombrés. En répartissant de manière flexible la capacité entre vidéo rapide et signaux de contrôle ultra‑fiables, en choisissant les réglages radio à la volée et en décidant quelle station de base et quelle fréquence chaque appareil doit utiliser, le système proposé maintient un plus grand nombre d’utilisateurs satisfaits plus souvent. S’il est adopté en déploiements réels, ce type de techniques pourrait permettre à votre prochain téléphone, voiture ou casque de fonctionner sans accroc sans nécessiter d’immenses nouvelles bandes de spectre exclusives.

Citation: Elmosilhy, N.A., Elmesalawy, M.M., El-Haleem, A.M.A. et al. Deep reinforcement learning for resource allocation and scalable numerology in NR-U enabled multi-RAT HetNets. Sci Rep 16, 4768 (2026). https://doi.org/10.1038/s41598-026-36539-6

Mots-clés: tranchage de réseau 6G, coexistence NR-U et Wi‑Fi, apprentissage profond par renforcement, allocation des ressources, URLLC et eMBB