用于资源分配和可扩展计数法的深度强化学习在支持 NR-U 的多无线接入技术异构网络中的应用

为什么你未来的手机需要更聪明的无线电波管理

随着我们迈向 6G，手机、汽车、工厂机器人和 VR 头显等设备都将争夺同一无形资源：无线频谱。有的设备需要超高速视频，有的需要毫秒级的响应，而它们共用的无线频段已经十分拥挤。本文探讨了如何将新一代 5G/6G 无线技术与人工智能结合起来，最大限度地提升有许可证频段和无许可证频段的性能，即便在繁忙的城市和工厂环境中，也能让高要求的应用保持流畅。

多种服务，共享一个拥挤的无线世界

未来的网络必须同时满足截然不同的需求。增强移动宽带（eMBB）支撑 4K 流媒体和虚拟现实等高速率任务，而超可靠低时延通信（URLLC）则用于自动驾驶或工业控制等对延迟极为敏感的安全关键链路，毫秒级差异至关重要。运营商无需为每种业务构建独立的物理网络，而是可以在相同的无线硬件上创建“切片”——每条切片针对一种服务类型进行优化。挑战在于，所有切片仍然共用受限的频谱和基站，因此如何以及何时分配资源是一个复杂的调度问题。

让无许可证频谱发挥作用

为缓解许可频段的压力，5G 引入了无许可证频段的新空口（NR‑U），允许蜂窝基站在约 5 GHz 及更高频段与 Wi‑Fi 并存。作者研究了一个异构网络，包含一个大型宏基站和若干小基站，它们同时使用许可的 NR 和无许可证的 NR‑U。用户可以通过三种方式连接：传统的 NR 小基站、NR‑U 小基站，或通过载波聚合将两种链路结合。与此同时，每个小区支持两种切片：一种侧重速率（eMBB），另一种侧重超低时延（URLLC）。系统还必须与附近使用自身规则竞争信道的 Wi‑Fi 接入点在无许可证频段上公平共享频谱。

针对不同需求的灵活时序

该设计的关键工具是“可扩展计数法”（scalable numerology），这是 5G 的一项特性，用于改变无线信号在时域和频域的排列。较粗的设置使用较窄的子载波间隔和较长的时隙，适合高数据率但响应较慢；较细的设置使用较宽的子载波间隔和极短的时隙，能够快速响应、适用于对延迟敏感的流量，但每个时隙承载的数据较少。论文允许每个切片（速率导向或延迟导向）在 NR 和 NR‑U 链路上各自选择其计数法。这种灵活性大大扩展了可选配置空间，但也使得手动调优几乎不可能。

教网络自行适应

为应对这种复杂性，作者采用了人工智能方法。他们用一个简单的满意度指标来建模用户“满足感”，当用户的数据速率超过目标或延迟低于阈值时该指标上升。基于深度强化学习的方法——对抗式深度 Q 网络（dueling deep Q‑network，DDQN）观察每个切片和小区的当前负载，然后学习如何调整无线资源分配比例以及每个切片的计数法选择，以最大化总体满意度。在此之上，基于遗憾（regret）的学习算法让用户“重新考虑”应连接哪个基站及采用何种模式（NR、NR‑U 或组合），并逐步引导他们选择历史上能带来更高满意度的选项。这个过程循环进行：资源设置影响用户关联，用户关联反过来又被反馈到学习环路中。

仿真揭示的结果

研究团队使用信号质量、干扰和 Wi‑Fi 信道共享的详细数学模型，在一个密集的室内场景（包含一个宏小区、三个小小区和并存的 Wi‑Fi 网络）上进行了仿真。他们将提出的智能多无线、多切片系统与三种常见基线方案进行了比较：仅 NR 网络、NR 与 Wi‑Fi 混合但不聚合的方案，以及 LTE‑Wi‑Fi 聚合（LWA）。在不同用户数和服务混合的广泛情形下，所提方法可将平均用户满意度相对于更简单方案提升约 70% 左右。即便在大量 Wi‑Fi 用户竞争相同无许可证信道时，该方法仍表现稳健，并且优于遗传算法或更简单的学习方法等传统优化技术。

这对普通用户意味着什么

对非专业读者而言，结论很直接：通过更智能、由 AI 驱动的控制，管理设备如何共享许可与无许可证频谱，可以让未来的 6G 网络在繁忙环境中感觉更快、更灵敏。通过在快速视频和超可靠控制信号之间灵活划分容量、实时选择无线参数，以及决定每个设备应使用哪个基站和哪个频段，所提系统能在更多时间内让更多用户保持满意。如果在真实部署中采用，这类技术可以让你的下一代手机、汽车或头显在无需大量新增专属频谱的情况下仍然平稳运行。

引用: Elmosilhy, N.A., Elmesalawy, M.M., El-Haleem, A.M.A. et al. Deep reinforcement learning for resource allocation and scalable numerology in NR-U enabled multi-RAT HetNets. Sci Rep 16, 4768 (2026). https://doi.org/10.1038/s41598-026-36539-6

关键词: 6G 网络切片, NR-U 与 Wi‑Fi 共存, 深度强化学习, 资源分配, URLLC 与 eMBB