在复杂云-边-端场景中通过生成对抗模仿学习的数字孪生辅助资源分配

为物联网打造更智能的数据高速公路

随着城市、工厂和家庭被连接的传感器与设备填满，它们产生了必须快速且可靠处理的大量数据。将所有数据发送到远端云服务器可能过于缓慢，而处于“边缘”的小型设备通常缺乏足够的计算能力。本文探讨了一种新的方法，自动在终端设备、附近的边缘服务器和云之间路由并分配计算、存储与网络资源——以便智能应用在现实条件混乱且不可预测时仍能保持高速与稳健。

当今方法为何受限

现代系统常依赖深度强化学习，即算法通过与环境交互并根据奖励信号学习。但在复杂且有噪声的网络中，这些奖励难以定义和测量。如果奖励函数错误或被干扰扭曲，系统可能学到不安全或浪费资源的行为。许多现有方法还假设对流量模式和设备行为有丰富的先验知识，而在实际工业网络中这种知识很少可得。此外，大多数解决方案通常只同时优化一种资源（例如计算能力），而忽略存储或网络带宽，尽管三者共同决定了真实世界的性能。

从数字孪生中学习

为打破僵局，作者将资源分配与数字孪生技术结合。数字孪生是在云端维护的物理网络的详细虚拟副本。它使用来自传感器和日志的丰富历史数据，随时间镜像边缘服务器、链路和任务的状态。在这项工作中，数字孪生不仅是仪表盘；它成为训练场。系统利用过去的数据生成“专家”示例，展示如何在计算与缓存之间拆分任务，以及为实现低延迟应将任务放在哪处理。该训练在离线完成，不干扰实时服务，并利用云端充足的计算资源探索多种可能的情形。

模仿而非试错

所提出的E‑GAIL模型不直接从奖励中学习，而是采用模仿学习：代理尝试像专家一样行动。首先，作者使用带有NoisyNet层的Actor–Critic框架构建多个专家策略。向决策网络注入经过精心控制的噪声，使这些专家能经历多种条件——包括模拟真实无线干扰和波动负载的扰动——从而令它们的轨迹更贴近现实。接着，系统利用博弈论工具将若干单一专家轨迹融合为一个“多专家”参考。通过在专家间寻求纳什均衡，它避免了专家间的冲突，产生覆盖更广情形的共识策略。

用于决策的生成对抗引擎

一旦在数字孪生中构建出多专家轨迹，在线代理便使用类似图像生成网络的生成对抗结构学习去模仿它。生成器在给定当前网络状态下提出资源分配动作，而判别器尝试判断一系列动作是否来自代理或来自专家轨迹。随着时间推移，这一对抗博弈促使生成器产生判别器无法区分于专家行为的决策。关键在于，这一过程不依赖于来自真实环境的显式奖励函数。训练被拆分为：在云端进行大量离线学习以优化专家和生成器；在边缘进行较轻的在线更新以使模型与当前条件保持一致，从而满足边缘硬件的实际限制。

效果如何？

作者将E‑GAIL与若干流行基线方法进行对比测试，包括深度Q学习、博弈论卸载、贪婪启发式、纯云处理和随机分配。在多项实验中——改变终端设备数量、信道、任务组合、工作负载、数据大小、距离与噪声模式——E‑GAIL始终实现接近专家策略的端到端延迟，并明显优于其他自动化方法。它在任务从计算密集型向存储密集型转换、网络规模扩大或干扰增强时均能较好适应。数字孪生加速了专家轨迹的生成并提高了其质量，而多专家融合则拓宽了代理在无需从头再训练情况下可处理的场景。

对日常系统的意义

对非专业读者而言，关键信息是该方法使网络在不确定性面前能更智能地自我管理。E‑GAIL不再依赖人手设计的规则或脆弱的试错式学习，而是从数字孪生提供的丰富模拟经验以及多个经过磨练且通过数学方法调和的“专家”中学习。其结果是一个能快速决定在哪运行任务、在哪存储数据的资源分配器，即便条件变化也能保持低响应时间。在未来的工业与智慧城市系统中，这类自学型协调器可在幕后静默地调配计算、存储与带宽，使我们的互联世界更快、更可靠且更节能。

引用: Zhang, X., Xin, M., Li, Y. et al. DT-aided resource allocation via generative adversarial imitation learning in complex cloud-edge-end scenarios. Sci Rep 16, 7657 (2026). https://doi.org/10.1038/s41598-026-38367-0

关键词: 数字孪生, 边缘计算, 模仿学习, 资源分配, 工业物联网