云边协同下基于多智能体强化学习的任务卸载策略_刘雨晖.pdf

第 卷 第期 年 月广西大学学报（自然科学版）（）收稿日期：；修订日期：基金资助：国家自然科学基金项目（，）；国家重点研发计划课题（）通讯作者：陈宁江（），男，广西南宁人，广西大学教授，博士生导师，博士；：。引文格式：刘雨晖，陈宁江，何子琦云边协同下基于多智能体强化学习的任务卸载策略广西大学学报（自然科学版），（）：云边协同下基于多智能体强化学习的任务卸载策略刘雨晖，陈宁江，何子琦（广西大学 计算机与电子信息学院，广西 南宁 ；广西智能数字服务工程技术研究中心，广西 南宁 ；广西高校并行分布与智能计算重点实验室，广西 南宁 ）摘要：针对智能移动终端设备的资源有限性和未来网络架构需要云边协同能力等问题，提出了一种基于多智能体强化学习的任务卸载策略，通过部署 智能体为用户设备所需卸载的任务合理分配资源，在保证终端设备的服务质量（）要求的同时，最小化整个计算网络的总成本。首先联合设计 智能服务代理、计算任 务 分 配 以 及 网 络 通 信 与 算 力 等 多 维 异 构 资 源 配 置 构 建 随 机 对 策 的 马 尔 可 夫 博 弈 过 程（），使执行总延迟和总能耗之和最小。其次考虑到需要处理随机时变网络与动态资源请求的高维连续动作空间，采用了一种基于多智能体双延迟深度确定策略梯度（）的深度强化学习协同框架求解。仿真实验结果表明：与常见的单智能体学习算法和启发式方案相比，本文提出的 方法具有较好的性能，在平均执行成本方面分别降低了 和 ，在任务卸载率上分别提高了 和 。关键词：云边协同；多智能体强化学习；任务卸载；资源分配中图分类号：文献标识码：文章编号：（），（，；，；，（），）：，广西大学学报（自然科学版）第 卷 （），（），（），：；引言基于 的云边协同网络概念的提出，旨在将物理对象映射到虚拟网络空间进行实时配置从而优化业务流程，为设计支持海量传感器数据采集与处理的万物互联架构以及构建整个物联网信息系统的“数字孪生”提供相应的技术支撑。由于智能移动设备自身算力资源有限，因此需要通过 服务代理将复杂终端任务卸载到资源丰富的核心云、边缘云或者空闲设备上执行，在满足用户对网络服务质量（，）的高要求的同时提高资源利用率。现有基于近似优化算法的任务卸载方法通常是根据优化问题建立对应的数学规划模型，运用如贪心算法、拉格朗日松弛、李雅普诺夫（）优化和博弈论（）等算法在可接受的时间内求得一个近似最优解，但对于求解动态变化的大规模计算系统问题却难以抉择。由于其解空间的复杂性，因此通常采用单智能体深度强化学习算法求解最佳策略，同时也引出以下问题：第一，单智能体算法解决的是环境中存在单一智能体的情况（或者多个智能体可以转化为一个智能体的决策），缺少考虑多智能体的联合行为对环境稳定性影响而导致效果不佳；第二，大规模智能移动设备的接入导致每个智能体的策略随着训练的进行都应发生变化，只考虑单智能体自身状态变化而没有精确完整的环境信息会导致经验重放（）机制失效。因此，本文中将针对云边协同环境下资源综合利用困难以及单智能体强化学习算法不能满足大规模终端协作任务卸载等问题，设计基于 的云边协同计算系统模型（，），并构建基于多智能体双延迟深度确定性策略梯度算法（，）的协作任务卸载与资源分配联合优化方法，从而缓解了海量终端协同卸载场景下单智能体强化学习算法效果不佳的问题，进而提高任务处理效率与用户体验质量。系统模型本节将进一步从协同卸载模式、业务传输模型和综合时延与能耗的卸载成本模型等角度构建基于 的云边协同计算系统模型（），从云边端多角度刻画任务卸载模型，更准确地表征任务卸载所需总成本。基于 的云边协同计算系统架构如图所示，分成以下层：由工业物联第期刘雨晖，等：云边协同下基于多智能体强化学习的任务卸载策略网制造设备、无人机和自动驾驶运输车等智能设备接入的智能移动设备层（，），配置 服务代理的边缘云层（，）以及具有高性能数据中心的核心云层（，）。图基于 的云边协同计算系统架构 假设智能移动设备层是由个智慧物联网设备组成的集合 ，每个设备的属性配置为 ，。由 位二进制编码组成的 是该设备的唯一标识，为接入网络提供身份认证标签。设备拥有的算力资源定义为 资源（时钟频率，单位为 ）、资源（时钟频率，单位为 ）和内存数据量等计算资源组成统一度量 ，；代表该终端设备的可用剩余电量。本文将系统时间设定为离散时隙，在每个时隙的智能设备 只能生成一个计算任务（）（），（），（），分别表示任务数据大小、异构算力资源需求量和延迟容忍的最大限度。异构算力资源需求量（）表明在不同应用场景下设备对上述种计算资源的感知与利用，即（）（），（），（）。在边缘云层中，多个基站和部署在网络边缘的分布式移动边缘计算（，）服务器构成个边缘云集合 ，。边缘云 自身所拥有的频谱带宽资源总量为、算力资源总量为 ，。服务是与物理空间中智能移动设备一致的虚拟数字化映射，作为数字孪生体直接与终端设备通信以获取详细的资源需求和服务质量要求。基于 的网络架构要求智能移动设备首先向 服务代理发送请求，服务便以分布式协同管理方式为设备分配各种通信、计算和缓存资源，将计算任务卸载到更合适的服务节点，快速提供可靠的服务质量保证。核心云层由多个大型云数据中心组成，依托大容量、高速、低时延的专用数据传输网络为任务执行提供充足的算力资源，因此，一般认为核心云的服务能力能够满足所有用户设备的服务需求，可以将部分任务卸载到核心云的数据中心上，以缓解边缘云的流量压力。协同卸载模式任务卸载的目的是根据 服务代理的决策优先传输时延敏感型任务至相邻边缘云进行快速处理，将时延容忍型任务卸载到核心云或附近空闲设备执行，从而实现缓解终端设备算力资源不足的问题并提高资源利用率。（）（），（），（），（），（），表示时隙智能移动设备 的任务（）的卸载模式决策变量。协同任务卸载共有种模式：在本地完成计算任务 （）；通过 代理将任务卸载到对应授权的边缘云服务器 ，（）；计算任务繁重的边缘云可以卸载部分任务到相邻资源空闲的边缘云 ，（）；卸载任务到核心云的云数据中心 ，（）；卸载任务到附近具有空闲算力的终端 ，（）（，）。其中，相广西大学学报（自然科学版）第 卷关算力资源的分配用变量（）（），（），（）表示。在本地执行计算任务：当选择在设备本地执行任务（）时，终端设备 的全部可用算力资源都将用于该任务，因此本地任务执行完成延迟可以描述为 （）（）（）（）（），（）式中 （）、（）分别为时隙终端设备 的 最大时钟频率和 最大时钟频率，计算任务在设备本地执行的延迟为 计算时间与 计算时间总和。一般设备的动态内存的读写时间是以纳秒为单位，通常不予考虑。任务（）的本地执行能耗为 （）（）（）（）（）（）（）（），（）式中：（）为终端设备 上的单位 资源能耗，是与 芯片结构相关的能耗系数；同理（）为终端设备 上的单位 资源能耗，是与 芯片结构相关的能耗系数；而该时刻内存能耗主要由 读写能耗 （）（）与静态能耗 （）组成；读写能耗是与内存工作负载相关，是内存读写能耗系数。智能移动设备通过 代理将任务卸载到对应授权的边缘云：边缘云服务器根据任务（）的需求分配算力资源，（），（），（），（）。与任务输入数据量相比，计算结果数据量都比较小，因此本通信模型忽略任务卸载结果的返回时间。设备与边缘云服务通信的上行链路信道容量设为 ，（），任务卸载完成总时延包括上行传输时延和任务执行时延，定义为 ，（）（），（）（），（）（），（）。（），为终端设备 与边缘云 的上行链路传输功率，任务（）卸载到边缘云的总能耗主要由通信传输能耗以及任务执行能耗组成，表示为 ，（），（），（）（）（，（）（）（，（），（）（）（）。（）任务繁重的边缘云卸载部分任务到相邻资源空闲的边缘云：边缘云 给来自边缘云 的设备 任务（）分配的算力资源表示为，（），（），（），（），边缘云 与边缘云 的通信链路的信道容量为 ，（）。任务卸载总时延包括智能移动设备 和边缘云 之间的传输时延、边缘云 和边缘云 之间的传输时延以及计算时延，定义如下：，（）（），（）（），（）（），（）（），（）。（），为边缘云 与边缘云 的通信链路的传输功率，则该卸载模式下完成任务（）所需的能耗定义为 ，（），（），（），（），（），（），（），（）（），（）（）（），（）（），（）（）（）。（）智能移动设备卸载任务到核心云的云数据中心：由于核心云的云数据中心拥有海量算力与存储资源，因此当设备卸载任务到核心云时通常忽略在核心云上的执行时间和计算能耗，总时延可以表示为 ，（）（），（）（），（），（）第期刘雨晖，等：云边协同下基于多智能体强化学习的任务卸载策略式中 ，（）为边缘云 与核心云通信链路的信道容量；，为边缘云 与核心云之间的传输功率，则任务（）卸载的总能耗定义为 ，（），（），（），（），（）。（）卸载任务到附近具有空闲算力的终端：当附近有空闲算力的终端设备时，可以选择将其任务卸载到空闲设备 上，综合利用该设备资源，（），（），（），（）。任务卸载完成总时延等于终端设备 和空闲设备 之间的传输时延和在空闲设备 上的任务执行时延，定义为 ，（）（），（）（），（）（），（），（），（）为终端到终端（，）的通信链路信道容量，终端设备 的算力资源能耗用，（）表示，则任务（）卸载的所需能耗为 ，（），（），（），（），（），（）（）（，（）（）（，（），（）（）（）。（）业务传输模型基于 的云边协同计算系统架构将底层物理网络资源抽象为虚拟频谱资源，由 编排器协调管理，在端到端通信网络的基础上划分成独立的逻辑网络切片（，），并根据任务特性可以将切片分为 切片和 切片类，对应于时延敏感型和时延容忍型类业务。本文考虑的是云边端一体化环境下基于正交频分多址技术的上行虚拟无线网络，系统将频谱资源划分为正交的子信道集合，其中子信道所分配的带宽资源为，每个子信道可以由切片内多个用户同时共享。假设终端设备与边缘云、边缘云与边缘云、边缘云与核心云以及设备与设备之间的通信都是无线传输，需要为每个任务的传输分配一个子信道，并用变量（）表示频谱资源的分配情况。该场景下切片集合为，边缘云 中基站集合为，接入边缘云 的智能移动设备集合为，（）。智能移动设备与边缘云的通信传输：决策变量，（），表示时隙子信道，是否用于切片（）内设备 与边缘云 的基站（）之间通信，因此传输速率定义为 ，（），（），（），（），（），（），（）式中，（）、，（）分别为时隙智能移动设备 与基站通信的发射功率以及信道增益；，（），（），是路径损耗常数，（）是时隙设备 与基站的距离，则是它们之间非视距信道的路径损耗因子；为高斯白噪声功率；，（），（）代表同一信道内其他用户设备传输产生的干扰。计算任务繁重的边缘云与附近资源空闲的边缘云之间的通信传输：决策变量，（），指出在时隙子信道，是否分配给边缘云 的基站，用于向边缘云 内基站传输切片内终端设备 的相关计算任务。算力资源受限的边缘云 与边缘云 的上行信道传输速率表述为 ，（），（），（），（）广西大学学报（自然科学版）第 卷 ，（），（），（），（），（）。（）边缘云与核心云之间的通信传输：，（），为时隙子信道，是否分配给边缘云 以完成与核心云交互的决策变量。由于核心云能为用户提供丰富的网络资源，因此时隙核心云分配给切片内每个计算任务的上行传输速率为常量，则设备的计算任务（）从边缘云 传输到核心云的上行速率为 ，（），（）。（）智能移动设备与相邻具有空闲算力的终端之间的通信传输：，（），为时隙切片内终端设备 能否通过子信道，与终端设备 通信的决策变量，同理分配给终端设备 与设备 的信道传输速率为 ，（），（），（），（）。（）综合时延与能耗的卸载成本模型任务卸载的总时延取决于任务（）完成所选择的协同卸载模式所需要的时间，表示为（）（）（），（），（），（），（），（），（），（），（）。（）任务卸载的总能耗定义为任务（）完成所选择的协同卸载模式而产生的能量消耗，表示为（）（）（），（），（），（），（），（），（），（），