第４７卷第６期２０２２年１２月广西大学学报（自然科学版）ＪｏｕｒｎａｌｏｆＧｕａｎｇｘｉＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）Ｖｏｌ．４７Ｎｏ．６Ｄｅｃ．２０２２收稿日期：２０２２－０６－３０；修订日期：２０２２－０８－０６基金资助：国家自然科学基金项目（６２１６２００３，６１７６２００８）；国家重点研发计划课题（２０１８ＹＦＢ１４０４４０４）通讯作者：陈宁江（１９７５—），男，广西南宁人，广西大学教授，博士生导师，博士；Ｅ－ｍａｉｌ：ｃｈｎｊ＠ｇｘｕ．ｅｄｕ．ｃｎ。引文格式：刘雨晖，陈宁江，何子琦．云边协同下基于多智能体强化学习的任务卸载策略［Ｊ］．广西大学学报（自然科学版），２０２２，４７（６）：１５６３－１５７４．ＤＯＩ：１０．１３６２４／ｊ．ｃｎｋｉ．ｉｓｓｎ．１００１－７４４５．２０２２．１５６３云边协同下基于多智能体强化学习的任务卸载策略刘雨晖１，陈宁江１，２，３＊，何子琦１（１．广西大学计算机与电子信息学院，广西南宁５３０００４；２．广西智能数字服务工程技术研究中心，广西南宁５３０００４；３．广西高校并行分布与智能计算重点实验室，广西南宁５３０００４）摘要：针对智能移动终端设备的资源有限性和未来网络架构需要云边协同能力等问题，提出了一种基于多智能体强化学习的任务卸载策略，通过部署Ｃｙｂｅｒｔｗｉｎ智能体为用户设备所需卸载的任务合理分配资源，在保证终端设备的服务质量（ＱｏＳ）要求的同时，最小化整个计算网络的总成本。首先联合设计Ｃｙｂｅｒｔｗｉｎ智能服务代理、计算任务分配以及网络通信与算力等多维异构资源配置构建随机对策的马尔可夫博弈过程（ＭＧＰ），使执行总延迟和总能耗之和最小。其次考虑到需要处理随机时变网络与动态资源请求的高维连续动作空间，采用了一种基于多智能体双延迟深度确定策略梯度（ＭＡＴＤ３）的深度强化学习协同框架求解。仿真实验结果表明：与常见的单智能体学习算法和启发式方案相比，本文提出的ＭＡＴＤ３方法具有较好的性能，在平均执行成本方面分别降低了２５．６１％和３５．７９％，在任务卸载率上分别提高了３９．１３％和７７．７６％。关键词：云边协同；多智能体强化学习；任务卸载；资源分配中图分类号：ＴＰ３９３文献标识码：Ａ文章编号：１００１－７４４５（２０２２）０６－１５６３－１２Ｔａｓｋｏｆｆｌｏａｄｉｎｇｓｔｒａｔｅｇｙｂａｓ...
