第49卷第4期2023年4月北京工业大学学报JOURNALOFBEIJINGUNIVERSITYOFTECHNOLOGYVol.49No.4Apr.2023一类基于概率优先经验回放机制的分布式多智能体软行动-评论者算法张严心1,孔摇涵1,殷辰堃1,王子豪1,黄志清2(1.北京交通大学电子信息工程学院,北京摇100044;2.北京工业大学信息学部,北京摇100124)摘摇要:针对实际多智能体系统对交互经验的庞大需求,在单智能体领域分布式架构的基础上,提出概率经验优先回放机制与分布式架构并行的多智能体软行动-评论者算法(multi鄄agentsoftactor鄄criticwithprobabilisticprioritizedexperiencereplaybasedonadistributedparadigm,DPER鄄MASAC).该算法中的行动者以并行与环境交互的方式收集经验数据,为突破单纯最近经验在多智能体高吞吐量情况下被高概率抽取的局限性,提出更为普适的改进的基于优先级的概率方式对经验数据进行抽样利用的模式,并对智能体的网络参数进行更新.为验证算法的效率,设计了难度递增的2类合作和竞争关系共存的捕食者-猎物任务场景,将DPER鄄MASAC与多智能体软行动-评论者算法(multi鄄agentsoftactor鄄critic,MASAC)和带有优先经验回放机制的多智能体软行动-评论者算法(multi鄄agentsoftactor鄄criticwithprioritizedexperiencereplay,PER鄄MASAC)2种基线算法进行对比实验.结果表明,采用DPER鄄MASAC训练的捕食者团队其决策水平在最终性能和任务成功率2个维度上均有明显提升.关键词:多智能体系统;多智能体深度强化学习;优先经验回放机制;分布式结构;抽样概率;软行动-评论者算法中图分类号:TP83;TP311文献标志码:A文章编号:0254-0037(2023)04-0456-08doi:10.11936/bjutxb2022110019收稿日期:2022鄄11鄄10;修回日期:2022鄄11鄄22基金项目:国家自然科学基金资助项目(62273082);中央高校基本科研业务费重大项目(2018JBZ006)作者简介:张严心(1976—),女,副教授,主要从事复杂大系统的智能控制、无人驾驶中的智能控制、复杂交通网络控制方面的研究,E鄄mail:yxzhang@bjtu.edu.cn通信作用:黄志清(1970—),男,副教授,主要从事无人驾驶智能决策控制、车联网及区块链方面的研究,E鄄mail:zqhuang@bjut.edu.cnDistributedMulti鄄AgentSoftActor鄄CriticAlgorithmWithProbabilisticPrioritizedExperienceReplayZHANGYanxin1,KONGHan1,YINChenkun1,WANGZihao1,HUANGZhiqing2(1.SchoolofElectronicandInformationEngineering,BeijingJiaotongUniversity,Beijing100044,China;2.FacultyofInformationTechnology,Bei...
