第49卷第4期2023年4月北京工业大学学报JOURNALOFBEIJINGUNIVERSITYOFTECHNOLOGYVol.49No.4Apr.2023复杂可交互场景下基于异策略分层强化学习的搜救机器人自主决策殷辰堃,纪宏萱,张严心(北京交通大学电子信息工程学院,北京摇100044)摘摇要:机器人在搜救任务中的自主决策能力对降低救援人员的风险具有重大意义.为了使机器人在面对复杂多解的搜救任务时能自主形成决策和合理的路径规划,设计了一种异策略分层强化学习算法.该算法由两层SoftActor鄄Critic(SAC)智能体组成,高层智能体可以自动生成低层智能体所需的目标并提供内在奖励指导其直接与环境进行交互.在分层强化学习的框架下,首先将复杂可交互场景下的机器人搜救任务描述为高层半马尔可夫决策过程与低层马尔可夫决策过程的双层结构,并针对不同层级设计不同的状态空间、动作空间与奖励函数等.其次,针对传统强化学习算法中目标与奖励函数需要人工设计且缺乏通用性的问题,应用基于SAC的异策略分层强化学习算法训练双足移动机器人与复杂场景交互,通过数据的高效利用和目标空间的调整实现救援机器人的自主决策.仿真结果验证了所设计的算法在解决复杂多路径搜救任务中的有效性和通用性.关键词:分层强化学习;SoftActor鄄Critic算法;搜索救援任务;双足移动机器人;自主决策;交互场景中图分类号:U461;TP308文献标志码:A文章编号:0254-0037(2023)04-0421-12doi:10.11936/bjutxb2022090006收稿日期:2022鄄09鄄11;修回日期:2022鄄11鄄24基金项目:国家自然科学基金面上项目(62273028,62073025,62073026)作者简介:殷辰堃(1981—),男,副教授,主要从事数据驱动控制、强化学习、迭代学习控制方面的研究,E鄄mail:chkyin@bjtu.edu.cnAutonomousDecision鄄MakingofSearchingandRescueRobotsBasedonOff鄄PolicyHierarchicalReinforcementLearninginaComplexInteractiveEnvironmentYINChenkun,JIHongxuan,ZHANGYanxin(SchoolofElectronicandInformationEngineering,BeijingJiaotongUniversity,Beijing100044,China)Abstract:Theautonomousdecision鄄makingofrobotsinsearchingandrescuetasksisofgreatsignificanceforreducingtherisktohumanrescuers.Inordertomaketherobotgeneratedecision鄄makingautonomouslyandpathplanningreasonablyinthefaceofcomplexsearchingandrescuetaskswithmulti鄄solution,anoff鄄policyhierarchicalreinforcementlearningalgorithmisdesignedinthispaper.Thealgorithmconsistsoftwolayerso...
