基金项目:国家自然科学基金青年科学基金项目(51807124);河北省自然科学基金青年基金项目(E2015210082)收稿日期:2021-06-30修回日期:2021-08-07第40卷第4期计算机仿真2023年4月文章编号:1006-9348(2023)04-0422-05基于DDPG的自主水下机器人角度控制研究李凌霄,王伟明,贺佳飞,闻程(石家庄铁道大学电气与电子工程学院,河北石家庄050043)摘要:针对自主水下机器人AUV(AutonomousUnderwaterVehicle)的水下角度控制问题,提出一种基于深度确定性策略梯度DDPG(DeepDeterministicPolicyGradient)的水下控制方法,采用熵正则化的方式改进DDPG算法的训练效果。仿真结果表明,改进后的DDPG算法在水下角度的控制方面相较于未改进的DDPG算法具有更快速、更稳定的控制效果,可以有效的提高AUV的水下角度控制性能,同时也具有较强的鲁棒性。关键词:自主水下机器人;深度确定性策略梯度;角度控制;熵正则化中图分类号:TP183;文献标识码:BResearchonAngleControlofAutonomousUnderwaterRobotBasedonDDPGLILing-xiao,WANGWei-ming,HEJia-fei,WENCheng(SchoolofElectricalandElectronicEngineering,ShijiazhuangTiedaoUniversity,ShijiazhuangHebei050043,China)ABSTRACT:AimingattheunderwateranglecontrolproblemofAUV(AutonomousUnderwaterVehicle),anun-derwatercontrolmethodbasedonDDPG(DeepDeterministicPolicyGradient)isproposed.Theentropyregulariza-tionmethodisusedtoimprovethetrainingeffectoftheDDPGalgorithm.ThesimulationexperimentresultsshowthattheimprovedDDPGalgorithmhasafasterandmorestablecontroleffectintheunderwateranglecontrolcomparedwiththeunimprovedDDPGalgorithm,whichcaneffectivelyimprovetheunderwateranglecontrolperformanceoftheAUV,anditalsohasstrongrobustness.KEYWORDS:Autonomousunderwatervehicle;Deepdeterministicpolicygradient;Anglecontrol;Entropyregulariza-tion1引言经典的控制理论在解决AUV这种复杂非线性模型时具有很多的局限性,比如传统的PID控制[1],模糊控制[2],滑模控制[3],在实际环境中通常会出现各种各样的问题,PID控制虽然结构和实现较为简便,但是在不确定性和干扰性强的被控对象中,参数的整定和调试会限制PID控制在高级应用中的性能。模糊控制和滑模控制不需要建立复杂的系统模型,但是模糊控制的控制精确度会随着模糊处理的信息多少而降低,滑模控制的变量抖动幅度也相较于其它方法有着很明显的差距。这些...
