基于改进DQN算法的容器集群自均衡调度策略_谢雍生.pdf

h t t p:/ww w.j s j k x.c o mD O I:1 0.1 1 8 9 6/j s j k x.2 2 0 3 0 0 2 1 5到稿日期:2 0 2 2-0 3-2 2 返修日期:2 0 2 2-0 7-1 9基金项目:国家重点研发计划(2 0 1 8 Y F B 1 4 0 4 4 0 4),国家自然科学基金(6 2 1 6 2 0 0 3,6 1 7 6 2 0 0 8)T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lK e yR&DP r o g r a mo fC h i n a(2 0 1 8 Y F B 1 4 0 4 4 0 4)a n dN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(6 2 1 6 2 0 0 3,6 1 7 6 2 0 0 8).通信作者:陈宁江(c h n j g x u.e d u.c n)基于改进D Q N算法的容器集群自均衡调度策略谢雍生1黄相恒1陈宁江1,2,31广西大学计算机与电子信息学院 南宁5 3 0 0 0 42广西智能数字服务工程技术研究中心 南宁5 3 0 0 0 43广西高校并行分布与智能计算重点实验室 南宁5 3 0 0 0 4(x y s_g x u 1 6 3.c o m)摘 要 容器云系统的资源调度策略对资源利用率和集群性能起着重要作用。现有的容器集群调度没有充分考虑节点内部和节点之间的资源占用情况,容易出现容器资源瓶颈,造成资源利用率低和服务可靠性差的问题。为了均衡容器集群的工作负载,减少容器资源瓶颈的出现,提出了一种基于D QN(D e e pQ-l e a r n i n gN e t w o r k)的容器集群调度优化算法C S-D QN(C o n t a i n e rS c h e d u l i n gO p t i m i z a t i o nS t r a t e g yB a s e do nD QN)。首先提出一种面向负载均衡的容器集群资源利用率优化模型。然后利用深度强化学习方法,设计一种基于D QN的容器集群调度算法,定义相关的状态空间、动作空间和奖励函数。通过引入改进的D QN算法,基于自学习方法生成满足优化目标的容器动态调度策略。实验结果表明,该调度策略扩大了在调度中可部署容器的规模,在不同的工作负载中实现了较好的负载均衡,提高了资源利用率,更好地保证了服务可靠性。关键词:容器云;D e e pQ-l e a r n i n gN e t w o r k;集群;调度策略中图法分类号 T P 3 9 1 S e l f-b a l a n c e dS c h e d u l i n gS t r a t e g yf o rC o n t a i n e rC l u s t e rB a s e do nI m p r o v e dD Q NA l g o r i t h mX I EY o n g s h e n g1,HUANGX i a n g h e n g1a n dCHE NN i n g j i a n g1,2,31S c h o o l o fC o m p u t e ra n dE l e c t r o n i c I n f o r m a t i o n,G u a n g x iU n i v e r s i t y,N a n n i n g5 3 0 0 0 4,C h i n a2G u a n g x i I n t e l l i g e n tD i g i t a lS e r v i c e sR e s e a r c hC e n t e ro fE n g i n e e r i n gT e c h n o l o g y,N a n n i n g5 3 0 0 0 4,C h i n a3K e yL a b o r a t o r yo fP a r a l l e l,D i s t r i b u t e da n dI n t e l l i g e n tC o m p u t i n g(G u a n g x iU n i v e r s i t y),E d u c a t i o nD e p a r t m e n to fG u a n g x iZ h u a n gA u t o n o-m o u sR e g i o n,N a n n i n g5 3 0 0 0 4,C h i n aA b s t r a c t T h er e s o u r c es c h e d u l i n gs t r a t e g yo f c o n t a i n e rc l o u ds y s t e mp l a y sa ni m p o r t a n t r o l e i nr e s o u r c eu t i l i z a t i o na n dc l u s t e rp e r f o r m a n c e.T h e e x i s t i n gc o n t a i n e r c l u s t e r s c h e d u l i n gd o e sn o t f u l l y t a k e i n t oa c c o u n t t h e r e s o u r c e o c c u p a n c yw i t h i na n db e t w e e nn o d e s,w h i c h i sp r o n e t oc o n t a i n e r r e s o u r c eb o t t l e n e c k s,r e s u l t i n g i nl o wr e s o u r c eu t i l i z a t i o na n dp o o rs e r v i c er e l i a b i l i t y.I no r d e rt ob a l a n c e t h ew o r k l o a do f c o n t a i n e r c l u s t e r a n d r e d u c e t h eb o t t l e n e c ko f c o n t a i n e r r e s o u r c e s,t h i sp a p e r p r o p o s e s a c o n t a i n e r c l u s-t e r s c h e d u l i n go p t i m i z a t i o na l g o r i t h mC S-D QN(c o n t a i n e r s c h e d u l i n go p t i m i z a t i o ns t r a t e g yb a s e do nD QN)b a s e do nd e e pQ-l e a r-n i n gn e t w o r k(D QN).F i r s t l y,a no p t i m i z a t i o nm o d e l o f c o n t a i n e r c l u s t e r r e s o u r c eu t i l i z a t i o n f o r l o a db a l a n c i n g i sp r o p o s e d.T h e n,u s i n gt h ed e e pr e i n f o r c e m e n t l e a r n i n gm e t h o d,ac o n t a i n e rc l u s t e rs c h e d u l i n ga l g o r i t h mb a s e do nD QNi sd e s i g n e d,a n dt h er e l e-v a n t s t a t e s p a c e,a c t i o ns p a c e a n d r e w a r d f u n c t i o na r ed e f i n e d.B y i n t r o d u c i n g t h e i m p r o v e dD QNa l g o r i t h m,t h e c o n t a i n e r d y n a m i cs c h e d u l i n gs t r a t e g yw h i c hm e e t s t h eo p t i m i z a t i o ng o a l i sg e n e r a t e db a s e do n t h e s e l f-l e a r n i n gm e t h o d.T h ep r o t o t y p e e x p e r i m e n t a lr e s u l t ss h o wt h a t t h es c h e d u l i n gs t r a t e g ye x p a n d s t h es c a l eo fd e p l o y a b l ec o n t a i n e r s i ns c h e d u l i n g,a c h i e v e sb e t t e r l o a db a l a n c i n gi nd i f f e r e n tw o r k l o a d s,i m p r o v e sr e s o u r c eu t i l i z a t i o n,a n dt h es e r v i c er e l i a b i l i t y i sb e t t e rg u a r a n t e e d.K e y w o r d s C o n t a i n e r c l o u d,D e e pQ-l e a r n i n gN e t w o r k,C l u s t e r,S c h e d u l i n gs t r a t e g y 1 引言当前的云服务供应商日益关注将容器服务(C o n t a i n e ra saS e r v i c e,C a a S)纳入数据中心的集群管理。容器集群管理需要将数量众多的容器实例高效地调度部署到合适的节点。同时,容器集群管理也面临着诸多挑战,如成本高、资源利用不均衡、服务可用性差、能源效应低等。在现有的容器集群编排系统 中,代 表 性 成 果 有D o c k e r的 原 生 编 排 管 理 系 统S w a r m、谷歌的K u b e r n e t e s和A p a c h eM e s o s等,它们分别提供了各自的容器调度策略。例如,S w a r m提供了基于贪婪算法的S p r e a d策略、负载最高节点优先的B i n P a c k策略、随机策略等,主 要适 用于 短平 快 模 式 的 中 小 型 业 务 应 用 场 景。K u b e r n e t e s设计了“预选-优选”两阶段容器集群编排策略,更适用于大型的、比较复杂的业务场景,但是缺乏充分的应对集群故障的自适应调整能力1。鉴于此,研究者们提出了其他容器集群调度解决方案。在启发式算法方面,文献2 提出了一种基于蚁群优化算法的调度策略来平衡集群资源的使用。文献3 针对S w a r m的不足提出了一种多目标优化容器集群调度算法,将集群的负载均衡、镜像传输的网络时间消耗作为调度的考虑因子。文献4 设计了一种以减少容器间的通信负载压力为目标的容器集群调度方法。文献5 提出了一种基于强化学习的容器水平/垂直弹