大规模容器云平台海量软件数据资源实时监控方法_王军波.pdf

收稿日期:2022-04-15基金项目:陕西省教育科学“十四五”规划项目(SGH21Y 0529)作者简介:王军波(1981-),男,陕西岐山人,学士,讲师,主要研究方向为视频侦查,电子防范技术。大规模容器云平台海量软件数据资源实时监控方法王军波(陕西警官职业学院,西安 710021)摘 要:为提高容器云资源监控效果,设计一种大规模容器云平台海量数据资源实时监控方法。首先采集容器云资源数据,对海量软件数据资源进行格式变换,将数据转换成有监督问题的时间序列,再采用统计模型的方式对每个数据资源进行建模和匹配,并对各部分软件数据资源进行分割,最后采用序列化蒙特卡洛方法对云平台海量软件数据资源实时监控。实验结果表明,设计方法能够准确监测出容器云中软件数据资源集群变化情况,在各个项目的监测上,监控准确率均在 95%以上,监测速度较快,最多花费9 s 就能够实现软件数据资源变化情况的监控,证明所提出方法能够有效提高容器云海量软件数据资源的监控效果。关键词:大规模;容器云平台;软件数据资源;实时监控;方法设计 中图分类号:TP242 文献标识码:A DOI 编码:10.14016/ki.1001-9227.2023.01.010Real time monitoring method for massive software data resources of large-scale container cloud platformWANG Junbo(Shaanxi Police Academy,Xian,710021 China)Abstract:In order to improve the monitoring effect of container cloud resources,a real-time monitoring method of mas-sive data resources of large-scale container cloud platform is designed.Firstly,collect the container cloud resource data,transform the format of the massive software data resources,convert the data into a time series with supervision problems,then use the statistical model to model and match each data resource,and segment each part of the software data resources.Final-ly,use the serialized Monte Carlo method to monitor the massive software data resources of the cloud platform in real time.The experimental results show that the design method can accurately monitor the changes of software data resources cluster in container cloud.In the monitoring of each project,the monitoring accuracy is more than 95%,the monitoring speed is fast,and it can monitor the changes of software data resources in up to 9 seconds.It is proved that the proposed method can effec-tively improve the monitoring effect of massive software data resources in container cloud.Key words:large-scale;container cloud platform;software data resources;real time monitoring;method design0 引言 容器具有灵活、高效与快速的优点,促进了容器云的快速发展,逐渐成为个人或者企业用户的首选1。容器云是近两年在云计算新兴起的一种产品形态,是一种轻量级的虚拟化技术,其生命周期变化速度较快,能够根据实现软件资源的打包储存。但是容器技术发展时间较短,成熟度不高,在大规模集群应用中,使得容器云中包含的软件数据不断攀升,为数据监控变得复杂。同时,对资源的需求也不断变化,对高并发、高可用性的需求越来越强烈,如何全面有效地监控容器云中软件数据资源的运行情况,成为当前研究领域的研究热点之一2。当前,不少学者对容器云中的海量软件资源实时监控方法进行研究,例如,杨清波等人设计了一种基于容器的调控云 PaaS 平台,利用 Docker 容器技术设计调控云 PaaS 平台,对容器的资源调度和监控等进行分析,尽管这种方法可以实现资源的调度监控,但花费时间较多3;刘世嘉等人在云环境下设计了一种基于 SDN 的高效流量监控方案,应用自适应的频率调节算法对东西向流量采样并检测分类等方式实现资源数据流量的监控,但这种方法监测准确度较低4。郝鹏海等人研究了一种基于 Kafka 和 Kubernetes 的云平台监控告警系统,通过 Kafka 接收不同地区不同主机的设备运行信息等方式实现资源的监控,但这种方法存在监控滞后的问题5。由此可知,虽然目前有许多学者都研究了容器云中软件数据资源的实时监控方法,但是还存在资源监控效果较差等问题。特别是面对容器云平台规模不断扩大的情况,其中的软件数据资源呈现快速增长,更为软件数据资源的实时监控提出了挑战,为此,设计一种大规01大规模容器云平台海量软件数据资源实时监控方法 王军波模容器云平台海量软件数据资源实时监控方法。首先采集容器云资源数据,对海量软件数据资源进行格式变换,再采用统计模型的方式对每个数据资源进行建模和匹配,并对各部分软件数据资源进行分割,最后采用序列化蒙特卡洛方法对云平台海量软件数据资源实时监控,以期为提升容器云资源实时监控效果提供一定帮助。1容器云平台海量软件数据资源实时监控方法设计1.1 软件数据资源格式变换容器云平台是一种能够支持软件和应用程序上传储存的新技术平台,其中包含着大量的软件包和应用程序包,不同的软件包和应用程序包中都包含着大量的应用软件和数据,增加了容器云平台的监测难度,而且一旦出现数据资源丢失时很难及时察觉,对其进行处理,为此,对容器云海量软件数据资源实时监控方法进行设计。另外由于,在容器云平台中存储的软件和应用程序的格式不一,为了对其进行有效监控,必须对相关数据的格式进行变化。为此,设计以下软件数据资源格式变化方法。容器云平台中的海量软件数据资源的变化序列可表示为:F=f x,y,t0(),f x,y,t1()f x,y,tN-1()(1)上述公式中,N 代表海量软件数据资源序列的总帧数,f代表帧序6。由于存储方式以及程序错乱等原因会导致容器云平台中的海量软件数据资源丢失和模糊,存在大量噪声和干扰信息,为此在进行格式变换前,需要对海量软件数据资源进行预处理7。对数据资源进行分段线性灰度变换,将变换的数学表达式表示为:g(x,y)=caf(x,y)d-cb-af(x-y)-a+cMz-dMf-bf(x-y)-b+d(2)在此基础上,进行时间序列平稳性检验,在数据资源检验中,平稳序列的均值和方差函数是固定不变的,说明平稳的时间序列取值范围有明显界限,并且会围绕一个水平线上下浮动,所以根据这个原理判断时间序列是否具有平稳性,主要流程如下图所示:将判定公式表示为:xt=1xt-1+pxt-p+t(3)上述公式中,xt-1代表检测时间,p 代表检验参数。至此,将通过时间序列平稳性检验的数据保留。还需要对数据异常值进行处理,除去时间序列中的异常数据,如果检测出时间序列数据具有非平稳特征,就需要对时间序列处理,采用 d 阶差分方法处理这个问题,对初始值编码处理,根据领域相关知识设置基因位长度,采用二进制码设定优化变量。在进行解码处理,确定当前神经网络结构,转换成有监督问题的时间序列8。并判断是否满足约束条件,将数学公式推导为:D=xi=xi-xi-12xi=xi-xi-1dxi=d-1xi-d-1xi-1(4)上述公式中,xi代表第 i 个数据的随机性特征。图 1 时间序列检验流程至此,完成容器云平台海量软件数据资源格式变换,为后续实时监控提供基础。1.2 容器云平台海量软件数据资源匹配对于容器云平台海量软件数据资源来说,平台中的各个海量软件数据资源会符合随机概率分布情况。而监控过程中,背景是动态变化的,为此采用统计模型的方式对每个海量软件数据资源建模,将公式表示为:Dui,j=Dui,j+(1-)D-1i,j(5)上述公式中,代表可调增益参数,该参数与采样频率相关,Dui,j代表第 u 个软件数据资源中某一个资源的深度值,D-1i,j代表第 个资源的时间偏差9。11自动化与仪器仪表2023 年第 1 期(总第 279 期)通过上述过程得到每个软件数据资源的深度值,反映出容器云平台软件数据的动态特性。在此基础上对相关数据进行自适应更新,根据最大流算法的特点,分析同方向变化情况,将公式表示为:=1stsi=1i,j(6)上述公式中,s、t 分别为可调节系数,i,j代表软件数据资源的深度序列均值10。利用帧间差分法对各部分的软件数据资源进行分割,在容器云平台稳定不发生变化或者发生少量变化的情况下,若相邻软件数据资源小于设定阈值,则认为该软件数据资源是静止状态,如果大于设定的阈值,则认为软件数据资源属于运动的,对这些软件数据资源联合处理,达到去除平台本身状况干扰的目的,帧间差分法的原理如下所示11:Dk(x,y)=Fk(x,y)-Fk-1(x,y)(7)上述公式中,Fk(x,y)代表软件数据资源中连续资源,Dk(x,y)为两个软件数据资源相减后得到的差值资源,将其做如下处理,公式为:Rk(x,y)=1Dk(x,y)M0Dk(x,y)M(8)上述公式中,M 代表设置的阈值,如果软件数据资源差大于 M,则将该软件数据资源的值设置为 1,如果小于M,将此软件数据资源的值设置为 0。通过上述过程对资源进行分割。在此基础上,对资源匹配。常采用的方法为最近邻目标匹配方法,利用前后两个软件数据资源目标质心间最小距离追踪目标,特征代价函数表示为:CF(i,j)=xlr-xj1-1()2+yil-yJr-1()2()(9)上述公式中,xlr,yil()代表第 r 帧的质心坐标。通过对上述过程进行不断迭代,对所有的软件数据资源进行分割和匹配,为后续资源实时监控提供基础。1.3 容器云软件数据资源监控方法设计利用序列化蒙特卡洛方法实现容器云资源监控,该方法通过一组带有权值的随机采样粒子,可以对容器云平台中的海量软件数据资源的后验概率密度状态进行描述,可以避免目标状态矩阵的积分运算,为系统内资源跟踪提供有效方法12。对于容器云平台海量软件数据资源来说,其中存在积分区域,利用以下方法对其进行计算,将公式表示为:I=DG(x)dx(10)上述公式中,D 代表积分区域,dx 代表空间概率密度函数。在采用蒙特卡洛方法对粒子抽样求和基础上,估计积分结果值,公式如下:I=Dg(x)p(x)dx(11)其中,g(x)、p(x)分别代表系统先验知识和后验概率密度参数。在此基础上,将三角模糊数作为模糊数据的判断标准,获得数据的权重值,将资源隶属度函数表示为:M(x)=0 xax-ab-aaxc(12)其中,a、b、c 分别代表模糊函数,x 为隶属度函数的中间值13。为保证数据采样的一致性,需要保证采