基于高精度机器视觉的电力违规作业动作监控识别算法设计_贺洲强.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第15期No.152023年8月Aug.2023收稿日期：2021-12-21稿件编号：202112134基金项目：国网甘肃省电力公司安全劳动技术保护科技兴安工程项目（SGGS2021431）作者简介：贺洲强（1981），男，甘肃武山人，硕士，高级工程师。研究方向：安全监督、生产技术管理、应急管理。随着人工智能技术的不断进步，对电力作业人员违规动作监控也提出了更严格的要求。但由于监管部门的责任缺失，违规动作易引发安全事故的发基于高精度机器视觉的电力违规作业动作监控识别算法设计贺洲强1，夏 天1，陈 亮2，杨 康2，胡进栋2（1.国网甘肃省电力公司，甘肃 兰州 730030；2.国网甘肃省电力公司 兰州供电公司，甘肃 兰州 730070）摘要：随着神经网络与深度学习算法研究的不断深入，对电力作业人员的违规动作监控与识别也有了更高要求。为提升电力生产的安全系数，开展了基于高精度机器视觉的电力违规作业动作监控识别算法设计研究。该算法采用主流的CNN模型对电力违规作业进行监控和数据处理，通过交叉混合操作完成特征提取，并利用 Logistic分类器与随机森林分类器对违规作业动作进行目标识别。同时基于间隔帧间差分法检测两帧图像间的差异，对目标图像进行二值化处理，且通过坐标的变化判断目标位置的偏移，增加了算法的鲁棒性。算例分析结果表明，所述方法的识别准确率更高、运行效率更快，具有良好的工程应用价值。关键词：机器视觉；违规作业；监控识别；特征提取中图分类号：TN-9文献标识码：A文章编号：1674-6236（2023）15-0145-05DOI：10.14022/j.issn1674-6236.2023.15.030Design of monitoring and recognition algorithm for power violation operation basedon highprecision machine visionHE Zhouqiang1，XIA Tian1，CHEN Liang2，YANG Kang2，HU Jindong2（1.State Grid Gansu Electric Power Company，Lanzhou 730030，China；2.Lanzhou Power SupplyCompany，State Grid Gansu Electric Power Company，Lanzhou 730070，China）Abstract:With the deepening of the research on neural network and deep learning algorithm，there arehigher requirements for the monitoring and identification of illegal actions of power operators.In order toimprove the safety factor of power production，the design and research of action monitoring andrecognition algorithm of power illegal operation based on highprecision machine vision is carried out.The algorithm uses the mainstream CNN model to monitor and process the data of power illegaloperation，extracts the features through cross hybrid operation，and uses Logistic classifier and randomforest classifier to recognize the target of illegal operation.The difference between two frames is detectedbased on the inter frame difference method，and the target image is binarized.The offset of the targetposition is judged through the change of coordinates，so as to increase the robustness of the algorithm.The example analysis results show that the method described in this paper has higher recognitionaccuracy，faster operation efficiency and good engineering application value.Keywords:machine vision；violation operation；monitoring and recognition；feature extraction-145电子设计工程 2023年第15期生1-3。为提高电力施工的安全系数，采用智能化技术对施工现场进行监控识别成为当前的主流4。移动巡检机器人搭载高清摄像头获取电力施工现场的实时数据，并基于高精度机器视觉技术形成智能分析算法。当发现有电力作业人员出现违规动作时，即可在控制中台实时反映5-7。近年来，机器视觉与深度学习算法被研究者广泛关注，卷积神经网络在目标识别中也取得了突破性进展，增加了算法的应用场景8-10。文献11利用神经网络在目标数据集上进行测试与识别，取得了高达90%的识别率，为深度学习的进一步推广奠定了良好的基础。文献12采用双流网络结构，通过从 CNN（Convolutional NeuralNetwork）中提取有效信息并优化视频的参数与特征，进而获得了包含 4种数据流的网络模型，且取得了良好的效果12。国内学者利用前端管理系统对电力作业现场进行了智能巡查，通过海量数据的对比分析，可有效降低电力作业的安全风险13。但在实际应用中，由于作业人员的轨迹动态变化以及周围环境错综复杂，在监控识别方面存在精度较低、误差较大的问题。因此，该文开展了基于高精度机器视觉的电力违规作业动作监控识别算法设计研究。1高精度机器视觉算法1.1改进FP-FRCNN模型为解决数据规模较小、特征提取困难的问题，建立了改进FP-FRCNN模型。该模型主要由金字塔结构组成，包括主干网络与压缩激励网络，通过对信息层的不断压缩来实现单元网络的信息压缩操作，使神经元之间形成相互依赖的联系14。为降低设置参数对过程带来的影响，故而减少通道因子，并对数据进行重新校准。建立特征网络的基本结构如图 1所示，图中对每个 SE-Dense Net网络均进行了卷积操作与采样分析，从而形成网络结构。图1金字塔网络结构1.2池化层调整为了使 RPN（Region Proposal Network）模块与预测层相连接，需先将各个模块相连，进而建立改进的FP-FRCNN 模型，整体结构如图 2 所示。通过池化与卷积操作形成特征融合层，并通过预测层连接到RolAlign层，进而建立模型的整体结构。图2改进FP-FRCNN模型的整体结构1.3特征提取该文通过交叉混合操作提取图像的目标特征，基本思路是将若干个独立并行的卷积神经网络进行混合操作，并对全连接层进行拆分与混合连接，以得到图像特征。为了提取反映不同违规操作的典型特征，需对每组 CNN特征进行交叉处理。若特征向量过多将会造成图像特征的叠加与冗余，不利于分类处理，所以需要对全连接层进行扩充。CNN 模型的运行速度由收敛速度决定，而收敛速度的快慢取决于神经元数量。但神经元的数量同卷积与步长相关性较大，因此为保证特征提取的一致性，需增加样本特征的鲁棒性。此过程具体操作为：对输入神经网络的图像信息进行变换，并将该信息进行归一化处理，经HSV变换后提取图像的V通道分量15-16。在进行图像训练时，通过多次卷积操作获取图像特征。并根据反向传播机制向前传播，再基于链式求导法则获取权值，其步骤如下：1）样本数据设置。对输入神经网络的样本数据进行归一化设置，调整图像的长与宽，并以相同比例变换原始数据，得到的数据库即为CNN的输入集。2）设置模型的基本参数。对于两个结构相似的CNN模型，需设置卷积核大小、池化步长、特征图大小与特征图个数等基本参数。3）应用 FP算法。假设XL为输入，wL、gL分别为权值矩阵和激活函数，则算法的输出z可表示为：z=gL(XL;wL)（1）-146在网络层中，损失函数可表示为：l(xi,yi)=-1ni=1n(yi-lnz)+k=1Lj=1kwj2（2）式中，为正则化系数，n为样本数据集中的样本数量，xi为数据输入值。4）应用BP神经网络算法。假设目标函数为：O=argmin1ni=1nl(gL(xi;wL),yi)（3）在求取目标函数的最优解过程中，不断迭代上述模型，以达到最优收敛值。在统计最大池化层的误差时，需计算卷积层的误差。假设卷积层输出个数为M，则最大池化层的误差计算公式为：yjL-1=(i=1MyiLKij)gL(xjL;wL)（4）式中，Kij为池化层对应的权值。2电力作业现场监控识别2.1电力违规作业动作分类根据算法检测流程，需对电力违规作业进行动作分类，常用的机器学习方法有支持向量机（SupportVector Machine，SVM）、贝叶斯方法（Bayesian Analysis）等。贝叶斯分类法需提前采集前期数据；而神经网络分类方法则需准备大量的样本数据及参数，所占用的资源过多。综合各种分类方法的优缺点，选择SVM 分类算法具有更优的效果。在 SVM 分类算法检测之前，需获得违规动作的关键坐标数据。动作监控识别需进行两次人体关键点检测及动作分类。其中，第一次是为了检测电力工作人员是否发生违规动作行为。第二次检测是为了检测电力工作人员是否采取了接地措施。为防止电力工作人员在违规过程中设备发生放电现象，故在训练时分成两个分类器，以分别针对不同的违规行为。通过对比物体的关键坐标点，定义物体的高度与宽度，得到高宽比因子为：R=HW（5）由于发生电力违规动作时，人体的关键部位位置会发生肉眼可见的偏移，因此可通过坐标的改变反映动作的变化。在相机视野内，当工作人员靠近电气设备时，二者之间的间距显著变小。但由于相机与人体间的距离会发生变化，所以不能作为特征进行识别，而是利用二者间的比值作为特征向量，便可增加识别的鲁棒性。2.2间隔帧间差分法间隔帧间差分法是识别两相邻灰度图像素差别的经典方法，其可检测两帧图像间的差异。此外，在间隔差分法之间融合HSV颜色特征还能够检测相对运动的变化。图 3 所示为该方法的流程，将两图像进行差分，利用重叠影响扩大运动特征差异，可有效减少运动物体的干扰。该方法不易受到周围光线及声音的影响，具有较强的鲁棒性。图3间隔帧间差分法流程图假设第 t 帧图像和第t+n帧图像的灰度值分别为ft(x,y)与ft+n(x,y)，取二者的灰度值并作差可得到：dt+n(x,y)=|ft(x,y)-ft+n(x,y)（6）式中，dt+n(x,y)表示两帧图像的差分值。对其进行二值化，可得到二值图像b(t,t+n)，根据二值图像像素点的位置来判断两帧图像间是否发生运动轨迹的改变。2.3特征识别作为有监督学习的神经网络算法，特征提取依赖于卷积与池化操作来实现。其权重参数的选取主要依赖于梯度下降法，并通过不断地反复迭代训练提高网络的识别精度。在对提取到的典型特征进行分类时，采用 Logistic 分类器，其常用于解决二分类问题。假设X1、X2、Xn分别为特征向量，其对应