多源信息融合的设备热缺陷智能实时检测方法_赵锐.pdf

基金项目:山西省重点研发计划项目(201803D31041);国网山西省电力公司科技项目(5205B020000V)收稿日期:20210416修回日期:20210422第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02013207多源信息融合的设备热缺陷智能实时检测方法赵锐，周雪枫(国网大同供电公司，山西 大同 037008)摘要:针对现有算法对多类变电站设备热缺陷诊断效率不高，难以满足边缘端实时检测需求等问题，提出了一种基于多源信息融合的设备热缺陷智能实时检测方法。首先利用粒子群优化的 SIFT 描述子实现多源图像的配准。其次提出改进的YOLOv4 算法实现设备检测，将特征提取网络 CspDarket53 替换为轻量级网络 GhostNet，并将特征融合模块的普通卷积层替换为深度可分离卷积，使模型轻量化;将三尺度检测扩充为四尺度，加强对遮挡目标的检测;在特征融合部分嵌入 ASFF 模块，提升设备检测精度。最后完成设备的热缺陷诊断以及缺陷等级判定。实验结果表明，文中方法达到 93.56%的 mAP 值，推理速度达到 35FPS，可用于变电站设备热缺陷的实时监测。关键词:多源信息融合;热缺陷诊断;实时检测中图分类号:TP391文献标识码:BIntelligent ealTime Detection Method for Equipment ThermalDefects Based on MultiSource Information FusionZHAO ui，ZHOU Xuefeng(State Grid Datong Power Supply Company，Datong Shanxi 037008，China)ABSTACT:Aiming at the problem that existing algorithms are not efficient in diagnosing thermal defects of multipletypes of substation equipment，and it is difficult to meet the problem of realtime detection of edgeend equipment，and are difficult to meet the realtime detection requirements of the edge，an intelligent realtime detection methodfor thermal defects of equipment based on multisource information fusion is proposedan intelligent realtime detec-tion method of equipment thermal defects based on multisource information fusion is proposed First，the SIFT de-scriptor optimized by particle swarm wais used to realize the registration of multisource images Secondly，theYOLOv4 algorithm iwas improved，the feature extraction network CspDarket53 wais replaced with a lightweight net-work GhostNet，and the ordinary convolution layer of the feature fusion module wais replaced with a deep separableconvolution to complete model lightweight processing;for For substations with complex and diverse equipment Iin thescene，the threescale detection wais expanded to fourscale，tand the detection of occluded targets is was strength-ened;Tthe ASFF module is was embedded to further improve the detection accuracy of the device Finally，completethe thermal defect diagnosis and defect level judgment of the equipment were completed The experimental resultsshow that the method in this paper achieves a mAP value of 9356%and an inference speed of 35FPS，which can beused for realtime monitoring of thermal defects in substation equipmentKEYWODS:Multisource information fusion;Hermal defect diagnosis;ealtime detection1引言变电站设备在长期受高压、高温工作状态后，设备部件会因破损、氧化腐蚀等原因导致劣化或过热运行1，甚至造成重大事故，因此定期对设备进行巡检是有必要的。红外技术因其速度快、精度高、非接触性而被广泛应用于变电站设备的热缺陷诊断2。通常是技术人员利用手持式红外热像仪巡查，或进行后续的人工或计算机识别，诊断效率较低。随着人工智能技术发展，基于红外图像的变电站设备缺陷智能评估成为可能。AhmedM M3 等提出了多层感知网231络模型，对电气设备红外热像进行热缺陷智能预测和诊断。李文璞4 等提出基于 Faster CNN 算法对变电设备的缺陷识别。更多研究者针对热缺陷检测的实时性进行研究。王彦博5 等提出改进 SSD 算法，对热像图中的设备进行热缺陷检测。武建华6 等人提出基于 YOLOv3 算法的绝缘子红外图像缺陷检测方法。基于此，卷积神经网络具有自动识别红外图像缺陷的能力7，但当前红外成像技术发展水不敏感，对图像设备类型识别准确率不高。近年来，研究者提出将可见光和红外图像融合并应用于电力设备热缺陷诊断。Bushra Jalil8 等集成红外与可见光图像来检测电力线热点。曹培9 等提出基于多光源图像决策级融合的绝缘子污秽状态诊断方法。但上述文献只针对一类或少类的设备进行研究，在多目标设备检测方面，孙海铭10 等基于 Mask CNN 算法对可见光图像识别，并结合红外测温技术对电力设备进行智能监测。Jin Yilin11 等提出基于 CNN 对可见光图像进行分类，利用深度信任网络对融合图像进行缺陷诊断的方法。然而可见光和红外图像融合进行智能缺陷诊断仍较难满足实时性需求。针对以上问题，本文提出综合利用可见光图像和热红外信息，改进的 YOLOv4 算法实现对可见光图像中多种设备识别与定位，并结合红外诊断技术对其主动测温并进行热缺陷判定，最终提出的多源信息融合的变电站设备缺陷检测方法，能够在不停电、无接触、无损的情况下实时精确地定位出缺陷的位置及缺陷严重程度，有助于实现电力设备热缺陷诊断的智能化和自动化。2图像预处理2.1红外图像预处理由于采集的部分电力设备红外图像会受到外部环境因素的干扰，存在不清晰、噪点多等问题，且红外图像中的多个设备之间相互重叠，在一定程度上影响后续的监测结果，因此首先采用中值滤波对图像进行去噪，然后基于 Gamma 变换增强设备部位对比度的同时降低背景的对比度，使目标更加明显，Gamma 变换方法如下S=(I+)(1)其中，I 为输入的归一化灰度图，S 为输出的归一化灰度图，为补偿系数，为系数，本文基于实验对比选择=0.1 且=1.5。去噪和增强后的红外图像比原始图像更清晰、对比度更高、设备细节更明显。结果如图 1 和图 2。2.2图像配准可见光与红外图像配准是多源信息融合与热缺陷检测的基础。SIFT(Scaleinvariant feature transform)描述子，不受视角变化和噪点的干扰，具有不变性和稳定性，可在图像中检测出关键点。然而可见光图像与红外图像尺度变化在不同方向存在明显差异，提取到的匹配特征点数会随之下降，从而导致配准可靠性降低。因此，将 粒 子 群 优 化(Particle swarm optimization，图 1原图像图 2处理后图像PSO)12 算法作用于搜索匹配的特征点方法上，利用 SIFT 算子提取匹配特征点进行配准处理，从而获得准确的红外与可见光图像的变换关系。将图像匹配特征点数与相似度函数结合构成适应度函数，其中相似度函数同时考虑到距离、角度两个因素，fitness()越小，提取的匹配特征点越多，特征向量相似性越大，待匹配图像与基准图像匹配程度越高。适应度函数如下方法:fitness(uk，vk)=1A B Max(N1 N2)(2)=arccos uk，vkukvk(3)B=1 90(4)A=1 ukvkuk(5)其中，u、v 分别为待匹配图像与基准图像;N1、N2分别表示 u、v 提取到的 SIFT 匹配特征点个数。对于本文的多源图像，若直接采用 SIFT 算子进行图像配准，最终匹配正确点特征点极少，图像匹配失败;而粒子群优化后的 SIFT 算子，最终提取到一定数量的正确匹配特征点，实现可见光图像与红外图像的精准融合。配准过程和结果如图 3。3改进 YOLOv4 的电力设备识别与定位在对电力设备进行热缺陷监测之前，需利用深度学习算法实 现 设 备 的 识 别 与 定 位。YOLOv413 算 法 在 原 有YOLOv314 的基础上，结合现有的技术进行了改进15，但由于骨干网络 Cspdarket53 结构复杂，需消耗大量的计算资源，该网络模型通常部署在 GPU 上，对硬件要求极高。本文提出优化的 YOLOv4 算法，减少模型参数、提升推理速度，使之能够在边缘端设备运行，并增加遮挡目标检测尺度与自适应空间特征融合(Adaptively Spatial Feature Fusion，ASFF)模块，有效地提高物体检测的准确率，弥补参数的减少导致的精度损失。改进 YOLOv4 模型结构如图 4 所示，主要由以下四个模块组成，分别在 3.1，3.2，3.3，3.4 节中进行阐述。3.1GhostNet 特征提取网络选择 GhostNet16 替 换 CSPDarket53 作 为 骨 干 网 络。2020 年，华为诺亚方舟实验室提出 GhostNet 轻量级网络，其网络结构如图 4，由多个 Ghost bottleneck 堆叠而成。当 Stride=1 时，Ghost bottleneck 由两个堆叠的 Ghost module 组成，331Ghost module 结构如图 5，shortcut 负责连接输入和输出，当Stride=2 时，在两个 Ghost module 间添加深度卷积，使用shortcut 连接输入和输出。GhostNet 作为轻量级网络，是由于网络中的 Ghost module 能够利用线性运算降低卷积层的计算成本，在移动设备上快速推理的各种任务上。图 3图像配准流程与结果图 4改进 YOLOv4 模型结构图当输入数据 X，高度为 h 和宽度为 w，通道数为 c，运用常规卷积生成的 n 个卷积层高度为h，宽度为w，卷积过程需要的运算量约为 hwcnwh，而 Ghost module 卷积其步骤可总结如下:1)用常规卷积得到 p 个