采用无人机航拍图像的电力绝缘子缺损检测_王子睿.pdf

第 39 卷 第 2 期 福 建 电 脑 Vol.39 No.2 2023 年 2 月 Journal of Fujian Computer Feb.2023 本文得到福建省大学生创新创业训练计划(No.S202110399063)资助。王子睿(通信作者)，男，1999年生，主要研究领域为深度学习与机器觉。E-mail:。曾杰(通信作者)，男，2000年生，主要研究领域为深度学习与机器视觉。E-mail:。田英涛，男，2000年生，主要研究领域为深度学习与机器视觉。E-mail:。苏志从，男，1987年生，主要研究领域为新型电机理论与控制技术。E-mail:。采用无人机航拍图像的电力绝缘子缺损检测 王子睿 曾杰 田英涛 苏志从(泉州师范学院物理与信息工程学院 福建 泉州 362000)摘 要 高压输电线路距离远、规模大，工作环境恶劣，采用人力巡检耗时长、劳动强度大，不能满足日益增长的巡检需求。结合视觉检测与智能算法，使用无人机航拍图像实现目标检测和故障辨识，能准确快速定位故障点，大幅提高巡检质量，提高故障检测的效率，已经成为当前研究的热点。本文在深入调查大量国内外文献的基础上，使用 Faster-RCNN 算法，使用848 张无人机捕获的绝缘子图像构建数据集，训练出了用于检测绝缘子以及绝缘子缺损的模型，引入平均精度 MAP 等指标对模型进行评价，在绝缘子以及绝缘子缺损两类识别中，MAP 分别达到了 97.73%和 90.52%。结果表明，该算法在识别绝缘子缺损故障具有良好的效果。关键词 深度学习；巡线无人机；绝缘子故障检测；高压输电线路 中图法分类号 TP391.41 DOI:10.16707/ki.fjpc.2023.02.003 Power Insulator Defect Detection Using UAV Aerial Imagery WANG Zirui,ZENG Jie,TIAN Yingtao,SU Zhicong(Department of Physics&Information Engineering,Quanzhou Normal University,Quanzhou,China,362000)Abstract Finding automated fault identification methods for transmission lines has been a hot research problem in the field of power applications in order to meet the growing need for electricity consumption and safe operation of power grid systems.In this paper,based on an in-depth survey of a large amount of domestic and international literature,the Faster-RCNN algorithm is used to train a model for detecting insulators as well as missing insulators using 848 UAV-captured insulator images as the main research object,and the model is evaluated by introducing indexes such as MAP,which reaches 97.73%in the recognition of insulators as well as missing insulators and 90.52%.The implementation results show that the algorithm can achieve good results in the field of identifying missing insulator faults.Keywords Deep Learning;Line Patrol UAV;Insulator Failure Detection;High Voltage Transmission Lines 1 引言 随着我国社会与经济的不断发展，电力需求也进入了快速增长阶段。目前我国电力需求最大的地区是中东部地区，而能源却主要集中在西北部地区。在此背景下，远距离输电技术得到了迅速发展，电力系统规模庞大且输电线路极长1。为了保证高压输电线路的安全，需要充分考虑高压输电线路的运行安全与维护。传统的输电线路巡检方法不仅效率较低，而且十分依赖作业人员的经验。随着无人机自动化数据采集设备和人工神经网络技术的发展，采用无人机对输电线路进行巡检并实现线路故障辨识受到关注2-4。无人机巡检具有轻便、快捷、易于检测的特点，已经成为当前输电线路故障识别的一大发展趋势5。利用计算机自动提取故障图像，能够及时检测出输电线路的故障，使电力人员给予维修，不仅12 王子睿等：采用无人机航拍图像的电力绝缘子缺损检测 第 2 期 效率高，还可以弥补人工巡检的不足，提高输电线路运维的稳定性、安全性和可靠性。因此，研究适用于无人机航拍图像进行输电线路巡检的技术具有工程应用价值。本文以 Faster-RCNN 网络为基础，以高压输电线路绝缘子为对象，训练出能够辨识绝缘子及其缺损的模型，引入平均精度、F1 值、精确率、召回率等指标，表征该方法的识别准确性。实现结果表明，该算法能在识别绝缘子缺损故障取得良好的效果。2 Faster-RCNN 目标检测算法原理 Faster-RCNN 算法在结构上将四大模块整合到一个网络中，使综合性能有较大提升，特别是对目标的检查速度有了显著的提升6。Faster-RCNN 网络共包含四个部分：（1）一个卷积神经网络，用于对输入图像进行特征提取，被称为主干特征提取网络。该网络是可以替换的，本次实验使用的是ResNet50 卷积神经网络，利用感兴趣区域池化生成特征映射（特征图）。并且该特征图将被共享于后边的区域候选网络和全连接层。（2）区域候选网络层。输入是在第一步中生成的特征图，区域候选网络层用于生成候选区域。（3）感兴趣区域池化层。该层收集输入的共享特征图和候选区域，综合这些信息后提取具有固定尺寸的建议特征图，送入后续全连接层判定目标类别。（4）分类与回归模块。利用建议特征图计算物体的类别，同时通过边界框回归得到检测框的最终位置7-8。Faster-RCNN网络结构图如图 1 所示。图 1 Faster-RCNN 网络模型结构示意图 2.1 主干特征提取网络 在 Faster-RCNN 算法中，主干特征提取是一个很重要的部分，可提升检测算法的精确率。本文采用 ResNet50 作为特征提取网络9。ResNet 由一系列残差模块串联构成。ResNet 很好地解决了在网络深度增大时出现的网络性能下降等相关问题，提高了目标检测的准确性。ResNet50 有两个基础模块：一个是卷积残差块，另一个是恒等残差块。在卷积残差块中，输入和输出的维度不同，因此无法连续的串联，其功能是改变网络的维度；恒等残差块输入和输出的维度一样，能被串联起来，用于加深网络。如图 2、图3 是恒等残差块以及卷积残差块的结构示意图。图 2 恒等残差块结构示意图 图 3 卷积残差块结构示意图 从图 2、图 3 所示的残差网络基本结构可以看出，当 X 输入时，它被分为两部分，一部分随着网络进行向前，另一部分是由跳跃线（残差边）直接连接到输出位置。这种网络结构的堆叠设计，使网络训练加深时即使出现梯度消失，也可以把输入的特征层映射到结尾，使得最后输出结果至少不会比之前的差。这个残差结构被广泛地用于 ResNet50，使得 ResNet50 具有非常稳定的性能。2.2 区域建议网络 区域建议网络采用全卷积神经网络搭建。该网络通过对上一层输入的共享特征图进行处理，输出不同尺度的矩形候选区域集合。候选区域是计算机视觉领域的一个重要概念，指的是在输入图像中有2023 年 福 建 电 脑 13 可能存在待检测目标的区域，即目标的初步估计位置。在后续的算法中会对候选区域进行边界回归以获取更为准确的位置信息。其目的在于减少分类回归模块中对图像处理的计算量，在保证模型对图片检测性能的前提下，仅选取少量的检测窗口，提高运行效率10。区域建议网络的示意图如图 4 所示。图 4 区域建议网络 区域建议网络首先通过一个33的滑动窗口在卷积特征图上进行滑动，通过滑动窗口处理特征图中的信息生成特征向量，再对每个特征向量分别进行一个 18 通道的 1x1 卷积和一个 36 通道的 11 卷积11。在窗口滑动期间，会以滑动窗口为中心生成多个候选框，即锚点。RPN 网络一般生成 9 种大小不同的候选框，规模比分别为 8、16、32，长宽比分别为 1、2、0.5，如图 5 所示。因此，36 通道的11卷积可以输出9组，每组4个共36个修正参数。每个基准矩形候选框各对应 4 个修正参数，用于预测共享特征图中每个网格点上每个锚点的变动情况。而 16 通道的 1x1 卷积可以输出 29=18 个分数，每个候选区域对应 2 个分数，用于预测共享特征图上的每个网格点上的每个候选框内部是否存在目标。图 5 多尺度候选区域 2.3 感兴趣区域池化层 Faster-RCNN 算法网络中的感兴趣区域池化层是目标检测任务中的常用操作，沿用了 Fast RCNN算法网络的优秀成果。其目的是对输入的共享特征图和候选区域框执行最大池化以获得固定尺寸的特征图。然后将其送入分类和回归模块对目标的具体类别进行识别并通过边界回归获取精确位置。感兴趣区域池化会有一个预设的宽度和高度，表明要把每个候选框的特征都统一为一个大小的特征图。在这之前，候选框的参数对应 MN 尺度，因此首先要将其映射回(M/16)(N/16)大小的特征图尺度，然后将每个候选框对应的特征图区域分为 WH 的网格，对每一网格都进行最大池化处理。这样处理后，即使大小不同的候选框，输出的结果都是 7*7大小，实现了固定长度输出，如图 6 所示。图 6 感兴趣区域池化层原理 2.4 分类和回归 分类与回归部分使用已得到的提案特征图，通过全连接层与激活函数 softmax 进行分类。这里的分类和区域候选网络中的分类不同。区域候选网络中的分类为二分类，识别的是目标或背景。这里的分类是要对之前的所有正锚点识别其具体属于哪一类，计算每个候选框的具体类型（例如车、人等），然后输出每个类型的概率向量。同时再次利用边界框回归获得每个候选框的位置偏移量，用于得到更加精确的目标检测框，如图 7 所示。图 7 分类与回归模块 14 王子睿等：采用无人机航拍图像的电力绝缘子缺损检测 第 2 期 3 绝缘子故障检测实验 3.1 数据集构建 本文数据集采用无人机捕获的正常绝缘子图像和合成有缺陷的绝缘子图像。它包含巡线无人机采集的正常绝缘子图像共 600 张，以及部分带有缺陷的绝缘子图像。由于在采集过程中故障绝缘子数量很少，因此使用数据增强的方法，将部分有缺陷的绝缘子从采集到的原始图像中分割出来，然后连接到不同的背景中。这样获得了有缺陷的绝缘子图像 248 张，最终得到图像 848 张，用于模型的训练以及测试。图像格式为 JPG，像素为 1152864。部分图像如图 8 所示。(a)(b)图 8 部分绝缘子图像 本文所用的方法是使用一个开放源码软件 Labelling（见图 9），将每个图对应的目标区域进行手工标记，并生成相应的标注文档。将标注文档以xml 格式存储，并将相关的数据存储到标签中。图 9 Labelling 标注图像 3.2 数据集构建 实验所采用的软件、硬件配置如表 1 所示。表 1 实验软硬件配置 项目 内容 CPU Intel Pentium Gold G5400 GPU NVIDIA