新型YOLOv4-tiny网络及在绝缘子检测中的应用_宋立博.pdf

第 27 卷第 6 期2022 年 12 月哈 尔 滨 理 工 大 学 学 报JOUNAL OF HABIN UNIVESITY OF SCIENCE AND TECHNOLOGYVol.27No.6Dec.2022新型 YOLOv4 tiny 网络及在绝缘子检测中的应用宋立博1，费燕琼2(1 上海交通大学 学生创新中心，上海 200240;2 上海交通大学 机械与动力工程学院，上海 200240)摘要:针对电力线快速智能巡检需求，提出在飞行器上安装边缘设备进行智能检测的设想。为提高检测性能，依据原始 YOLOv4-tiny 深度网络结构设计了以 esblock-D 轻量化网络为特征提取网络和 esblock-D+CSPDarknet53-tiny 为主干的新型 YOLOv4-tiny 算法和网络。在 JetsonNANO 上在搭建成功 GPU 版 Darknet 深度框架用于训练、部署和测试。以 ImageNet 标准图像库中的 power line 图片集及街拍电力线图片为基础，建立 Pascal VOC 格式的绝缘子数据集，训练成功无预训练权重文件的绝缘子识别网络。选择平均均值误差(mAP)最高的权重文件，在 Jetson NANO上进行绝缘子智能识别实验。与标准 YOLOv4-tiny 算法相比，新型 YOLOv4-tiny 算法权重文件和计算量仅为58%和66.7%，检出速度快约16%，检出数量高约10%，误检数量低10%，证实其高效性和实用性。关键词:深度网络;绝缘子;残差网络;边缘设备DOI:10 15938/j jhust 2022 06 009中图分类号:TP391.4文献标志码:A文章编号:10072683(2022)06007307收稿日期:2021 08 25基金项目:国家自然科学基金(51875335).作者简介:费燕琼(1972)，女，博士，教授.通信作者:宋立博(1973)，男，博士，副研究员，E-mail:libosong sjtu edu cnA New YOLOv4 tiny Neural Network and Its Applicationon Object Detection of Power line IsolatorsSONG Li-bo1，FEI Yan-qiong2(1.Student Innovation Center，Shanghai Jiao Tong University，Shanghai 200240，China;2.School of Mechanical Engineering，Shanghai Jiao Tong University，Shanghai 200240，China)Abstract:Conforming to the rapid increasing requirements of fast and intelligent inspection of power lines，theidea of installing edge device on aircraft for intelligent inspection is put forward.The esblock-D lightweightnetwork is selected as the feature extraction network，and the new YOLOv4-tiny algorithm and deep network basedon the standard YOLOv4-tiny structure is designed as the esblock-D and the CSPDarknet53-tiny are used as themain backbone.Then，the related GPU version Darknet deep network frame was built on Jetson NANO for training，deploying and testing.On basis of the power line images sets from ImageNet standard library and the street shotpower line pictures，the isolator data set is established accordingly in the format of standard Pascal VOC.Under theDarknet deep network frame，the detector train command is utilized to train the new YOLOv4-tiny network withoutthe pre-training weight file successfully.Selecting the weight file of the highest mAP(mean average precision)，theisolator intelligent identification experiment was carried out on Jetson NANO.In term of 58%weight files，66.7%computation，higher 10%detection quantity and lower 10%false detection quantity，it is proved that the newYOLOv4-tiny algorithm is efficient and practical in comparison to the standard YOLOv4-tiny algorithm.Keywords:deep network;isolator;residual network;edge device0引言电力是我国主要能源形式之一。至 2020 年，我国已建成 35 kV 及以上高压输电线路超过 310 万公里。同时，高铁线路总长也超过 3.5 万公里，日渐增长的架空输电线路成为智能巡检的载体和必要基础。APM 和 PPZ 等开源飞控系统的普及，以深度网络实现的智能系统日渐成熟，使得在旋翼飞行器上部署并实现绝缘子等重要部件的智能检测并实现人工和自动巡检升级为智能巡检成为可能。深度网络算法是智能巡检的基础，常用深度网络算法存在网络深、参数多，对硬件要求高及难以在边缘设备上部署的缺点。本文以 ImageNet powerline 标准电力线图片和街拍电力线图片为基础，研究使用新型 YOLOv4-tiny 网络实现绝缘子智能检测的技术及在 Jetson NANO 上部署及实现的方法，以实现绝缘子在线识别和智能检测。1Darknet 深度学习框架及 YOLOv4-tiny 算法目前，深度网络依然是物体分类、目标检测及场景理解等人工智能应用的主要手段。较为常用的深度学习框架有 Tensorflow、MXnet、Pytorch 和 Paddle-paddle 等。而深度网络与旋翼飞行器的结合，尤其是从机器人角度研究智能检测飞行器已成为国内外UAV(unmanned aerial vehicle)领域的研究热点之一，国内外相关研究集中于塔杆及关键部件识别1 4、绝 缘 子 等 中 小 目 标 检 测5 8、杂 物 检测9 10 及故障检测11 等几个方面。然而，这些研究普遍存在如下问题:在高性能 PC 或云端实现识别功能，需巨量数据传输或强大算力支持;常用目标检测算法效率虽高，一般情况下难以在树莓派或 Jetson NANO 等算力有限的边缘设备上部署和实现。而将边缘设备安装在飞行器上，再在其上部署深度网络系统实现绝缘子等部件的在线识别和智能检测显然具有更大的工程实用价值，这也是本文研究的出发点和立意所在。综合比较易部署性、算力要求和运行效率，确定采用 Darknet 深度学习框架及最新 YOLOv4 系列算法识别及定位电力线绝缘子。1.1DANKET 深度学习框架Darknet 是华盛顿大学 Joseph edmon 团队在2016 年推出的深度学习框架，采用 C 语言编写，可在 Windows、Linux 及 MAC 等多种系统及 CPU 和GPU 等多种硬件设备上编译和快速运行。相对于Caffe、MXnet、Tensorflow 及 Pytorch 等深度网络框架，其选项灵活，对硬件要求相对低，便于编译和部署及无依赖是其最大特点。1.2YOLOv4-tiny 算法Joseph edmon 团队在推出 Darknet 深度框架的同时也推出 YOLOv1，YOLOv2 及 YOLOv3 等系列算法。部分学者使用 YOLOv3 系列算法实现的手势检测与识别12 及交通标志识别研究13 等研究和工程实现，证实了 YOLO 在目标检测方面的巨大工程实用价值。尽管存在相对难以训练等问题，YOLO 仍成为单阶段目标检测算法的代表。随 edmon 退出计算机视觉研究，YOLOv1、YOLOv2 及 YOLOv3 系列算法不再更新。2020 年 4 月，Alexey Bochkovskiy 等在采用新GIoU 损失函数等基础上推出 YOLOv4 算法14，得到 edmon 的认可，在 Github 上开源后引发新一轮应用热潮。YOLOv4 网络具有 162 层网络，使用三个特征层进行分类和回归。主干网络采用 CSP-Darknet53，以 SPP 和 PANet 为 Neck 的附加模块和特征融合模块。YOLOv4 算法仍具有一般单阶段目标检测算法训练时间较长、精度相对双阶段算法低的缺点。2020 年 6 月，Alexey Bochkovskiy 团队推出简化版 YOLOv4，称为 YOLOv4-tiny。与其他算法相比，YOLOv4-tiny 具有如下特点:较浅的 38 层结构，其47哈尔滨理工大学学报第 27 卷中卷积 conv 层 21 层，route 层 11 层，maxpool 池化层3 层，upsample 上采样层 1 层，yolo 层 2 层。参数约600 万，约为 YOLOv4 的 10%;主干特征提取算法采用 CSPDarknet53-tiny，三层级联残差网络结构，仅使用两个特征层进行分类与回归预测，每个残差结构内部具有 3 个 route 层，用于图像局部特征融合;双 YOLO Head 输出结构形式，其输出分别为13 13 18 和 26 26 18，用于不同尺度的目标检测。2新型简化 YOLOv4-tiny 算法对于树莓派和 Jetson NANO 等边缘设备，标准YOLOv4-tiny 网络仍需简化以便于部署。国内部分学者又对标准 YOLOv4-tiny 算法进行改进。其中，较为重要的几种改进为1)增加空间金字塔池化 SPP(spatial pyramidpooling)模块和结构，并对输入特征层进行多尺度池化并融合，以提升特征层对目标的表达能力和特征融合能力14 17;2)引入激励网络等注意力机制实现以增强目标特征，或对每个通道特征分配不同权重来学习各通道间特征的相关性以提高目标识别精度18 19;3)在原结构上增加 CNN(convolution neural net-work)卷积层或改进 CSP(cross stage partial)模块，形成新特征提取网络，或第二标度输出层最后一个CBL(convolution+batch normalization+Leaky relu)输出特征与第二个 CSP 输出特征进行融合，以提升小目标检测能力和检测准确率20 21;4)以 GhostNet 残差结构等作为主干轻量级目标检测网络，将普通卷积分解为两步以降低计算所需资源和参数量，一定程度上减小权重文件和计算量22;5)结合知识蒸馏等手段，引入跨通道连接等机制，对降采样特征