改进的轻量级YOLOv4输电线路鸟巢检测方法_武明虎.pdf

第 卷第期湖北工业大学学报 年 月 收稿日期 第一作者武明虎（），男，湖北巴东人，湖北工业大学教授，研究方向为信号与信息处理 文章编号 （）改进的轻量级 输电线路鸟巢检测方法武明虎，雷常鼎，刘聪（湖北工业大学电气与电子工程学院，湖北 武汉 ）摘要基于深度学习的输电线路缺陷检测方法往往需要昂贵的硬件支持来实现实时和高精度的技术指标要求，难以大规模推广和普及。针对这一问题，提出一种改进的轻量级 神经网络模型方法。具体的，为提高检测精度，在特征提取网络中增加了轻量级注意力机制；为提高检测速度，选用轻量级 网络作为 的骨干网，同时采用了深度可分离卷积代替了传统 模型中的多尺度特征金字塔结构普通卷积。实验结果表明，改进的轻量级 模型能有效检测出输电线路中的鸟巢，平均检测精度（）值达到 ，相较于 模型提高了，检测速度达到 的 倍，是 的 倍，具有较强的实际应用价值。关键词深度学习；缺陷检测；注意力机制 中图分类号 文献标识码高压输电线路多处于深山、林区、旷野等环境保护良好、水源丰富、鸟类活动频繁的区域，鸟类经常会在输电线路的杆塔或绝缘子上方筑巢而形成鸟害，严重威胁输电线路的安全运行，定期清除高压输电线路的鸟巢非常重要。高压输电线路地域复杂，人工检测非常不便，随着电网建设的扩大，新型的无人机巡检方式逐步取代人工巡检。目前输电线路缺陷检测方法包括传统的图像处理和基于深度学习两类方法，传统的图像处理方法缺乏鲁棒性、仅能识别和定位一种部件。随着深度学习运用在线路检测中，基于深度学习输电线路检测领域也取得了一系列成果，然而目前基于深度学习的输电线路缺陷检测模型的参数量和计算量比较大，检测速度较慢。针对上述问题，本文提出一种改进的轻量级卷积神经网络 模型。针对 在自建输电线路鸟巢数据集中检测硬件要求高和参数量过大的问题。在 的基础上，将主干特征网络由 替 换 成 的 轻 量 级 网络，大大降低网络参数量，减少模型计算量，使其可以无需昂贵的硬件用于输电线路鸟巢实时检测和通过远程控制无人机捕获的实时视频进行实时检测和本地化。其次在加强特征提取网络 中增加最新的轻量级 注意模块，数据集实验结果显示，改进后的轻量级 算法模型更小，检测速度也有很大提升。改进 目标检测算法改进 模型融合了轻量级网络和双重注意力机制，其总体结构如图所示，引入 轻量级网络模型，用它替换 模型的主干网络 ，可在不损失精度的前提下，有效减少模型参数量，提高模型检测速度。针对输电 线路鸟 巢目 标 被 遮 挡、多 小 目标的特点，在 特征融合网络的最后三个分支中引入 模块，以提高模型的检测精度。相较于通道注意力通过将输入进行二维全局池化转化为单个特征向量，模块利用两个一维全局池化操作将沿垂直和水平方向的输入特征分别聚合为两个单独的方向感知特征图。然后将这两个方向感知特征图编码为两个注意力图，这样做的优点是每个注意力图都可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。两个注意力图接着被乘到输入特征图上来增强特征图的表示能力。相比轻量级网络上的注意力方法，存在以下优势：首先，它不仅能捕获跨通道的信息，还能捕获方向感知和位置感知的信息，这种注意力能帮助模型更加精准地定位和识别感兴趣的目标，通过集成 模块，赋予特征图区分空间方向的能力，使模型更加关注包含重要信息的目标区域，抑制不相关信息，提高目标检测的整体精度。图模型总体网络结构轻量级骨干特征提取网络图中，卷积层由卷积层、批处理归一化层和 激活函数组成。将普通卷积替换成深度可分离卷积，大大减少了参数，在不降低检测精度的同时减少了计算量，实现了速度与精度的完美结合。在训练过程中，图像被拉伸和缩放到 ，然后发送到卷积神经网络。经过次卷积（卷积核大小为，步长为），缩减为 ，并选择 、三个尺度输出 。基于 的 网络结构改进 网络可分为 、和 三 种 类 型。分为大版本和小版本。在 分类任务中，大版本比小版本的准确率高。但是大版本的检测速度与小版本相比降低了。为保证 实 时 检 测 和 本 地 化 需 求，使 用 小 版 的 取代 作为改进 的骨干特征提取网络。在瓶颈层增加了挤压激励结构，将膨胀层通道修改为，在不增加计算时间的情况下提高检测精度。在 中，平均池之前的卷积层提高特征图的维数。然而，在 中，特征图首先使用平均池化将其缩减为。然后增加特征图的维数，将计算量减少 倍，提高了特征图的计算速度。图显示了将 与 融合的轻量级网络结构。为进一步降低网络的参数，将加强特征提取网络 中的普通卷积替换成深度可分离卷积。图 网络结构特征融合网络在 特征提取网络后，使用特征融合网络 和 对提取的特征进行融合，以提高模型的检测能力。模块的作用是使卷积神经网络的输入不受固定大小的限制，在不降低网络运行速度的同时，可以增加接受域，有效分离重要的上下文特征。模块位于特征提取网络 之后。网络使用四种不同的最大池化比例来处理输入特征图。池化的核心大小为、，而相当于不经过处理，对四个 进行 操作。最大池化采用填充操作，移动步长为，池化层后 的大小不变。湖北工业大学学报 年第期在 之后，使用 进行参数的聚合。与 的特征金字塔结构不同的是，在自顶向下的特征金字塔之后增加了自底向上的路径增强 结 构，该 结 构 包 含 两 个 结 构。并 对 结构进行了改性。原 结构采用了一种快捷连接方式将下采样特征图与深度特征图融合，输出特征图的通道数量保持不变。修改后的 使用 操作连接两个输入特征映射，并合并两个特征映射的通道号。自上而下的特征金字塔结构传达强烈的语义特征，自下而上的路径增强结构充分利用浅层特征传达强烈的定位特征。可以充分利用浅层特征，并针对不同的检测器水平，对不同的主干层进行特征融合，进一步提高特征提取能力，提高检测器性能。基 于 的 网络结构改进 块可以看作是一个计算单元。模块通过精确的位置信息对通道关系和长程依赖性进行编码，具体操作分为 信息嵌入和 生成个步骤。其模块结构见图。图 模块结构 信息嵌入为了促使注意力模块能够捕捉具有精确位置信息的远程空间交互，本文按照公式（）全局池化分解为公式（）和公式（）的两个一维特征编码操作：（，）（）其中是与第个通道相关联的输出，和为图像的高度和宽度，（，）表示高度为宽度为的通道输入，式（）相当于将的输入转换成的输出。式（）和式（）分别使用一个尺寸为（，）和（，）的池化核分别沿着水平坐标方向和垂直坐标方向对每个通道进行编码。（）（，）（）（）（，）（）其中（）表示通道高度为的输出，（）表示通道宽度为的输出，（，）表示通道高度为的输入，（，）表示通道宽度为的输入。公式（）和公式（）相当于将的输入转换成和的输出。式（）和式（）这种特征变换利用两个一维全局池化操作，将沿垂直和水平方向的输入特征分别聚合为两个单独的方向感知特征图，然后将这两个方向感知特征图编码为两个注意力图。这种注意力机制与在通道注意力方法中只产生单一的特征向量的 有本质不同。这样做的好处是每个注意力图都可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。生成该部分将上面的变换后的两个特征图进行级联操作，然后使用一个共享的卷积进行变换，卷积变换函数表述如下：（，）（）式中为 非 线 性 激 活 函 数，变 换 生 成 的（）是对空间信息在水平方向和竖直方向的中间特征图，这里表示下采样比例，用来控制模块的大小。然后沿着空间维度将分解为个单独的张量和。利用另外个卷积变换和分别将特征图和变换为和输入具有相同的通道数，得到：（），（）（）式中是 激活函数。为了降低模型的计算复杂性和计算开销，这里可以使用适当的通道缩减比（本文取）来减少的通道数。然后对输出和进行一次拓展，分别作为注意力权重。最后，模块的最终输出可以表述为公式（）：（，）（，）（）（）（）式中（，）表示通道高度为宽度为的输出，（）表示通道高度为的注意力权重，（）表示通道宽度为的注意力权重。在图中，假设输入图像的大小是 ，以第一个 模块为例，输入特征地图大小是 ，沿和全局平均池化后，得到两个特征图大小 和 ，然后经过一个拼接与共享的权重，维数变为 ，降维系数是，然后进行标准化和非线性激活，然后再分离并扩张维度到 和 ，得到了两个激活后的特征图谱，将二者分别接一个第 卷第期武明虎，等改进的轻量级 输电线路鸟巢检测方法 激活函数，将输入的特征图分别与两个激活后的特征图谱相乘，得到尺寸为 的带有位置信息的空间选择性注意力特征图。实验分析输电线路鸟巢数据集本文数据采集自天津地区特高压与高压输电线路杆塔照片。这些图像来自不同电压等级、不同杆塔类型的输电线路。本文为了保证训练数据集的各种类型数据均衡，在标注数据之前从原始的数据中按比例抽取不同类型的杆塔。然后对数据集中不同线路的图片进行标注。选取了遮挡、多云、晴天、背光和强光条件下的 幅图像作为数据集，保证了数据集的多样性。将标注的数据随机选取 作为训练集、作为验证集、作为测试集。根据 数据集生成数据集的格式。部分输电线路鸟巢目标数据见图。图部分输电线路鸟巢数据集实验环境为了进一步加快网络训练速度，引入迁移学习技术，将预先训练好的模型加载到 数据集上，对输电线路鸟巢数据集进行训练，模型的训练环境和测试环境是相同的。本文中使用的实验装置硬件由 操作系统，（）（），的内存，显 存 的 显 卡。软 件 版 本 为 ，框架，和 。训练网络参数：批量大小设置为，初始学习率设置为 ，迭代次数 ，学习速率衰减，固定图像尺寸 。输电线路鸟巢目标检测性能比较为了验证改进的 网络的有效性，对原始 训练模型与改进的 网络模型进行了对比实验。原来的 训练参数与改进后的 训练参数一致。采用常用的目标检测评估 对改进前后的模型进行比较。在目标检测任务中，根据交集（）来判断目标是否被成功检测，模型的预测框与地面真值框交集并的比例为。对于数据集中某一类型的目标，假设阈值为，当预测框和 框的 均大于时，表示模型预测正确；当预测框和 框的 小于时，表示模型预测错误。是正确预测的阳性样本数，是错误预测的阴性样本数，是错误预测的阳性样本数，是正确预测的阴性样本数。精准率和召回率的计算公式如下：值通常用来作为目标检测模型性能的一个重要评价指标。值为曲线下的面积，以查全率为轴，以精度为轴。表示一个模型在某一类别中的准确性。表示一个模型在所有不同类别的平均准确率，可以衡量网络模型在所有类别中的性能。其中为检测到的类别个数。（）本文算法的检测速度用 （）来评估。它表示每秒可以处理的帧数。相同的模型在不同的硬件配置下有不同的处理速度。因此，本文在比较检测速度时使用相同的硬件环境。其中 为处理一张图片所用的平均时间。是神经网络模型各层计算所用的参数。卷积层和全连通层的参数按照通用标准计算。对于 层的卷积层，假设输入通道数为，卷积核大小为，输出通道数为 ，每个输出通道有 参数，加上一个偏移参数。对于层的全连接层，假设输入通道数为，输出通道数为 ，每个输 出 通 道 都 有 参 数，加 上 一 个 偏 移 参 数。（）指总参数：（）（）将测试集的数据发送到训练的目标检测模型中，选择不同的模型进行实验比较（表）。由表可 以 看 出，结 合 和 算 法 的 的 （）得 到 改 进，与 原 始 算法相比，其 提高。由于增加了三个 模块，模型的体积变大，从 增加到 ，平均时间增加了 ，模型权重增加了。注意力机制增加了特征图的计算量，提高了检测精度，降低了检测速度，但速度仍然满足实时性要求。相较于原始 算法，本湖北工业大学学报 年第期文漏检率下降了，召回率也提升了 。表不同检测模型的性能比较不同算法平均准确率 平均时间 权重文件大小召回率漏检率 （帧）图比较 与改进的轻量级 算法对输电线路鸟巢目标的检测结果在图中，第一列（）是原始输入图片，第二列（）是 检 测 结 果，第 三 列（）是 改 进 的 结合 算法的检测结果。在第一行图片中，在高度强光照射环境下对鸟巢进行识别的置信度为，改进后的 算法将鸟巢识别的置信度提升为；从第二、三、四、五行图片中可以明显看出，改进后的 算法对小目标的检测比原算