基于DeepLab_V3+...拍绝缘子图像自动化分割方法_徐越.pdf

年第 期（总第 期）年 月电瓷避雷器 （）收稿日期：基金项目：国家自然科学基金（编号：）；江西省电力有限公司科技项目（编号：）。（）（），（）。：基于 的无人机航拍绝缘子图像自动化分割方法徐 越，段 鑫，刘子祎，袁 晨，刘 君（国家电网江西省电力有限公司南昌供电分公司，南昌；南昌航空大学信息工程学院，南昌）摘 要：绝缘子是输电线路的重要组成部分。为了实现输电线路巡检的智能化，对绝缘子区域的自动化识别是基础性工作之一。笔者提出了一种基于 的无人机航拍绝缘子图像自动化分割方法，同时将 的分割性能与现有的主流卷积神经网络 、进行了比较。结果显示 方法不但在 指标上得到了 的分割精度，在 指标、敏感性和 定量分析中也都表现出最好的性能。实验证明该方法为自动化分割绝缘子区域，提高输电线路巡检的效率和准确性提供了一种潜在的工具。关键词：电网巡检；绝缘子；卷积神经网络；图像分割 ，（，；，）：，：；引言绝缘子是电网高压输电线路的重要组成部分，其运行状态直接影响到电网的安全。由于长时间暴露在外，绝缘子受到自然环境的影响容易发生损坏。因此对绝缘子的完好性进行定期检测是电力巡检部门的一项重要工作。传统的绝缘子巡检方式需要人工攀爬上电塔，然后通过肉眼观测以判断绝缘子状态的好坏。由于绝缘子所处的位置一般离地面较高，且检测人员 年第 期一起 沿海线路复合绝缘子异常发热原因分析（总第 期）需要在不断电的情况下作业，因此这种方法的劳动强度大，效率和安全性也都非常低下。随着无人机技术的普及，利用无人机对绝缘子进行航拍，继而通过观察图像进行判别的方法逐步替代了传统的巡检方式。然而以人工阅片的方式处理海量图片仍然费时费力，且其结果容易受到检测人员主观状态的影响。因此采用人工智能的技术实现绝缘子检测的自动化，具有非常实际的应用价值。然而实现自动化检测的过程中存在一个重要的技术问题，即绝缘子背景区域对各类检测算法的影响较大。由于绝缘子所处的背景具有随机性，而无人机所拍摄的图像中不可避免地会包含这些背景，若直接在原始图像上进行检测将严重影响检测结果。因此首先从复杂的背景图像中分割出绝缘子区域，将为后续绝缘子状态的检测带来极大便利。对于绝缘子区域的分割，近年来国内外已有部分研 究 人 员 开 展 了 先 期 研 究。这 其 中，等提出了一种基于改进 的绝缘子分割方法，这种方法的优点在于不但可以分割出绝缘子区域，同时还能识别出绝缘子中的伞裙和芯棒护套位置。但其缺点是一个镜头中只能存在一个或一对并列的绝缘子，这对于无人机拍摄图片时的角度和距离都提出了较高要求。张青华等提出了一种改进（）算法的绝缘子分割方法，该方法对于绝缘子的角度差异具有较好地鲁棒性，但其缺点在于对密集小目标会出现漏检、检测精度低的问题。黄新波、姚利娜等分别提出了一种基于改进色差法和最大类间方差法的绝缘子区域分割方法。这两种方法虽然可以实现绝缘子目标的识别，但是由于采用的都是人工设计的特征，因此算法在不同颜色、光照条件下图片识别精度变化较大。宋万潼、曹阳等分别提出了一种基于先验知识和改进 算法的绝缘子区域识别算法。这两种方法虽然可以从复杂背景中分割出绝缘子所在的最小矩形区域，但是其不足在于矩形区域中仍然包含了除绝缘子以外的内容，因此依然会对后续的状态检测带来干扰。针对上述不足，笔者提出了一种多尺度、广视野的 语义分割卷积神经网络。该网络具有以下几个优点：首先，它将标准卷积分解为一种深度卷积和 逐点卷积，称为深度可分离卷积，其可降低卷积计算量；其次，它具有多个不同速率的并行空洞卷积，通过多尺度来捕获上下文信息；最后，为了提高学习效率和解决由大量连续卷积引起的梯度消失问题，它结合了残差学习概念来解决梯度消失问题。通过在 张现场图像上的测试表明，该方法获得了 的 分割精度，且分割结果优于 等常用深度学习网络。分割方法笔者所提出的多尺度、广视野的 网络结构见图。的网络结构分为编码和解码两部分。在编码过程中，其目的主要是进行图像感兴趣区域的特征提取，在解码过程中，其主要作用是将提取的特征图进行级联或叠加并通过双线性插值还原输入图像尺寸。图 多尺度广视野 网络结构 年第 期电 瓷 避 雷 器（总第 期）深度可分离卷积由于 复杂的 结构具有 个卷积层，因此使用标准卷积将不可避免地导致大量参数和网络模型过拟合情况。为了解决这个问题，网络采用了深度可分离卷积。式（）计算出的结果为深度可分离卷积与标准卷积计算量的比值，这表明深度可分离卷积在解决可训练参数量或模型过拟合中具有很高的可应用性。（）式中计算量的倍数取决于输入通道的数量，表示输出通道数量，卷积核大小为，特征图大小为。改进的特征提取网络 在特征提取过程中，传统的 网络通常采用卷积核为 的两次标准卷积，然后通过 最大池化来获得特征层，。该过程在低分辨率图像的特征提取计算中表现良好，但在高分辨率图像中表现不佳。因此，需要一种能够在高分辨率图像中提高特征提取性能，同时能够防止信息丢失的特征提取卷积神经网络。图（）图（）展示了改进后的 网络结构示意图。为了适应更高的分辨率图像分割，我们使用了改进后的网络，并通过具有跨步的深度可分离卷积来替换 中的最大池化操作，这样做使得具有跨步的深度可分离卷积能够在任意分辨率图像中进行特征提取，同时，在每个 深度可分离卷积之后，添加额外的 和 激活操作。空洞卷积是一个强大的工具，它允许对卷积神经网络特征的分辨率进行显式控制，并调整滤波器的视野以捕捉多尺度信息，因此，它推广了标准卷积运算。根据式（）计算可知当空洞率 时，感受野从 增加到，同时保持卷积核大小不变。（）（）（）式中 表示当空洞率为 时的感受野的大小。在改进网络结构后，该结构相比于 可训练参数量由 增加到 ，增加了 的可训练参数量，在更多的参数量中，具有更多的特征信息和更广的感受野，从而使得特征提取中表现更加优秀，以适应高分辨率的图像。残差网络块传统的 网络具有 个卷积层和 可训练参数，使用大量的连续卷积会导致梯度消失问题，从而降低学习效率。见图（），该网络引入了一种残差学习卷积神经网络块，利用残差学习块来解决 中梯度消失问题。图 改进后的特征提取网络 结构 年第 期基于 的无人机航拍绝缘子图像自动化分割方法（总第 期）空洞空间金字塔池化块（）特征提取过程中为了在低特征层捕捉多尺度对象特征，该网络同时采用了图 所示的 结构。该网络结构主要包括 个部分，首先，使用空洞率为，和 并且卷积核大小为 深度可分离卷积获取不同尺度对象特征；其次，通过不同速率的 卷积并不能获得整个图像的信息，因此需加入 卷积和全局平均池化；最后，将 个特征层进行级联，来获得全尺寸对象特征图。解码过程在解码过程中，采用编码中的 通道数为 的特征层与 经过上采样后的特征层进行级联，其目的是防止底层特征层丢失浅层特征，最后通过 函数进行图像像素的分类。实验设计实验中使用的数据来自国家电网江西南昌供电公司采用无人机从高压输电塔拍摄的 张图像。每张图像所包含的绝缘子数量在 到 个不等，绝缘子离镜头的距离远近各不相同。由于图像的原始分辨率为 ，导致计算机硬件计算能力无法满足，训练过程中图像被调整为 。标签数据由该公司经验丰富的高级工程师进行手工制作，并由同行进行审查和纠正。实验中采用 重交叉验证方案，将总数据集的 张图像随机打乱平均分成 组（每组 张图像），在训练集和测试集的划分中，我们将 组数据的第一组用于模型预测，剩余 组作为训练集用于模型训练（训练集共 张图像，其中 图像在训练中作为验证集），以此类推，完成 重交叉验证方案。同时，对训练集中的每一张图像同时进行了平移，翻转，对比度变换操作（这种变化操作是在一定范围内随机性的），并且该操作执行两次得到每张图像扩充 倍，加上原始图像训练集一共扩充至 张图像。为了表现出所采用网络的有效性，实验中同时采用了其它 种在网络结构上有一定关联的网络加入进行比较，包括：、。实验中基于 和使用 深度学习框架对本研究所支持的网络进行训练和预测。实验中，采用的计算机设备配置如下，：，内存：；显卡：，显存：。实验中采用的主要超参数为，训练周期：；学习速率：；。实验结果所有网络都成功地实现了将绝缘子进行分割。为了定量评估和比较 个卷积神经网络的分割性能，本研究使用了式（）式（）的 个性能指标，即 指标，（敏感性），相似性和 相似度，并将其定义为 （）（）（）（）表 显示了 、的网络结构参数及训练效率。实验中所提出的 与对比的其它 种网络在下采样倍数中最大，表明网络结构更深更复杂；在可训练参数上与传统 和 相比，网络结构更加复杂但并没有因此增加计算复杂度；在训练效率上，具有更深的网络结构但是在每批次和总训练时间上与下采样倍数最小的 相比仅相差 和。图 显示了 种卷积网络在特征提取训练中损失值，准确率变化曲线示意图。由于实验中所采用的数据集为高分辨率图像，我们所采用的 在训练过程中，损失值变化频率相较于其它 种网络表现的收敛更加平稳。具体的表现为，种分割网络在训练周期为 之间训练损失值和训练准确率分别呈现平稳下降和上升状态，但是在训练完每轮进行验证的损失值和准确率中，我们所采用的 网络与对比的 种网络出现差异性，验证损失值和准确率的幅度差和变化频率相对于其它 种网络更加平缓，表现出高下采样倍数和更深的网络结构对高分辨率图像的特征提取具有更可靠的优势。表 显示了我们所提出的 网络以及进行比较的 、分割网络的定量评估结果，其中包括 相似性，相似度，以及敏感性和 指标。在 定量评估结果中，的平均分割性能为 ，在对比的 种网络中，具有残差和空洞结构的 相比于传统 在 分割性能上分别提高 和 。值得注意的是，将残差和空洞网络结构应用于 年第 期电 瓷 避 雷 器（总第 期）时，在 定量评估中分割性能提高 ，这表明具有残差和空洞结构在特征提取中表现的更加优秀。对于所有定量评估的结果见表，表 展示了 网络与对比的 种网络在 重交叉验证结果的 种评估指标平均值，评估结果表明，网络 种评估指标结果分别高于其它 种分割网络最低 ，的分割精度。图 显示的是 种评估指标的 重交叉验证结果的分布情况，从分布结果表明，网络的 次评估结果更加均匀，表明该网络的分割性能更加稳定。综上所述，的 重交叉验证在 种评估指标结果分布以及评估指标平均值上都显示出更高的分割精度和性能的稳定性。表 、的网络结构参数及训练效率 ，方法下采样倍数可训练参数量每批次训练时间 总训练时间 表 、在 种定量评估中的平均结果 ，方法 图 种卷积神经网络在训练中的损失值和准确率变化曲线 年第 期基于 的无人机航拍绝缘子图像自动化分割方法（总第 期）图 种卷积神经网络在 实验中的、的定量评估结果 图 为一组 的代表性分割图像。其中图（）图为无人机拍摄的原始图像，图（）图为采用 的分割结果。示例图像中的分割结果表明，分割的整体性表现较好，无论是对于近端、远端还是部分遮挡的绝缘子，都没有出现欠分割和过分割的情况。综合表、图 和图 可以看出，在高压输电线的绝缘子分割结果中，本实验所提出的 与 、分割性能定量评估中都表现出更好的分割性能，在预测结果对比中，的分割结果与原始图像中绝缘子高度一致，表明该方法具备了较高的实用价值。图 代表性的原始图像及其分割结果 讨 论在高压输电线电力设备中绝缘子占有重要作用，可以有效的保证线路的正常运行，所以在输电系统定期进行故障巡检中，绝缘子作为巡检中的一项重要工作。然而由于绝缘子所处的位置较高，数量较多，采用人工巡检的方式作业效率低下，危险系数高，因此开发出自动化和智能化的绝缘子故障识别方法有非常现实的意义。在这项研究中，我们提出的一种使用 的绝缘子自动化分割方法，并且该方法不受图像中绝缘子数量的限制。是一种强大的语义分割网络，已经在其他领域取得了成功，如云团分割和手术器械识别，但尚未应用于绝缘子图像识别领域。从我们提出的 方法自动分割绝缘子的分割结果来看，与 ，相比，在更深的网络结构和更少的可训练训练参数下显示出最好的 精度。同时，在 指标、敏感性、相似度中也表现最佳。在这项研究中我们所提出的 语义分割网络也同时存在