交叉门控融合的改进语义分割网络及应用_陈海永.pdf

（）年 第 卷 第 期 收稿日期：基金项目：国家自然科学基金项目（）；中央引导地方科技发展资金项目（）作者简介：陈海永，男，博士，教授，主要从事图像处理、机器视觉和模式识别研究，：。本文引用格式：陈海永，刘新如 交叉门控融合的改进语义分割网络及应用 重庆理工大学学报（自然科学），（）：，（），（）：（）交叉门控融合的改进语义分割网络及应用陈海永，刘新如（河北工业大学 人工智能与数据科学学院，天津）摘 要：针对太阳能电池表面的断栅、划痕、黑斑等导致的缺陷分割精度差的问题，提出一种交叉门控融合的改进语义分割网络。使用门控机制选择性地融合网络中的多尺度信息，充分利用底层细节信息和高层语义信息，增强微小缺陷的特征表示，并结合上下文模块提高获取全文信息的能力。为了进一步解决太阳能电池缺陷边缘信息弱的问题，引入 模块对缺陷边缘的点进行采样，对边缘中不确定的点实行自适应细分策略，实现对缺陷边缘的精细分割。实验结果表明：所提方法在太阳能 组件电池数据集上的 达到了 。和现有的语义分割算法相比，所提方法能够有效细化目标边界，更好地处理微小微弱缺陷。关 键 词：太阳能电池；缺陷分割；多尺度特征；门控融合；上下文注意力中图分类号：文献标识码：文章编号：（）引言太阳能是一种可再生能源，已在人们生活中广泛使用。随着全球太阳能电池产业的快速崛起，太阳能电池的产品质量问题成了发展的一大障碍。在太阳能电池制造过程中，表面制绒、扩散制结、等离子刻蚀、镀减反射膜、丝网印刷、机器人拾放、传送带输送等工艺流程易造成黑斑、划痕、断栅等缺陷，这些缺陷大大影响了太阳能电池的光电转换效率。早期的太阳能电池缺陷检测是人工目视检测，存在易疲劳、标准不统一、效率低等问题。而深度学习在图像检测和分割方面可有效解决图像背景复杂、目标不清晰等干扰问题，应用场景非常广泛。对于数量较多的太阳能电池图像，深度学习算法和传统的人工检测相比，在精度和速度上都表现更为出色。由于太阳能电池缺陷尺度不一，空间几何特征不规则，普通深度学习网络对缺陷边界信息获取不足，导致检测精度需要进一步提高。而使用语义分割算法可以输出精细的像素级分割结果，能够突出缺陷的形状变化、边界范围，使得输出结果更加精细。在深度学习算法中，图像语义分割 是图像处理任务的重要技术之一，它的目的是根据语义标签把每个像素分成不同的类。和传统的分割方法相比，基于深度学习的语义分割能够通过卷积神经网络自主学习和提取图片的深层特征，实现端到端的学习，提高分割的精度和速度。等将图像处理中的多尺度思想应用在目标检测中，通过在不同大小的特征图上构建金字塔结构，提出了特征金字塔网络（，）。等在目标检测 的基础上将 用于语义分割，在 的尾端添加一个语义分割分支，利用简单的深度学习模型得到了和复杂模型相同的效果。等设计了一个金字塔池化网络，将网络中的上下文信息收集起来，获得了不同尺度的信息，提高了目标的分割准确率。为了解决神经网络信息被限制在局部区域的问题，等又提出了，通过卷积层为特征图中的每个位置自适应地生成 个全局注意力图，并使用双向信息传播，有效地捕获了上下文信息。等提出了 网络，网络中包含 个模块，其中非对称金字塔非局部块利用金字塔采样模块，在不牺牲性能的情况下极大地减少了计算和内存消耗，而非对称融合非局部块融合了不同级别的特征，大大改善了分割结果。在上下文信息的构建中，等发现局部引导的局部亲和力能够提高上下文信息获取的能力，因此设计了自适应上下文模块（，）来计算局部亲和系数，获得上下文向量，使对目标的预测更加完整。在卷积神经网络中，空间和通道这 个维度具有全局依赖关系，为了利用这一关系，等分别引入了空间注意力模块和通道注意力模块，这 个模块对于上下文信息地提取非常高效准确，在各类分割数据集中都有出色的表现。由于在构建多尺度表示时，普通的深度学习方法计算参数多，对图片大小没有很好的适应性，等将多个动态卷积模块集成在一起，根据输入图像特征动态生成上下文感知层，对不同尺度特征进行处理，并嵌入高级语义信息，从而获得更多的细节信息。等将 注意力计算解耦为成对项和一元项两部分，减少了网络学习这两部分的阻力，解耦后的 模块在多个任务中证明了其有效性。大量实验表明，基于深度学习的图像分割算法在处理图像缺陷分割方面有很好的效果，然而在太阳能电池缺陷识别应用方面存在不少问题。太阳能电池的缺陷较小，背景的主栅线和缺陷类似，一些背景纹理不清晰，而传统的语义分割算法对这些缺陷没有针对性和适应性，不能满足实际生产需要。使用 网络，可以融合低层和高层特征，提升小目标分割的能力。但 网络存在如下问题：特征融合不充分，未能对信息的有用性加以判断，融合了很多无用信息而丢失了有用信息；对低层细节信息利用率不高，目标边缘分割较为粗糙。因此，本文以 为基准网络框架，提出了一种交叉门控融合的改进语义分割网络，整体架构如图 所示。本文方法针对太阳能电池缺陷微小的问题，提出交叉门控融合模块（，），该模块利用门控机制选择性地融合 最后 层输出的多尺度特征，从而用低级特征弥补高级特征中丢失的缺陷细节信息，加强对目标特征的提取并减少网络中的信息冗余，结合上下文信息提取模块，提高获取全文信息的能力；针对太阳能电池缺陷边缘信息弱的问题，将图像渲 染 思 想 应 用 到 中，引 入 模块对缺陷边缘进行采样，提取边缘点的特征表示，有效提高了分割精度，细化了分割结果。图 网络结构图 网络结构 概述如图 所示，可分为自底向上和自顶向下两部分。图 左边是 自底向上的通路，是多层卷积神经网络前馈计算的过程。在这个过程中，深度卷积神经网络对输入的图片进行卷积、池化等处理，提取图片的深层特征，同时输出特征图的大小也在逐渐变小。在一些卷积层的操作中，输出特征图的尺寸没有发生变化，因此可将这些大小相同的特征图看作同一网络阶段，即金字塔层，金字塔层的输出为该阶段最后输出的特征图。本文使用 作为骨干网络对输入图片的特征进行提取，可按照特征图的大小把特征图分成 个部分，也就是 个特征金字塔层，用，表示，每层之间的步长为，即每层特征图的大小是上一层的一半。图 的结构 图 右边是 自顶向下的通路，通过中间的横向连接和自底向上的通路相连。该部分对顶层的特征图进行上采样，将其大小扩大为原来的二倍，然后和大小相同的相邻特征图结合，实现多尺度特征的融合。图中横线部分是横向连接的具体操作，二倍上采样是为了获得和下一特征图相同的尺寸，以便相邻两层特征图相结合。自顶向下结构中有四层特征图，分别表示为，和左边，相对应，二者对应的特征图大小一致，通道数均为。最开始可单独应用在目标检测任务中，生成高分辨率特征图，融合多尺度特征，实现缺陷预测。结构简单但检测效果可与其他经典网络相媲美，所以 等在 结构后面添加一个语义分割的分支，实现了 在语义分割上的独立应用。语义分割分支将 输出特征图由原来特征图的 上采样 次到，通道数变成，再对这些特征图进行求和。特征图在上采样阶段先经过 卷积，然后经过组归一化使网络易于收敛，再经过 和 倍双线性上采样，一直重复该过程直到特征图尺寸变为原来特征图的。最后通过 卷积改变其通道数，再进行 倍双线性上采样处理，由 对像素分类，生成和原始图像分辨率相同的逐像素标签。但是 对每一层的处理有一定的局限性，且网络结构简单，不能处理复杂背景下的缺陷分割。交叉门控融合模块在卷积神经网络中，特征图的尺寸较大时，会含有大量包含细节的低级语义信息，而特征图尺寸越小，含有的高级语义信息越丰富。随着卷积神经网络变深，输出特征图的尺寸慢慢变小，能够得到更高级的语义信息，但低级语义信息逐渐丢失。为了在网络中同时获得具有高分辨率和高级语义信息的特征图，可将低级特征图和高级特征图融合在一起。对于特征融合具有一定的效果，但它将相邻的 个特征图结合在一起，没有计算每个特征图的有效性，很多有效信息淹没在大量无效信息中，导致本就微小的目标特征变得更难捕获，无法获取信息丰富的高分辨率特征图，不利于后续的识别与分割。而本文中提出的交叉门控融合模块提供了一种高效的融合方法来解决这些问题。模块结构如图 所示，图中表示卷积操作。该模块采用的门控是一种成熟的机制，可以计算特征图中每个特征向量的有用性并将有用信息聚集在一起。实验过程中，网络融合了 的最后四层输出，并将最后一层输入交叉注意力模块进行上下文信息提取。该模块的融合方式定义如下：（）（），()（）（）（）假设有 个编码层，则可以生成 个特征图 ，其中、分别表示第 个特征图的高、宽和通道数。为了计算每个阶段陈海永，等：交叉门控融合的改进语义分割网络及应用特征图的有用性，将特征图输入门映射 中，。整个特征融合过程如式（）所示，激活函数计算的门控信息如式（）所示。式中的“”表示元素相乘，表示 激活函数。当信号（，）的值非常大时，表明第 层特征层（，）处的信息（，）非常重要。此时，（）（，）变得非常小，所以（，）处的信息主要来自（，）。而当信号（，）的值非常小时，该模块会保留更多其他特征图的有用信息，从而弥补该层特征信息的不足。除了可以通过门将有用的信息送到正确的位置外，还可以在发送端和接收端有效地抑制无用信息，避免信息冗余。浅层特征层的低层信息如颜色、边缘、形状等细节较为丰富，交叉门控融合模块将该特征层的低层信息作为有用信息保留下来，并将缺少的高层语义信息补充进来。对于含有较多高层语义信息的深层特征层也是类似。经过交叉门控融合模块对每个特征层的操作，实现了高层和低层信息的深度融合。图 交叉门控融合模块 为了能获得更多的上下文信息，先将 最后一层特征图 输入交叉注意力模块，得到后再输入融合模块。交叉注意力模块的结构如图 所示。该模块先计算选定像素点和其他像素点的关系，然后确定选定像素点的权重。在每个像素点上，交叉注意力模块在像素的水平方向和垂直方向捕捉上下文信息，大大增强了像素的表示能力。如图 所示，给定特征图 ，先将其输入 卷积中，经过 次操作后获得特征图 和，其中通道数 小于原通道数。、经过亲和力操作得到注意力图 （）。在特征图 的位置 处，用表示该位置的特征向量。同样，用集合（）表示特征图 中与位置 同行或同列的点的特征向量，表示 中第 个元素。亲和力操作的公式为：，（）式中：，表示特征 和集合 的关联度，（）。将 输 入层中得到特征图。图 交叉注意力模块 在特征图 上再次使用 卷积得到 ，用集合（）表示特征图 中与位置 同行或同列的点的特征向量。然后将特征图 和 输入聚合操作中，获取上下文信息，其公式为：，（）式中：表示输出特征图 在位置 处的特征向量；，表示特征图 中第 个通道位置 处的标量。因为特征图 的局部特征中加入了图片的上下文信息，所以它的感受野更加宽阔，像素点的表示能力也更强。交叉注意力模块增强了对空间信息的获取能力，丰富了特征层的表达，对下一步有效信息地提取和融合做出了贡献。模块 网络通过对输入图像不断进行下采样和上采样操作，获取图片的语义信息，但是目标的边界轮廓在图片所有像素中占比很低，在经过多次卷积池化和上采样之后必然会遗失部分轮廓细节信息，产生较大的边界误差。而 等提出的 模块可选出边缘中不确定的点，将主要资源用于计算这些点，避免了对所有点的过度预测，有效减小特征图上采样时目标边界的误差。该模块可以在图像分割过程中通过渲染的方式逐步对缺陷边缘上采样，对边缘的点执行自适应细分策略，从而获得平滑清晰的边界。受到这个模块的启发，本文将基于点的渲染算法 模块应用到交叉门控融合的改进语义分割网络中。主要是通过不断对特征图进行上采样，选择图中处于目标边缘的点，将主要算力用于计算目标边缘以达到细化边缘的目的。该模块主要包括 个部分：点选择、点特征的提取、。点选择部分使用细分策略自适应地选择一组处于目标边缘的点。在推理过程中，点选择的方法是从粗到细逐步对特征图进行渲染。每次渲染过程中，因其网格尺寸较大，目标较为模糊，所以先选择低分辨率的特征图；然后利用双线性插值上采样方法将其尺寸扩大到原来的 倍，使规则网格更加精细；最后在获得的大尺寸特征图上选择 个不确定性小于 的点，选择方式如下式所示。（