融合图像修复的遮挡目标检测算法_徐旸.pdf

引用格式：徐旸，史金光，郑子玙，等 融合图像修复的遮挡目标检测算法 电光与控制，（）：,（）：,融合图像修复的遮挡目标检测算法徐 旸，史金光，郑子玙，赵 渭（南京理工大学能源与动力工程学院，南京；中国兵器工业试验测试研究院，陕西 渭南）摘 要：针对目标检测过程中存在遮挡导致的漏检和误检问题，提出一种融合图像修复模块的军事目标检测算法，通过深度学习实现军事目标的自动识别，再结合图像修复对遮挡目标实现图像增强。对于目标检测模块，在 的基础上添加了卷积注意力机制，来增强对目标识别的敏感程度以及网络的特征提取能力；并且采用交叉迭代批量标准层，提高模型的训练效率。图像修复模块是基于生成对抗网络设计的一种双生成器模型，考虑到目标图像轮廓的完整性对图像的修复和目标的检测都有一定的影响，增加了一个边缘生成网络，图像修复模块旨在还原目标被遮挡的部位。模拟结果表明，融合了图像修复模块的目标检测算法对遮挡目标的检测精度达到了 ，较好地解决了遮挡情况下的漏检和误检问题。关键词：深度学习；目标检测；网络；注意力机制；军事目标中图分类号：文献标志码：,（，,；，）：,：；引言军事目标检测在现代战争中具有非常重要的地位，具备目标检测能力的制导武器既要保证精准、有效地打收稿日期：修回日期：作者简介：徐 旸（），男，江苏南通人，硕士生。通讯作者：史金光（），男，山西五台人，博士，研究员。击并摧毁目标，也要能够及时侦察敌情，减少己方人员伤亡，这就要求该武器系统的目标检测同时具有很高的检测精度和很快的识别速度。如今，随着深度学习技术的突破和计算硬件的发展，基于深度学习的目标检测算法 已经不再依靠人工提取特征，而是借助深度卷积神经网络自行提取更具表达能力的深层特征，这不仅使目标检测更具有泛化能力，而且具有很高的检测精度。目前，第 卷 第 期 年 月 电 光 与 控 制 基于深度学习的目标检测算法大致可以分为两类，一类是以 为代表的两阶段（）算法，另一类则是以 为代表的单阶段（）算法。目前，两阶段目标检测算法被应用于日常情况下已经具备了精度高、速度快的特点，然而应用于检测实际军事战场环境中的目标时，尤其是遇到军事目标借助物体隐蔽的情况，目标检测算法无法维持原有的检测精度和速度，甚至会出现漏检和误检的情况，这对于瞬息万变的战场来说是致命的。于是，康帅等针对复杂场景下检测精度下降和漏检的问题，在 网络中添加了基于空洞卷积的 模块和 结构，增大感受野，从而获得更多的特征信息，一定程度上降低了漏检率；李轩等在 算法上除了同样采用空洞卷积层，还使用改进残差网络（）后的密集网络结构，通过重用特征保留更多的特征细节，提高目标检测算法在复杂天气环境下的鲁棒性。采用空洞卷积模块改进目标检测算法，虽然能够通过增大感受野尽可能提取到更详细的目标特征，但是空洞卷积是面向整个特征图，会存在冗余的特征信息，而且空洞卷积是以扩充的方式增大感受野，会损失信息的连续性。因此，融合注意力机制被提出，令网络模型重点提取目标区域的特征信息，以此解决目标有遮挡的问题。邓杰等在 网络的输出层中加入时频域融合注意力模块（），通过给特征图分配权重，令网络更多地关注目标区域，有效地提高了密集行人的检测精度；王杨等考虑到检测目标经过迷彩伪装会影响检测精度，对 算法添加 和（）注意力模块，能较为准确地检测出隐蔽目标且保持较高精度。对于目标检测的遮挡问题，无论是采用空洞卷积模块增大感受野，还是添加注意力机制提高关注度，研究人员都是针对目标未被遮挡的部分进行研究，通过改进目标检测算法来实现遮挡条件下的目标检测任务。很少有人从目标整体的角度出发来研究目标存在遮挡的检测精度问题，因此，本文结合图像修复提出一种针对目标被遮挡问题的目标检测算法（），该算法由两部分组成，一部分是基于 算法改进的目标检测算法，另一部分是基于生成对抗网络的图像修复算法，这部分用于对去除遮挡物的目标图像进行修复，尽可能还原图像中目标的完整性。算法训练分为两部分训练，除了搜集的图像外，训练的数据集还使用 算法进行数据增强。基于 的目标检测算法 目标检测算法 算法是单阶段目标检测算法中较为完善的一种算法，它在 的基础上增加了许多优秀的优化技巧，主要从网络结构、数据增强、激活函数和网络训练等方面进行优化，可以实现检测精度和速度的均衡。的网络结构主要由主干网络（）、颈部（）和头部（）个部分组成。主干网络借鉴 网络结构，采用 网络，该网络将特征提取分割为两个支流，一个支流需要经过若干残差模块进行特征提取，另一个则只需要经过一个卷积块，最后合并成一组特征图，这样既保留了网络的深度，提高网络的学习能力以及丰富特征内容，又减少了模型参数，降低了模型的计算成本。网络还采用 激活函数，不同于其他激活函数，函数没有上边界，能避免由于边界存在而导致的饱和，并且更加平滑，可以更好地传播信息，保持很好的准确性。网络的颈部（）即特征融合部分，主要采用了 模块和 网络结构，模块是多层池化结构，在 中除了用来消除卷积神经网络受固定输入尺寸的限制，还可以增加感受野，并分离出最重要的上下文特征。网络结构是在 结构的基础上增加了自下向上的特征金字塔，这样可以从主干层对不同的检测层进行特征融合。的损失函数在原 的基础上改用了，作为丈量目标框和预测框之间的位置损失，包含了重叠面积、中心点距离和长宽比 个因素，进一步提高了目标检测算法的精度。模型训练方面，算法采用了多个可以提升算法精度的训练小技巧。是 中提出的一种新型数据增强的算法，它将 张训练图片拼接为 张，极大地减少了训练成本。训练过程中采用 正则化，选择丢弃单元领域内的区块，增加模型训练的复杂性，效果比通常的 形式更好。除此之外，还采用遗传算法，在前的训练时间里选择出最优的超参数。改进的目标检测模块检测目标的遮挡问题，一般是指存在物体遮挡住目标的一部分区域，只留剩余部位暴露在检测视觉范围内，而且遮挡区域大小通常都是随机的，因此，目标暴露的部位以及区域大小成为影响检测效果的关键因素。现有的 算法虽然已经具有很好的检测效果，但是面对检测目标的遮挡区域过大或者暴露区域为非关键区域时，很容易出现漏检和误检的现象。本文同样在 算法的基础上进行改进，对算法主干网络部分引入卷积注意力模块（，），增强网络对目标区域的特征提取；同时，在计算条件有限的情况下，为提高模型训练效率，在模型的头部采用交叉迭代批量标准层（第 卷电 光 与 控 制徐 旸等：融合图像修复的遮挡目标检测算法 ，）。图 所示为改进的 结构图。图 改进的 结构图 卷积注意力模块卷积注意力模块（）是由通道注意力模块（，）和空间注意力模块（，）两个独立的子模块组合而成，通过每一步训练让网络学会关注更重要的特征图以及特征信息，采用给通道和空间分配不同权重的方式，使注意力信息流通整个网络。通道注意力模块是对特征图的通道进行权重分配，输入尺寸为 的特征图，分别经过全局最大池化和全局平均池化，得到 组 的特征图，然后在一个神经网络中进行 次卷积让通道数在 和 之间转换（为超参数），最后再将得到的特征图经过 函数输出一个 维向量的权重值，对输入的特征图赋值。空间注意力模块则是对每张特征图的内容进行权重分配，对输入的特征图先做一个基于通道的全局最大池化和全局平均池化，得到两个 的特征图，再将 张特征图进行通道拼接，最后经过 个卷积层和激活层降维成 的权重系数，赋值给每张特征图。图（）中，本文将 注意力模块添加在主干网络的残差模块（）中，并且在 模块中额外加入通道注意力模块，由于 模块是网络的主要组成部分，可以保证注意力机制深入网络，提升网络对特征图通道和空间的敏感性，而且避免了模型计算量的大幅增加。交叉迭代批量标准化批量标准化（，）通过对一个小批量（）的特征图进行标准化，令特征图的数据可以满足分布规律，能够大幅加快模型训练的收敛速度，缓解网络中特征分布较散的问题，还能改善内部协变量偏移（）现象。然而，产生这些优势的前提是 的数量足够大，这就需要较好的模型计算环境，因此，为了在有限的计算条件下不降低模型训练效率，本文在算法模型的头部采用交叉迭代批量标准化层代替原来的批量标准层。交叉迭代批量标准化是从时间维度上解决批量过小导致数据不足的问题，它用前几步迭代的标准化参数来计算本轮迭代的标准化参数。计算过程中需要先计算当前迭代参数下网络第 层迭代第 步的统计值，由于邻近几次迭代计算的模型参数变化是平滑的，可用泰勒公式近似计算前几步迭代的均值 （）和方差 （），即 第 期 （）（）（）（）（）（）（）（）（）式中：为第 步迭代的模型参数，表示网络的第 层；（）和 （）分别为第 步迭代的模型参数下第 步迭代计算的均值和方差；（）和 （）分别表示均值和方差对网络参数求偏导。利用前几步迭代的统计值即可计算处理出当前迭代的标准化参数，（），（），（）和，（），即，（）（）（），（）（），（）（），（），（），（）（），（），（），（），（）（），（），（）（）其中：式（）是对式（）的结果求均值所得；式（）则是为了保证经过泰勒公式计算使方差有意义；，（）为标准化参数；和 为 需要学习的参数。基于生成对抗网络的图像修复模块生成对抗网络（，）是由 等提出的，主要用于实现图像去噪、图像修复、图像风格转换等计算机视觉任务。生成对抗网络一般包含生成器 和判别器 两个部分，生成器经过学习数据分布将随机输入的噪声生成接近真实的样本，鉴别器则是用来判断输入的样本是生成器生成的假样本还是真实样本，然后遵循“二人零和博弈”的思想，将生成器网络与鉴别器网络进行博弈，从而使训练出的生成器能够生成足以以假乱真的样本。其中，博弈过程就是优化 网络目标函数的过程。的对抗损失公式为（，）（）（）（）（）（）式中：为分布函数的期望；（）为真实样本的数据分布，即为真实样本；（）表示随机输入的噪声分布，通常采用正态分布。网络模型结构考虑到目标图像不完整的轮廓会对目标检测结果有一定的影响，因此受到 等提出的基于对抗性边缘学习的图像修复算法（）启发，本文在基于生成对抗网络设计的图像修复网络上增加边缘修复网络，这样可避免图像修复的边界模糊问题，而且尽可能保证目标图像轮廓信息的完整性，模型结构见图。图 图像修复模型结构图 本文的图像修复模型由 个生成器和 个判别器组成。前半部的生成器用于边缘生成，保证目标图像轮廓的完整性，并对应一个判别器；后半部的生成器则用于图像内容的纹理修复，对应另一个判别器。边缘生成器依照原模型进行结构布局，采用自编码的形式，包含 次下采样、个残差块以及 次上采样。图像修复生成器使用本文目标检测模块的主干网络作为自编码部分，这样可以共享特征提取的参数，节省部分运算时间。解码部分使用了 个上采样模块，包含 个卷积块、上采样层和跳跃连接层，其中，上采样的扩张因子为，激活函数的参数 ，最后添加 个卷积层将特征图输出为三通道的样本图像。由于图像修复生成器融合 主干网络作为编码器，因此还采用跳跃连接的形式，将编码器各层输出的特征图跳跃连接到解码器中，与上采样的特征图进行融合，从而保证高层次语义信息和低层次局部信息的第 卷电 光 与 控 制徐 旸等：融合图像修复的遮挡目标检测算法有效融合，为图像修复增添更多局部细节信息，同时也有助于梯度的反向传播，加快训练速度。个判别器均采用 的 结构，将输入映射为 的矩阵，矩阵块的每个元素代表着原图像中对应的 感受域的评价值，再通过求均值来判断是否为真实样本。损失函数原始 网络的损失函数是用 散度和 散度作为距离衡量指标，在高维度空间中，当生成分布和真实分布没有重叠部分或者重叠部分可以忽略时，散度和 散度无法反映两者的远近，而且无法提供梯度，这会导致判别器优化良好的情况下生成器发生梯度消失现象，而且使用 损失函数训练生成的图像缺乏多样性。因此，本文在两个判别器中均应用 网络的损失函数，它是使用 距离来衡量生成样本分布和真实样本分布之间的距离，相同情况下，由于 距离是平滑的，所以能够提供有效的梯度。网络的损失函数 为 （）（）（）式中：和 分别为真实样本分布和生成样本分布；为生成样本。边缘生成网络的损失由于边缘生成网