基于LGC的反残差目标检测算法.pdf

http:/DOI:10.13700/j.bh.1001-5965.2021.0452基于 LGC 的反残差目标检测算法张云佐*，李文博，郑婷婷(石家庄铁道大学信息科学与技术学院，石家庄050043)摘要：基于深度学习的目标检测是计算机视觉领域的研究热点，目前主流的目标检测模型大多通过增加网络深度和宽度以获得更好的检测效果，但容易导致参数量增加、检测速度降低的问题。为兼顾检测精度与速度，借鉴 Ghost 卷积和分组卷积的轻量化思想，提出了一种高效的轻量级 Ghost 卷积(LGC)模型，以采用更少的参数获得更多的特征图。在该卷积模型的基础上引入反残差结构重新设计了 CSPDarkNet53，生成了一种基于 LGC 的反残差特征提取网络，以提高网络对全局特征信息的提取能力。使用反残差特征提取网络替换 YOLOv4 的骨干网络，辅以深度可分离卷积进一步减少参数，提出了一种反残差目标检测算法，以提升目标检测的整体性能。实验结果表明：相比于主流的目标检测算法，所提算法在检测精度相当的前提下，模型参数量和检测速度具有明显的优势。关键词：轻量化模型；Ghost 卷积；深度可分离卷积；反残差结构；YOLOv4；目标检测中图分类号：TP391文献标志码：A文章编号：1001-5965（2023）06-1287-07目标检测一直是计算机视觉领域的研究热点。目前，深度学习凭借其强大的表征能力和建模能力在目标检测中得到了广泛的应用1。基于深度学习的目标检测算法包括one-stage 与two-stage 两类。其中，以卷积神经网络（convolutionalneuralnetwork，CNN）主干网络和回归网络为核心组件的 one-stage算法应用较为广泛，如YOLOv32、YOLOv43、SSD4等目标检测算法。该类目标检测算法在很大程度上弱化了光照变化、噪声干扰等对检测效果的影响，但在某些较为复杂的应用场景下，仍存在检测精度不足的问题；此外，其在实际应用中通常被嵌入到可移动设备，使得算法模型的大小受限于硬件条件5。检测精度是衡量目标检测算法优劣的重要指标，精度的提升往往通过增加网络模型深度和宽度来实现6。例如，Zhou 等7提出了一种基于深度对齐网络的行人检测方法，在原有检测网络的基础上增加了基于外观模型的深度对齐网络，以校正不准确的检测结果，从而提高对遮挡行人的检出率。崔家礼等8提出了一种端到端的人眼检测算法，该算法在网络中引入扩张残差单元以提升小尺度人眼检测的能力，使用尺寸较大的浅层特征图预测更小的人眼目标，使人眼检测不再依赖于人脸检测。这些目标检测算法都有效提高了检测精度，但由于网络模型比较复杂且参数量较大，使得模型体积增大，导致检测速度不佳。基于深度学习的目标检测算法大多需要在GPU 的加速支持下才能实现实时检测9，对嵌入设备的硬件要求比较苛刻，为此轻量化的目标检测算法更符合实际需求。随着深度学习的不断发展，网络模型的轻量化取得了很大的进展。Howard 等10使用深度可分离卷积构建轻量化网络 MobileNets，收稿日期：2021-08-10；录用日期：2021-10-09；网络出版时间：2021-11-0214：17网络出版地址： J.北京航空航天大学学报，2023，49（6）：1287-1293.ZHANG Y Z，LI W B，ZHENG T T.Inverted residual target detection algorithm based on LGCJ.Journal of Beijing University ofAeronautics and Astronautics，2023，49（6）：1287-1293（in Chinese）.2023年6月北京航空航天大学学报June2023第49卷第6期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.6将网络中的标准卷积分解为深度卷积和逐点卷积，卷积运算所需的参数得到大幅减少，但随之造成网络的特征提取能力不足。此外，深度卷积的实质是分组卷积，虽然在理论上分组卷积可以显著降低计算量，但实际并不能降低对单个 GPU 内存的访问频率，并且目前 GPU 加速库的优化能力有限，因此其加速效果受限11。Tan 和 Le12发现卷积感受野的大小受卷积尺寸的影响，提出了混合深度卷积并设计了 MixNets，将标准卷积核替换为多个不同尺寸卷积核的混合组合，提高卷积模型的感受野，但较大尺寸卷积核的使用比较受限。Han 等13发现在提取到的特征图中含有较多的冗余特征，提出了Ghost 卷积模块，通过线性变化、恒等映射等方法获得更多的有效特征。Su 等14发现使用群卷积代替标准卷积可以有效提高深度卷积网络的计算效率，但由于该结构切断了特征间的联系，导致精度下降，提出了动态群卷积，自适应地为输入通道选择合适的分组进行连接。在文献14 的基础上，Wei 等15提出了动态混合群卷积，进一步减少较大输入通道和输出通道的卷积计算。这些轻量化方法在减小模型参数量上取得了一定的成效，但仍有提升空间。此外，虽然轻量化的网络模型体积更小、计算速度更快，但小模型所取得的优势是以牺牲精度为代价的，如何更好地兼顾检测精度与速度有待于进一步研究。由以上分析可知，目前网络模型仍存在大模型速度不佳、小模型精度不足的问题。为此，本文提出了一种轻量级 Ghost 卷积（lightweightGhostconvolution，LGC），并生成了基于 LGC 的反残差特征提取网络 LGC-IRNet，在此基础上，提出了一种反残差目标检测算法 LGC-YOLOv4，既减小了模型体积，又保证了检测精度。1LGC 模型目前，分组卷积是轻量化网络模型中常用的卷积操作之一16-17。先将输入特征图进行分组，再采用不同的卷积核分别对各个组进行卷积运算，以使用较少的参数构建有效的卷积神经网络。Ghost 卷积模型提供了一种新颖的轻量化方法，在计算复杂度和参数量上都有所降低。为进一步减少参数量，将分组卷积与 Ghost 卷积的轻量化方法结合，并增加输入特征的恒等映射，提出了更加轻量的 LGC模型。1.1Ghost 卷积模型尽管神经网络经过多次迭代运算可以获得较为丰富的特征，但是其中不乏冗余的特征图，如果仅利用标准卷积来生成这些冗余的特征图，则会造成计算资源与存储资源的浪费。X RcwhY Rnwhnwh假设给定的输入特征图为，其中，c、w、h 分别为输入特征图的通道数、宽度、高度，输出特征图为，其中，、分别为输出特征图的通道数、宽度、高度，则标准卷积运算可以表示为Y=X f+b（1）f Rnckkbnckkhwnckkcn式中：卷积滤波器为，k 为卷积核大小；“”为标准卷积运算；为偏差项。那么标准卷积运算所需要的浮点型计算量可记为，参数量为，一般情况下卷积模块的输入通道数 和输出通道数 的值普遍较大，如 256、512等，可见标准卷积的计算量和参数量都不容小觑。为此，Han 等13提出了 Ghost 卷积，以较低的计算成本挖掘更多的有效特征图，解决了标准卷积使用大量参数生成冗余特征图的问题18。X RcwhmckkY Rmwhm nm=n/smckk=(n/s)ckks1Y Rnwhsmwh(s1)m=(s1)(n/s)dd(s1)(n/s)(dd)Ghost 卷积主要由标准卷积和线性运算 2 部分组成，其结构如图 1 所示。首先，输入特征图与 个的标准卷积核进行卷积运算，得到原始特征图，其中，且，因此标准卷积部分的参数量为。然后，对原始特征图进行次线性运算，并将所得特征图与原始特征图叠加，得到输出特征图，该输出特征图由 个大小的特征图叠加而成9。线性部分采用个单通道的线性内核，因此线性运算部分的参数量为。由此可知，Ghost卷积的参数量主要集中在标准卷积部分，减少标准卷积部分的参数量可实现有效的参数压缩。ConvConcat1im图1Ghost 卷积结构Fig.1Ghostconvolutionstructure1.2LGC 模型结构本文在 Ghost 卷积的基础上，引入分组卷积的思想，提出了 LGC 模型，其模型结构如图 2 所示。1288北 京 航 空 航 天 大 学 学 报2023年GroupConvAdd1im图2LGC 结构Fig.2LGCstructureX Rcwhmmc/mkkY Rmwhm nm=n/smc/mkk=ckkmns=n/m该模型主要由分组卷积、线性运算和恒等映射 3 个部分组成。首先，将输入特征图分为组，即输入特征图与个的分组卷积核进行卷积运算，得到原始特征图，其中，且，因此分组卷积部分的参数量为。然后，为了保证卷积模块的输出大小一致，将 kernelsize、stride、padding 等超参数的设置与标准卷积相同，则 层通道的原始特征图需要通过线性运算生成 个幻影特征图，即每层原始特征图需要生成个幻影特征图：yij=i,j(yi)i=1,m,j=1,s（2）yiYii,jijyijijmsY Rnwhsm=s(n/s)dds(n/s)(dd)=n(dd)式中：为原始特征图中的第 层特征；为第 层特征的第 个线性运算；为第 层原始特征经过第个线性运算生成的幻影特征。层原始特征图分别进行 次线性运算得到特征图，线性部分采用个的线性内核，因此线性运算部分的参数量为。最后，当输入与输出通道数一致时，引入恒等映射模块，将输入特征与幻影特征相加，在不增加参数量的条件下确保输出特征的信息量，提高卷积模型的特征表达能力。Y Rnwhmckkmkk(s1)(n/s)s(n/s)LGC 模块具有即插即用的特点，在保证输出特征图数量一致的条件下，使用 LGC 替换网络模型中的标准卷积模块，以减少网络模型的参数量。相较于 Ghost 卷积，同样生成原始特征图，Ghost 卷积所需的参数量为，而 LGC 为，相比之下参数量得到了大幅减少。此外，Ghost 卷积包含个线性运算13，而 LGC包含个线性运算，二者关于线性运算所需的参数量相差不大。k d c=256,512,s=2,3,s crn因 此，在 相 同 超 参 数 设 置 下，标准卷积与 Ghost 卷积的参数压缩比为：rn=nckk(n/s)ckk+(s1)(n/s)dd=ckk(c/s)kk+(s1)/sddcsc+s1 s（3）c=n2c=nrm一般情况下或，标准卷积与 LGC 的参数压缩比为：rm=nckkckk+nddncn+c=c/2c=nc2c=n（4）c c/2 s1/c由于，则理论上 LGC 对网络模型的压缩能力远大于 Ghost 卷积模块，且相较于标准卷积，其参数量甚至可以减少至原来的。2LGC-IRNet 特征提取网络对于常规的 one-stage 目标检测任务，骨干网络的特征提取能力越强，输出特征图具备的特征信息就越丰富，有助于提升检测器的检测精度。与此同时，骨干网络的参数量在整个检测网络中占有较大的比重，其参数量的大小影响网络模型的训练速度。针对精度与速度 2 方面的需求，使用 LGC 模块重新设计了 CSPDarkNet53，生成了一种轻量的特征提取网络 LGC-IRNet，该网络的结构如表 1 所示。CSPDarkNet53 由重复堆叠的残差单元构成，每个残差单元都包含大量的标准卷积，这些标准卷积表1LGC-IRNet 网络结构Table1LGC-IRNetnetworkstructure网络层次通道数尺寸/步长输出Conv2D3233/141641632Conv2D6433/2208208641LGC32LGC64残差块20820864Conv2D12833/21041041282LGC64LGC128残差块104104128Conv2D25633/252522568LGC128LGC256残差块5252256Conv2D51233/226265128LGC256LGC512残差块2626512Conv2D102433/2131310244LGC5