基于残差网络与特征融合的改进YOLO目标检测算法研究_王彤.pdf

河北工业大学学报JOURNAL OF HEBEI UNIVERSITY OF TECHNOLOGY2023 年 2 月February 2023第 52 卷 第 1 期Vol.52 No.1基于残差网络与特征融合的改进YOLO目标检测算法研究王彤，李琦（河北工业大学 电子信息工程学院，天津 300401）摘要以深度学习为基础的YOLO目标检测技术因检测速度快，而广泛应用于实时目标检测领域中，但其检测准确率不高，尤其是对小物体的检测能力较差。针对上述问题，本文提出一种改进模型R-YOLO。该模型将残差单元引入YOLO目标检测，既可以通过增加网络的深度，提高网络的准确性，又可以利用残差网络的快捷连接方式，以保证检测的实时性。同时结合CBNet结构，增强语义信息，进一步提高R-YOLO的准确性。最后在改进的YOLO模型中通过特征金字塔融合，结合不同阶段卷积层输出的特征信息，使得融合后的特征图同时具有深层次的语义信息和浅层次的位置信息，以提高对小物体的检测准确性。在Pascal数据集上的实验显示R-YOLO在准确率上较YOLO提高了7.6个百分点，对小物体的检测结果更准确。结果表明，残差单元和特征金字塔融合的引入有效改进了YOLO网络模型的检测性能。关键词深度学习；目标检测；YOLO；残差网络；特征融合；CBNet中图分类号TP319.4文献标志码AResearch on improved YOLO target detection algorithm based onresidual network and feature fusionWANG Tong,LI Qi（School of Electronics and Information Engineering,Hebei University of Technology,Tianjin 300401,China）AbstractThe YOLO target detection technology based on deep learning is widely used in the field of real-time targetdetection with its fast detection speed,but its detection accuracy is not high,especially for small objects.In response tothe above problems,this paper proposes an improved model-R-YOLO.The model introduces the residual unit into YOLOtarget detection,which can not only increase the depth of the network to improve the accuracy of the network,but alsouse the fast connection method of the residual network to ensure the real-time detection.Combined with the CBNet structure,the semantic information is enhanced and the accuracy of R-YOLO is further improved.Finally,through feature pyramid fusion in the YOLO model,combined with the feature information output by the convolutional layers at differentstages,the fused feature map has both deep semantic information and shallow location information to improve detectionaccuracy of small objects.Experiments on the Pascal data set show that R-YOLO is 7.6 percentage points higher in accuracy than YOLO,and the detection results for small objects are more accurate.The results show that the introduction ofresidual unit and feature pyramid fusion effectively improves the detection performance of the YOLO network model.Key wordsdeep learning;target detection;YOLO;residual network;feature fusion;CBNet文章编号：1007-2373（2023）01-0041-09DOI：10.14081/ki.hgdxb.2023.01.006收稿日期：2020-03-21第一作者：王彤（1991），女，硕士研究生。通信作者：李琦（1974），男，教授，。王彤，等：基于残差网络与特征融合的改进YOLO目标检测算法研究0引言随着科技的进步，以深度学习为基础的目标检测技术广泛应用于交通、军事和医疗等领域，已成为研究热点。传统的目标检测算法需要人为的提取特征，这种方式受目标物体姿态、光照和背景等环境因素影响，很难达到一个统一的标准。通过滑动窗口思想进行目标提取的方式，因其运算量巨大，检测速度较慢。直到卷积神经网络的出现，实现了更好、更快、更准确地完成对图像的识别和检测。并随着网络的不断加深，深度卷积神经网络采用非线性变换，通过数据驱动的方式，学习图像中更全面的特征信息，使得河北工业大学学报42第 52 卷目标特征具有更好的泛化能力，促进了图像处理中识别和检测效能的提升1-2。深度学习目标检测技术的发展主要集中在2个方向：一个是R-CNN（Region-CNN）和FAST R-CNN等的two stage算法，另一个是YOLO3（You Only Look Once）和SSD4（Single Shot MultiBox Detector）等的onestage算法。R-CNN5-6模型由生成候选框、特征提取、目标分类和回归定位4个部分构成，是第一个将深度学习应用于目标检测的方法。在此基础上，将模块整合提出了FAST R-CNN7，2016年又提出了基于RPN思想的FASTER R-CNN8，它们都采用分类器和定位器去进行检测9，这种方式需要将模型应用于多个位置和不同比例的区域，依据评分的结果进行监测分析10，速度相对较慢。YOLO目标检测算法在一个神经网络模型里同时实现对目标范围和目标类别的检测，使得目标检测速度得到大幅提升。在Pascal数据集上的测试中，虽然YOLO算法对目标物体检测速度很快，但与FAST R-CNN相比，YOLO的准确率相对较低，尤其在对小物体的检测上效果不理想，针对这个问题，很多学者基于各类YOLO模型进行了改进11-15，以提高YOLO的检测性能。本文基于YOLO-v1模型进行改进，针对其检测准确率不高的问题，提出了3点改进措施：1）运用残差网络的快捷连接方式，加深其网络结构，在保证检测速度的前提下，提高了准确率；2）结合CBNet网络形式丰富特征层的特征信息，提高检测准确率；3）是将特征融合思想引入模型中，将各阶段的输出特征进行金字塔融合，使得特征中既包含浅层次的位置信息，又包含深层次的语义信息，提高对小目标的检测准确性。1YOLO 目标检测算法YOLO算法采用的是CNN分类器，将单个神经网络应用于整个图像，通过卷积运算，提升图像处理的效率，因此具有端到端与实时性的检测能力。其检测原理如图1所示。每个边界框都对应着一个置信度，如式（1）所示，其中Pr()Object表示单元格中是否包含目标，IOUtruthpred表示预测与真实边界框的交并比。如果一个目标的类别置信度的中心点坐标在一个单元格中，这个单元格就是包含这个目标，也就是说由该单元格负责预测这个目标。confidence=Pr()Object IOUtruthpred。（1）测试过程中，每个网格输出的最终概率如公式（2）所示，Pr()|ClassiObject表示网格中包含并属于第i个类别的概率。最后将得分较高的边界框采取非极大值抑制方式得到最终的检测结果。图 1YOLO 网络检测原理Fig.1Detection principle of YOLO network王彤，等：基于残差网络与特征融合的改进YOLO目标检测算法研究43第 1 期P=Pr()|ClassiObject Pr()Object IOUtruthpred=Pr()ClassiIOUtruthpred。（2）YOLO网络和GoogleNet的结构非常类似，其模型结构如图2所示。这种直接在输出层回归目标边界框的位置及类别的方法，无需再生成候选区域，在目标的检测准确性上会有一定的下降，并且随着卷积层数的加深，对小目标的特征信息不断丢失，使得在小目标上的检测性能较差。2改进的 YOLO 目标检测算法针对YOLO算法中存在的问题，本文结合残差网络与特征融合提出了一种改进模型R-YOLO。本文将网络进一步加深，以提高网络检测准确率，并结合CBNet网络形式和特征融合，改善对小目标的检测性能。随着网络深度的增加，使得反向传播越来越困难，性能开始出现退化。因此在改进中增加网络的深度，不是单纯靠卷积层的堆叠，而是运用残差单元，以优化网络性能。2.1在 YOLO 模型中引入残差网络在目标检测中，网络深度对于检测性能具有非常重要的意义16，因此本文进一步增加了YOLO网络的深度。但是单纯加深网络深度很可能造成网络性能的退化，残差网络很好地解决了这一问题。深度残差网络是2015年提出的深度卷积网络，在图像分类、检测、定位上的表现十分出色。相对于将每一层的卷积做连乘计算的普通网络，残差网络的前向过程是线性的，通过快捷连接方式进行身份映射，对每一个堆叠的层都采用残差学习。将残差单元应用在深度卷积神经网络中，基于跳层连接17，缓解了网络模型在训练过程中反向传播中的梯度消失现象，从而使得深层网络不再难以训练，解决了随网络加深的性能退化问题18。残差单元的定义如公式（3）所示。y=F()x,Wi+x，（3）式中：x和y是残差单元的输入和输出向量；函数F()x,Wi表示要学习的剩余映射。对于图3中具有两层的示例，用表示ReLU函数。执行操作F+x，在加法之后采用ReLU函数进行激活（即()y）。这样的快捷连接没有增加额外参数，计算复杂性也没有增加。x和F应具有相同的尺寸。当x和F的尺寸不同时，需要运用线性投影Ws进行尺寸的匹配，如式（4）所示。y=F()x,Wi+Wsx（4）本文结合残差单元加深 YOLO 的网络结构。在YOLO模型中的第3个和第4个池化层后分别加入2个图 2YOLO 的网络结构Fig.2Network structure of YOLO输入图片Conv7764-s-2Maxpool22-s-2Conv33192Maxpool22-s-2Conv11128Maxpool22-s-23325633512ConvMaxpool22-s-233102411256331024Conv2331024-s-211512331024Conv331024331024Conv1024Conv40964图 3残差算法原理图Fig.3Principle of residual algorithmReluF（x）+xConvlayerReluF（x）xConvlayery=F()x,Wi+Wsx