多尺度特征融合的雾霾环境下车辆检测_王忠美.pdf

多尺度特征融合的雾霾环境下车辆检测王忠美1,薛子豪1,伍宣衡1,郑良21(湖南工业大学轨道交通学院,株洲412007)2(中国电子科技集团公司第十五研究所,北京100089)通信作者:王忠美,E-mail:摘要:针对雾霾环境下车辆检测准确率低、漏检严重的问题,提出一种多尺度特征融合的雾霾环境下车辆检测算法.首先利用条件生成对抗网络对雾霾图像进行去雾预处理,然后针对雾霾环境下目标特征不明显的特点,提出多尺度特征融合模块,在 YOLOv3 的基础上,从主干网络提取特征时增加一条浅层分支和深层特征进行上采样拼接融合,得到尺度为 104104 的特征图,用于增强浅层的语义信息.并采用 CBAM 注意力机制引导下的特征增强策略,保证上下文信息的完整性,以提高检测的精度,最后将去雾后图片送入改进后的 YOLOv3 网络进行检测.实验结果表明,相较于原始网络,该算法在 RTTS 数据集上的检测结果更加优秀,模型可以达到 81%的平均精度和67.52%的召回率,能够更加精确的定位到车辆.关键词:图像处理;雾霾环境;YOLOv3;注意力机制;特征融合;目标检测引用格式:王忠美,薛子豪,伍宣衡,郑良.多尺度特征融合的雾霾环境下车辆检测.计算机系统应用,2023,32(2):217225.http:/www.c-s- Feature Fusion for Vehicle Detection in Haze EnvironmentWANGZhong-Mei1,XUEZi-Hao1,WUXuan-Heng1,ZHENGLiang21(CollegeofRailwayTransportation,HunanUniversityofTechnology,Zhuzhou412007,China)2(The15thResearchInstitute,ChinaElectronicsTechnologyGroupCorporation,Beijing100089,China)Abstract:Givenlowvehicledetectionaccuracyandseriousmissdetectioninahazeenvironment,avehicledetectionalgorithmwithmulti-scalefeaturefusioninahazeenvironmentisproposed.Firstly,theconditionalgenerationandadversarialnetworkisemployedtopreprocessthehazeimages.Then,astheobjectfeatureisnotobviousinahazeenvironment,amulti-scalefeaturefusionmoduleisputforward.OnthebasisofYOLOv3,ashallowbranchisaddedforupsamplingsplicingandfusingwithdeeplayerfeaturesduringextractingfeaturesfrombackbonenetworks.Asaresult,thefeaturemapwiththescaleof104104isobtained,whichisadoptedtoenhancetheshallowsemanticinformation.ThefeatureenhancementstrategyguidedbytheCBAMattentionmechanismisutilizedtoensuretheintegrityofcontextinformationandimprovedetectionaccuracy.Finally,thedehazedimagesaresenttotheimprovedYOLOv3networkfordetection.ExperimentalresultsshowthattheproposedalgorithmhasbetterperformancethantheYOLOv3algorithmontheRTTSdataset.Theproposedmodelcanachieveanaverageaccuracyof81%andarecallof67.52%andcanlocatevehiclesmoreaccurately.Key words:imageprocessing;hazeenvironment;YOLOv3;attentionmechanism;featurefusion;objectdetection计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):217225doi:10.15888/ki.csa.008957http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:国家重点研发计划(2021YFF0501102);湖南省自然科学基金(2020JJ5128);湖南省高新技术产业科技创新引领计划(2021GK4010)收稿时间:2022-06-30;修改时间:2022-08-09,2022-08-19;采用时间:2022-08-25;csa 在线出版时间:2022-10-28CNKI 网络首发时间:2022-11-15SoftwareTechniqueAlgorithm软件技术算法217车辆检测是计算机视觉的重要任务之一,在自动驾驶、视频监控等领域应用十分广泛.雾霾环境下的车辆检测作为其中一个研究方向,也受到研究人员的重视.雾霾环境下车辆检测的准确率在相关应用中起到重要作用.传统车辆检测算法采用滑动窗口的方式遍历图像,接着人工选取特征,对目标进行识别.传统的检测方法有它的局限性:(1)在候选框生成中,生成了大量冗余的候选框,导致分类的误差比较大.(2)特征描述子1,2是基于低级视觉特征手工制作的,这使得在复杂语境中难以捕获代表性语义信息.(3)检测的每一步都是独立而不是端到端的,无法得到整个系统的全局最优解.目前基于深度学习的目标检测算法包含两种不同类型:一类是以 YOLO3、SSD4等为代表的基于回归的算法,另一类是以 R-CNN5、FastR-CNN6、FasterR-CNN7等为代表的基于区域提议的算法.基于卷积神经网络的目标检测方法在车辆检测中的应用,极大地提升了车辆检测的准确率.但是雾霾环境下,检测准确率比较低.这是因为雾霾环境下,大量的水滴或灰尘等物质悬浮在空气中,这些物质会使光线发生折射、漫反射,网络学习到的车辆特征会发生丢失,使模型难以检测出雾霾环境下的车辆.黄开启等8采取传统去雾方法对雾霾图像做预处理,汪昱东等9在检测网络中加入雾浓度判别模块以提高网络的适应性和鲁棒性,柳长源等10利用 K 均值算法(K-means)对锚框重新聚类以满足车辆目标检测的特定需求,罗建华等11使用 DIOU 损失提高定位精确度以降低小目标漏检率.谢艳丽等12在雾天退化模型基础上,使用边窗均值滤波算法对初始透射率进行改进,解决雾霾天气下目标轮廓模糊的问题.以上方法主要存在两个问题:(1)大部分检测是在晴天的环境下,很少有对雾霾环境下的研究.(2)传统的去雾算法不一定总是能够取得很好的效果.针对上述问题,本文首先对图片做去雾预处理,利用条件生成对抗网络(CGAN)作为图片去雾预处理模块,该模块是一种基于卷积神经网络的去雾模块,可以对单幅图像去雾霾.检测网络选用 YOLOv3 网络,并对其做了修改:提出多尺度特征融合模块,在原特征融合结构中增加一条浅层特征分支用于融合不同尺度的特征信息,同深层特征经过上采样后拼接,增强了浅层的语义信息,并采用 CBAM 注意力机制引导下的特征增强策略保留了特征的细节信息,有效提高了检测精度.1图像去雾处理雾和霾有着本质上的区别,因此传统的基于大气散射模型的去雾方法在雾霾环境下不能总是取得很好的效果.针对此问题本文选择了 CGAN 作为去雾算法,无需对场景透射率以及众多参数的估计即可获得去雾图像.生成性对抗网络(GAN)由 Goodfellow 等13于2014 年提出.GAN 主要包括生成器和鉴别器两部分.生成器能够捕获真实数据样本的潜在分布,并生成新的数据样本.鉴别器实际上采用了二分类的思想,用于判定输入样本的真假.之后研究人员提出对 GAN 添加约束,在原始 GAN 上添加条件变量来生成想要的特定图像.CGAN14的结构如图 1 所示.InputGeneratorGenerate dataDiscriminatorReal dataScoresCondition图 1CGAN 结构利用 CGAN 进行去雾预处理,首先将雾霾图像输入生成器,生成器处理后输出去雾图像,之后将雾霾图像与去雾图像一起输入判别器,得到一组判断结果.结果中只包含 01 的值,表示着判别器认为去雾图像是计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期218软件技术算法SoftwareTechniqueAlgorithm真实的无雾图像的概率.然后再将有雾图像与真实的无雾图像一起输入判别器,输出另一组结果.将前后两组结果做比较,用它们的差优化生成器与判别器的参数,帮助网络训练.2多尺度特征融合的 YOLOv3 检测算法本文使用的 YOLOv315是一种基于回归的一阶段检测算法,主干网络 Darknet53 中没有全连接层和池化层,并且含有相当多的 33 和 11 的卷积层,融合了残差网络(ResNet)的思想,解决了梯度消失和梯度爆炸的问题.YOLOv3 为了更好地检测不同尺寸的目标,借鉴了特征金字塔(FPN)16的思想,融合了 Darknet53 提取出的 3 种不同尺度的特征图,将它们合并后做非极大抑制(NMS)操作,获得最终的结果.为了改善 YOLOv3 存在的雾霾环境下漏检率高等问题,提出了多尺度特征融合模块,首先在浅层特征图中添加一条分支用于融合不同尺度的特征,提升模型对于浅层语义信息的提取能力,其次将提取的特征送入注意力机制模块,增强特征图对关键信息的表达能力,改进后的网络结构如图 2 所示.UpSampling131325526262555252255104104255ConvCBAMResidual InputMultiscale feature fusion moduleBackboneUpSamplingUpSamplingblockYOLO head图 2改进的 YOLOv3 结构 2.1 CBAM 模块CBAM 由 Woo 等17首次提出,是一种可以重点关注特征图的局部信息的模块.CBAM 在 SENet 的基础上增加了全局最大池化操作使获取信息更加全面,另一方面增加空间注意力,弥补了 SENet 空间上的不足,并将两者相结合,使网络可以学习需要重点关注区域的特征.图 3 为 CBAM 模块示意图.在卷积神经网络中,经过 22 或 33 的卷积后,经常会丢失上下文信息,使特征图中的细节不能很好的保留,为了更好地保留上下文信息,避免无用特征对网络的影响,将注意力机制引入特征融合模块.在进行卷积之前先通过注意力机制保留特征中的细节信息,同时保证了特征在空间上的相关性.之后再对特征图进行卷积和上采样的操作.MaxPoolAvgPoolMLPChannel attentionInputMaxPool,AvgPoolConvSpatial attentionOutput图 3CBAM 模块为了可视化加入注意力机制后的效果,使用 Grad-CAM 算法生成了网络热力图,图 4(b)为普通卷积输出热力图,图 4(c)为 CBAM 注意力热力图.图中红色区域为显著度最高的区域,是模型做出决策的主要依据2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechnique