基于改进YOLOv4的综采工作面目标检测_王科平.pdf

基于改进 YOLOv4 的综采工作面目标检测王科平1，2，连凯海1，2，杨艺1，2，费树岷3（1.河南理工大学电气工程与自动化学院，河南焦作454003；2.河南理工大学河南煤矿装备智能检测与控制重点实验室，河南焦作454003；3.东南大学自动化学院，江苏南京210096）摘要：综采工作面关键设备及人员的准确检测是实现煤炭智能化开采信息感知的重要环节。传统目标检测算法通过人工提取特征实现目标检测，易受环境影响，不具有普适性。基于卷积神经网络的目标检测算法可以自适应地提取深层信息，但复杂环境下检测精度不高、网络参数多、计算量大。针对上述问题，提出了一种改进YOLOv4 模型，并将其应用于综采工作面目标检测。为准确从综采工作面复杂环境中检测到目标，在CSPDarkNet53 网络中融入残差自注意力模块，保证参数共享及高效局部信息聚合的同时增强全局信息获取能力，提升图像关键目标特征表达能力，进而提高目标检测精度；为适应综采工作面目标检测高效性需求，引入深度可分离卷积替代传统卷积，以减少模型参数量和计算量，有利于模型的工业部署，提高目标检测速度。实验结果表明，与 YOLOv3、CenterNet 及 YOLOv4 模型相比，改进 YOLOv4 模型平均精度均值最高，达 92.59%，且在参数量、计算量、检测精度上具有更优的平衡，可在煤尘干扰、光照不均、目标运动等复杂环境下对目标准确检测。关键词：综采工作面；目标检测；YOLOv4；残差自注意力；深度可分离卷积中图分类号：TD67文献标志码：ATargetdetectionofthefullymechanizedworkingfacebasedonimprovedYOLOv4WANGKeping1,2,LIANKaihai1,2,YANGYi1,2,FEIShumin3(1.SchoolofElectricalEngineeringandAutomation,HenanPolytechnicUniversity,Jiaozuo454003,China；2.HenanKeyLaboratoryofIntelligentDetectionandControlofCoalMineEquipment,HenanPolytechnicUniversity,Jiaozuo454003,China；3.SchoolofAutomation,SoutheastUniversity,Nanjing210096,China)Abstract:Theaccuratedetectionofkeyequipmentandpersonnelinthefullymechanizedworkingfaceisanimportantlinktorealizetheinformationperceptionofintelligentcoalmining.Thetraditionaltargetdetectionalgorithm realizes the target detection by extracting the features manually.But it is easily affected by theenvironmentanditisnotuniversal.Thetargetdetectionalgorithmbasedontheconvolutionalneuralnetworkcanextractdeepinformationadaptively.Butthedetectionprecisionisnothigh,thenetworkparametersaretoomany,andthecalculationistoolargeincomplexenvironment.Inordertotheaboveproblems,animprovedYOLOv4modelisproposedandappliedtothetargetdetectionofthefullymechanizedworkingface.Inordertoaccuratelydetecttargetsinthecomplexenvironmentofafullymechanizedworkingface,aresidualself-attentionmoduleisintegratedintotheCSPDarkNet53network.Thecapabilityofacquiringglobalinformationisenhancedwhile收稿日期：2022-07-29；修回日期：2023-02-16；责任编辑：盛男。基金项目：河南省科技攻关计划项目（212102210390）。作者简介：王科平（1976），女，河北张家口人，副教授，博士，主要研究方向为图像清晰化处理、目标检测、深度学习，E-mail：。通信作者：连凯海（1997），男，河南南阳人，硕士研究生，主要研究方向为目标检测、深度学习，E-mail：。引用格式：王科平，连凯海，杨艺，等.基于改进 YOLOv4 的综采工作面目标检测J.工矿自动化，2023，49（2）：70-76.WANG Keping,LIAN Kaihai,YANG Yi,et al.Target detection of the fully mechanized working face based on improvedYOLOv4J.JournalofMineAutomation，2023，49（2）：70-76.第49卷第2期工矿自动化Vol.49No.22023年2月JournalofMineAutomationFeb.2023实验研究文章编号：1671251X（2023）02007007DOI：10.13272/j.issn.1671-251x.2022070080parameter sharing and efficient local information aggregation are ensured.The capability of expressing thefeaturesofkeytargetsinanimageisimproved,andthetargetdetectionprecisionisfurtherimproved.Inordertomeettherequirementofhighefficiencyoftargetdetectioninthefullymechanizedworkingface,depthwise-separable convolution is introduced to replace traditional convolution.The model parameter quantity andcalculationquantityarereduced.Itisbeneficialtotheindustrialdeploymentofthemodel.Anditimprovestargetdetectionspeed.TheexperimentalresultsshowthatcomparedwithYOLOv3,CenterNetandYOLOv4models,theaverageprecisionoftheimprovedYOLOv4modelisthehighest,upto92.59%.Ithasbetterbalanceinparameterquantity,calculationquantityanddetectionprecision.Itcanaccuratelydetectthetargetinthecomplexenvironmentsuchascoaldustinterference,unevenlightingandmotionblur.Key words:fullymechanizedworkingface;targetdetection;YOLOv4;residualself-attention;depthwise-separableconvolution 0引言煤炭作为我国最丰富的能源资源，是国家能源安全的“压舱石”1-4。随着人工智能技术的不断发展，基于计算机视觉的深度学习算法在提升煤炭开采效率、保障采煤安全及煤炭智能化开采等方面发挥的作用愈发重要5-9。目标检测是计算机视觉技术的重要分支，针对综采工作面关键设备及人员的目标检测算法，是煤炭智能化开采信息感知的重要内容10。目前，应用于煤矿井下的目标检测常用算法有传 统 目 标 检 测 算 法 和 基 于 卷 积 神 经 网 络（ConvolutionalNeuralNetworks，CNN）的目标检测算法11。传统目标检测算法通过人工提取特征实现目标检测，如赵谦12提出了一种基于小波分解的Canny 边缘检测算法对井下员工进行检测，程健等13针对带式输送机视觉场景复杂、视频图像质量差等问题，采用改进的高斯混合模型提取视频背景，实现视频背景分离，从而实现煤矸石检测和识别。但上述算法复杂度高，不具有普适性，易受环境影响，且无法适应待检测目标的大幅度动作，稳定性很差。随着深度学习的兴起，基于 CNN 的目标检测算法被应用到综采工作面智能化建设中。与传统目标检测算法相比，基于 CNN 的目标检测算法可以自适应地提取深层信息，具有泛化能力强、稳定性高等特点。李伟山等14以 FasterRCNN 为基础，对候选区域网络结构进行改进并加入特征融合技术，构建了一种金字塔结构的煤矿井下行人检测算法。刘备战等15提出了一种具有层级相连结构的 RetinaNet 算法，可实现井下人员检测。付燕等16使用 YOLOv3 算法设计了一种井下工作人员持续检测系统。任志玲等17提出了一种改进的 CenterNet 算法，可对煤矿胶带运输异物进行准确识别。但上述算法大多仅针对简单场景，且检测目标单一。而综采工作面常见的是多个检测目标出现在同一场景，且常伴有煤尘干扰、目标运动、光照干扰等，导致采集的视频图像质量较差，检测精度难以保证；另外，基于 CNN 的目标检测算法大多网络结构复杂、参数多、计算量大18，不利于综采工作面工业部署的实际应用。本文提出了一种基于改进 YOLOv4 的综采工作面目标检测算法。为解决井下复杂环境下目标难以检测问题，在 YOLOv419模型基础上，融合 CNN 的高效局部信息聚合能力和残差自注意力（ResidualSelf-Attention，RSA）模块的长距离依赖信息获取能力，在确保局部上下文信息质量的同时加强全局信息的获取，增强待检测目标的显著度，进而提升检测精度；为减小综采工作面目标检测模型的工业部署难度，引入深度可分离卷积来简化模型，以减少模型参数量和计算量。1综采工作面目标检测1.1改进 YOLOv4 模型为准确从综采工作面复杂环境中检测到所需目标，借鉴 Google 提出的 BoTNet20设计思想，本文提出轻量级改进 YOLOv4 模型。该模型主要由特征提取 网 络 CSPDarkNet53、空 间 金 字 塔 池 化（SpatialPyramidPooling，SPP）模 块、路 径 聚 合 网 络（PathAggregationNetwork，PANet）模块构成，结构如图 1所示（Conv 为卷积，dw 为深度可分离卷积，Conv_dw_Conv 表示分别进行卷积、深度可分离卷积、卷积 操 作）。特 征 提 取 网 络 CSPDarkNet53 融 合 了RSA 模块，在提取局部特征的同时增强全局信息获取能力；SPP 模块利用 1313、99、55 和 11 这4 个不同尺度的最大池化对特征进行处理，以增大特征感受野，丰富特征图表达能力；PANet 模块引入深度可分离卷积，简化网络的同时加强了特征融合，有2023年第2期王科平等：基于改进 YOLOv4 的综采工作面目标检测71利于多样化特征的提取。1.2融合 R