基于图像融合和改进Corn...ze的煤矿井下行人检测方法_邹盛.pdf

基于图像融合和改进 CornerNet-Squeeze 的煤矿井下行人检测方法邹盛1，2，周李兵1，2，季亮1，2，于政乾1，2（1.中煤科工集团常州研究院有限公司，江苏常州213015；2.天地（常州）自动化股份有限公司，江苏常州213015）摘要：在煤矿井下无人驾驶和安防监控等领域，对行人目标的检测至关重要，但受井下光线昏暗、光照不均、背景复杂、行人目标小且密集等特殊工况环境的影响，图像中的行人目标存在边缘细节特征少、信噪比低、与背景相似度高等问题，难以有效识别遮挡多尺度下的行人目标。针对上述问题，提出了一种基于图像融合和改进CornerNet-Squeeze 的煤矿井下行人目标检测方法。采用双尺度图像融合（TIF）算法将红外相机和深度相机采集的图像进行像素级融合，再进行形态学处理，减少背景干扰。在 CornerNet-Squeeze 网络基础上，将八度卷积（OctConv）引入沙漏型主干网络，处理图像特征中高低频信息，增强图像边缘特征，提高多尺度行人检测能力。实验结果表明：在深度图像、红外图像、融合图像 3 种数据集上，改进 CornerNet-Squeeze 模型在保持原算法实时性的同时，有效提升了井下行人检测精度。采用融合图像数据集训练的模型检测精度较红外图像和深度图像数据集训练的模型高，可见融合图像能充分发挥深度图像和红外图像的优势，有助于提高模型检测精度。在不同程度遮挡和多尺度行人目标 6 种场景下，改进 CornerNet-Squeeze 训练的模型的行人漏检率最低。与YOLOv4相比，在COCO2014行人数据集上改进 CornerNet-Squeeze 算法的平均精度提高了1.1%，检测速度提高了 6.7%。改进 CornerNet-Squeeze能够有效检测出图像中远处小目标，对小目标的检测能力提升明显。关键词：煤矿井下行人检测；双尺度图像融合；CornerNet-Squeeze；边缘增强；沙漏型主干网络；多尺度行人检测中图分类号：TD67文献标志码：AApedestriantargetdetectionmethodforundergroundcoalminebasedonimagefusionandimprovedCornerNet-SqueezeZOUSheng1,2,ZHOULibing1,2,JILiang1,2,YUZhengqian1,2(1.CCTEGChangzhouResearchInstitute,Changzhou213015,China；2.Tiandi(Changzhou)AutomationCo.,Ltd.,Changzhou213015,China)Abstract:Inunmanneddrivingandsecuritymonitoringinthecoalmine,detectingpedestriantargetsisveryimportant.Butundertheinfluenceofspecialworkingconditionssuchasdimlight,unevenillumination,complexbackground,andsmallanddensepedestriantargets,thepedestriantargetsintheimagehavesomeproblemssuchasfewedgedetails,lowsignal-to-noiseratioandhighsimilaritywiththebackground.Itisdifficulttoeffectivelyidentifythepedestriantargetsundermulti-scaleocclusion.Inordertosolvetheaboveproblems,apedestrian收稿日期：2022-07-01；修回日期：2023-02-01；责任编辑：王晖，郑海霞。基金项目：江苏省科技成果转化专项项目（BA2022040）；中国煤炭科工集团有限公司科技创新创业资金专项重点项目（2021-TD-ZD004）；天地科技股份有限公司科技创新创业资金专项项目（2021-TD-ZD004）；中煤科工集团常州研究院有限公司科研项目（2022TY6001）。作者简介：邹盛（1993），男，湖北麻城人，工程师，硕士，主要从事机器视觉图像算法相关工作，E-mail:。引用格式：邹盛，周李兵，季亮，等.基于图像融合和改进 CornerNet-Squeeze 的煤矿井下行人检测方法J.工矿自动化，2023，49（2）：77-84.ZOUSheng,ZHOULibing,JILiang,etal.ApedestriantargetdetectionmethodforundergroundcoalminebasedonimagefusionandimprovedCornerNet-SqueezeJ.JournalofMineAutomation，2023，49（2）：77-84.第49卷第2期工矿自动化Vol.49No.22023年2月JournalofMineAutomationFeb.2023文章编号：1671251X（2023）02007708DOI：10.13272/j.issn.1671-251x.2022070001detection method for underground coal mine based on image fusion and improved CornerNet-Squeeze isproposed.Theimagecollectedbytheinfraredcameraanddepthcameraisfusedatthepixellevelusingthetwo-scaleimagefusion(TIF)algorithm.Themorphologicalprocessingiscarriedoutforthefusedimogetoreducebackgroundinterference.BasedontheCornerNet-Squeezenetwork,octaveconvolution(OctConv)isintroducedintothehourglasstypebackbonenetworktoprocessthehighandlowfrequencyinformationofimagefeatures,soas to enhance the image edge features and improve the detection capability of multi-scale pedestrians.Theexperimentalresults show the following points.The improved CornerNet-Squeeze model can effectivelyimprovethedetectionprecisionofundergroundpedestrianwhilemaintainingthereal-timeperformanceoftheoriginalalgorithmonthedatasetsofrangeimage,infraredimageandfusionimage.Thedetectionprecisionofthemodeltrainedbythefusionimagedatasetishigherthanthatofthemodelstrainedbytheinfraredimagedatasetorthedepthimagedataset.Theresultshowsthatthefusionimagecangivefullplaytotheadvantagesofthedepthimageandtheinfraredimage,andishelpfultoimprovethedetectionprecisionofthemodel.Inthesixscenesofdifferentdegreesofocclusionandmulti-scalepedestriantarget,themodeltrainedbytheimprovedCornerNet-Squeezehas the lowest pedestrian misdetection rate.Compared with YOLOv 4,the averageaccuracyoftheimprovedCornerNet-SqueezealgorithmontheCOCO2014pedestriandatasetisimprovedby1.1%,andthedetectionspeedisimprovedby6.7%.TheimprovedCornerNet-Squeezecaneffectivelydetectthesmalltargetintheimage.Thedetectioncapabilityofthesmalltargetisobviouslyimproved.Key words:underground pedestrian detection;two-scale image fusion;CornerNet-Squeeze;edgeenhancement;hourglasstypebackbonenetwork;multi-scalepedestriandetection 0引言近年来，随着煤矿智能化建设加速进行，机器视觉技术在井下行人检测领域应用广泛，通过图像处理算法对行人目标进行检测和分析，用于后续井下无人驾驶车辆感知和智能安防监控等，对于提高煤矿安全生产管理水平、防范人身伤亡事故具有重要意义1-2。受井下光线昏暗、光照不均、背景复杂、行人目标小且密集等特殊工况环境的影响，图像中的行人目标存在边缘细节特征少、信噪比低、与背景相似度高等问题，难以有效识别遮挡多尺度下的行人目标，导致基于机器视觉的行人检测技术在井下应用面临很大挑战。基于机器视觉的行人目标检测技术主要分为基于传统图像处理算法和基于深度学习算法 2 种。基于传统图像处理的行人目标检测算法包括方向梯度直方图（HistogramofOrientedGradient,HOG）+支持向量机（SupportVectorMachines，SVM）、积分通道特征（IntegralChannelFeatures，ICF）+AdaBoost、可变形部件模型（DeformablePartModel，DPM）等3，主要依赖人工设计特征，获得的行人检测特征主观性强，鲁棒性差，无法满足煤矿井下暗光、粉尘等特殊工况的多尺度行人检测需求。基于深度学习的行人目标检测算法通过大规模数据集训练学习，主动提取特征，解决了基于传统图像处理的行人目标检测算法模型泛化能力差的问题，针对复杂环境下的图像处理问题具有更大的性能优势和应用潜力。基于深度学习的行人目标检测算法主要包括 two-stage 和 one-stage2 类。two-stage 算法通过区域生成网络产生目标候选框，并对目标候选框进行分类回归，以基于区域候选 框 的 卷 积 神 经 网 络（Region-basedConvolutionalNeural Networks，RCNN）及 其 迭 代 升 级 网 络 FastRCNN、FasterRCNN4为代表，优点是检测效果较好；one-stage 算法采用端到端的方式训练网络，无需生成区域候选框，直接对目标检测框进行分类回归并输出检测结果，主要包括 SSD5系列、YOLO6系列、CornerNet7系列等，优点是检测速度快。李伟山等8提出了一种改进的 FasterRCNN 煤矿井下行人检测方法，以 FasterRCNN 算法为基础，对候选区域网络（RegionProposalsNetwork，RPN）结果进行改进，将不同层级的特征融合，