基于改进YOLOv3的集卡车头防砸检测_张柏阳.pdf

基于改进 YOLOv3 的集卡车头防砸检测张柏阳1,赵霞1,包启睿21(同济大学电子与信息工程学院,上海201804)2(利物浦大学计算机科学学院,利物浦L693BX)通信作者:赵霞,E-mail:摘要:在自动化港口集装箱起重机作业流程中,集卡车头防砸检测是不可或缺的一个环节.针对在此环节采用人工确认方法效率低和基于激光扫描方法耗费高、系统复杂的问题,本文提出一种基于作业场景视频图像和深度学习的算法对集卡车头进行目标检测.建立集卡车头样本数据集,采用 DCTH-YOLOv3 检测模型,通过模型迁移学习方法进行样本训练.DCTH-YOLOv3 模型是本文提出的一种改进 YOLOv3 算法模型,该算法改进了 YOLOv3 的 FPN 结构提出一种新的特征金字塔结构AF_FPN,在高、低阶特征融合时通过引入具有注意力机制的 AFF 模块聚焦有效特征、抑制干扰噪声,提高了检测精度.另外,使用 CIoUloss 度量损失替代 L2 损失,提供更加准确的边界框变化信息,模型检测精度得到进一步提升.实验结果表明:DCTH-YOLOv3 算法在 GTX1080TI 上检测速率可达 46fps,相比 YOLOv3 算法仅降低了 3fps;检测精度 AP0.5为 0.9974、AP0.9为 0.4897,其中 AP0.9相比 YOLOv3 算法提升了16.4%.本研究算法相比 YOLOv3 算法,精度更高,更能满足自动化作业对集卡防砸检测高精度、快识别的要求.关键词:计算机视觉;集卡车头检测;深度学习;DCTH-YOLOv3;智能制造;目标检测引用格式:张柏阳,赵霞,包启睿.基于改进 YOLOv3 的集卡车头防砸检测.计算机系统应用,2023,32(2):190198.http:/www.c-s- Detection of Container Truck Head Based on Improved YOLOv3ZHANGBo-Yang1,ZHAOXia1,BAOQi-Rui21(CollegeofElectronicandInformationEngineering,TongjiUniversity,Shanghai201804,China)2(DepartmentofComputerScience,UniversityofLiverpool,LiverpoolL693BX,theUnitedKingdom)Abstract:Intheprocessofautomatedcraneoperationsforportcontainers,thedetectionofcontainertruckheadsisanindispensablelink.Tosolvetheproblemoflowefficiencybymanualconfirmationandhighcostsandcomplexsystemsbythelaserscanningmethod,thisstudyproposesanalgorithmbasedonvideoimagesofoperationscenesanddeeplearningfortargetdetectionofcontainertruckheads.Specifically,upontheconstructionofasampledatasetofcontainertruckheads,theDCTH-YOLOv3detectionmodelisused,andsampletrainingisperformedthroughthemethodofmodelmigrationlearning.TheDCTH-YOLOv3modelisanimprovedYOLOv3modelproposedinthisstudy.ThealgorithmimprovestheFPNstructureofYOLOv3andproposesanewfeaturepyramidstructureAF_FPN.Duringthefusionofhigher-andlower-orderfeatures,theAFFmodulewiththeattentionmechanismisintroducedtofocusoneffectivefeaturesandsuppressinterferencenoise,whichincreasestheaccuracyofdetection.Inaddition,themetricCIoUlossisusedtoreplaceL2losstoprovidemoreaccurateboundaryboxchangeinformationandfurtherimprovethemodeldetectionaccuracy.TheexperimentalresultsindicatethatthedetectionrateofDCTH-YOLOv3canreach46fpsonGTX1080TI,whichisonly3fpslowerthanthatofYOLOv3.ThedetectionaccuracycanreachAP0.50.9974andAP0.90.4897,inwhichAP0.9is16.4%higherthanthatofYOLOv3.ComparedwiththeYOLOv3algorithm,theproposedalgorithmhashigheraccuracyandcanbettermeettherequirementsofautomaticoperationsforhighaccuracyandfastidentificationin计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):190198doi:10.15888/ki.csa.008923http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041收稿时间:2022-06-14;修改时间:2022-07-12;采用时间:2022-07-29;csa 在线出版时间:2022-09-26CNKI 网络首发时间:2022-11-15190软件技术算法SoftwareTechniqueAlgorithmtheanti-collisiondetectionofcontainertrucks.Key words:computervision;detectionofcontainertruckhead;deeplearning;DCTH-YOLOv3;intelligentmanufacturing;objectdetection随着港口自动化技术的不断成熟,自动化集装箱码头正逐渐取代传统码头.这也是未来港口的重点发展方向.自动化集装箱门式起重机(以下简称“自动化轨道吊”)是自动化码头的主力集装箱装卸设备之一,其工作效率影响整个码头的运营.目前,当自动化轨道吊卸箱到集卡车上时,需要人工进行安全确认以免砸损集卡车头.这样一来,完整的自动化流程则会被迫中断,进而严重影响作业效率.因此,一套高效稳定的集卡防砸检测系统是提高自动化轨道吊作业效率的关键.基于二维激光扫描检测技术1是目前常用的一种集卡防砸检测方法.该技术通过激光传感器可获取到集卡的轮廓特征并以此计算出集卡车头的位置以及车头与传感器的距离,从而确定落箱的安全区域.该套系统在理想环境下,正确识别率能达到 95%以上,但也存在缺点:首先,该套系统的位置计算模型建立在激光射出的扫描平面为绝对水平的理论基础上,但在实际作业中存在诸多扰乱水平的因素,如设备磨损、安装支架松动、轨道沉降等;其次,该套系统中的激光传感器价格昂贵,多车道检测时更是需要安装多个设备才能满足要求;最后,激光传感器在大雨、大雪、大雾、灰尘环境下,容易出现误检.针对上述方案稳定性不足的问题,胡荣东等人2提出一种基于三维激光的检测方案,通过三维激光雷达采集吊具下方集装箱的三维点云和吊具的运动姿态参数,再根据姿态参数对三维点云进行转换得到全面点云并在点云中确定集装箱下落区域的范围,最后通过判断该范围内是否存在障碍物进行防砸检测.但该方法对硬件设备要求较高.为了平衡研发成本与经济效益,张俊阳等人3提出一种基于深度学习的视觉检测方案,通过摄像头截取包含吊具和集卡车头的图片,再将图片送入 MaskR-CNN 神经网络算法4进行集卡车头定位.但该方法并不适合此场景:一方面,MaskR-CNN 网络是一种基于像素级的监督学习检测算法,在网络的训练过程中需要大量的语义分割标签样本,然而这种标签样本在特殊场景任务中获取是非常困难的;另一方面,Mask-RCNN 在单块 TitanX 上的检测速度只能达到 8fps 左右,无法满足该场景下实时检测任务的要求.针对以上问题,本文提出一种新的神经网络算法DCTH-YOLOv3(detectionofcontainertruckheadbasedonYOLOv3)从而实现集卡车头的识别与定位.DCTH-YOLOv3 通过改进 YOLOv3 网络5,在 FPN 结构6中引入注意力融合模块 AFF(attentionfusionfeature)将高层特征与低层特征进行融合时,聚焦和强化有效特征、抑制干扰特征,获得一种新的特征金字塔结构AF_FPN(attentionfusionfeaturepyramidnetwork),该结构虽然在一定程度上降低了网络的检测速度但有效地提升了网络的检测精度;另外,针对目标位置回归损失函数,采用 CIoUloss7度量损失替换 L2 损失,提供更加准确的边界框的数据信息,从而进一步提高了模型的检测精度.在测试数据集上,本文所提算法 AP0.5为 0.99,AP0.9为 0.49 相比于 YOLOv3 算法提升了近16.4%左右.1目标检测算法目标检测技术通过从图像中定位出所有感兴趣的目标(物体)并识别出它们所属种类,该技术是计算机视觉技术的一个重要分支.早期的目标检测技术主要依靠统计学的方法提取特征,例如 HOG8、SIFT9等方法对检测图像进行特征提取,再使用 SVM10、AdaBoost11、DPM12等分类检测器对上述提取的特征进行目标检测.然而不是所有的物体都能设计出有效的特征提取方法,因此这种方法在工程应用中存在很大的局限性.深度学习则在训练过程中利用数据本身自动学习如何提取有效特征,这种方法有效地打破了手动设计特征提取方法的局限,从而极大地促进了目标检测技术的发展.目前这种基于深度学习的目标检测方法已成为目标检测技术的主流研究方向.近年来,基于卷积神经网络13的目标检测方法更是取得了突破性进展,已被广泛应用于自动驾驶、视频监控、机器人视觉、工业自动化等领域.基于深度学习的主流目标检测算法大致分为两类:一类称为二阶段算法,这种算法基于区域建议算法,先从图片中找出包含检测目标的区域作为预选框,再将预选框内的特征信息送入下一阶段的卷积神经网络进2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法191行目标的分类和位置回归,其代表算法有 R-CNN14、Fast-RCNN15、Faster-RCNN16等;另一类称为一阶段算法,该算法将整幅图送入神经网络,直接检测出图中目标的类别及相关位置信息,其代表算法有 SSD17、YOLO 系列18等.前者算法的检测精度较高,但检测的速度更慢;后者的检测精度较差,但检测速度能够达到实时检测的要求.鉴于集卡车头检测任务实时高精度的要求,本文设计的网络选取 YOLOv3 为基础.YOLOv3是一种一阶段的目标检测算法,集检测精度高和速度快于一身,已被广泛应用于工业检测任务1921.2集卡车头检测算法设计集卡车头目标检测算法的流程如图 1 所示,主要包括准备数据、模型搭建、训练