基于YOLOv5的物流托盘实时检测方法研究_肖施睿.pdf

第45卷 第02期 2023-02【17】收稿日期：2021-04-19作者简介：肖施睿（1998-），男，湖南人，硕士研究生，研究方向为机械设计及理论、深度学习。通讯作者：程文明（1963-），男，浙江东阳人，教授，博士，研究方向为物流装备与工业工程。基于YOLOv5的物流托盘实时检测方法研究Pallet detection using YOLOv5 for logistics operations肖施睿1,2，刁云峰1,2，程文明1,2*，涂 昊1,2，谢孟添1,2XIAO Shi-rui1,2，DIAO Yun-feng1,2，CHENG Wen-ming1,2*，TU Hao1,2，XIE Meng-tian1,2（1.西南交通大学 机械工程学院，成都 610031;2.轨道交通运维技术与装备四川省重点实验室，成都 610031）摘 要：传统物流作业主要依靠人工操作叉车对托盘进行搬运,自动化程度低。工厂实际环境复杂多样,导致现有的托盘检测算法的模型复杂,耗时较长,无法同时达到准确性和实时性要求,难以实际运用。针对浙江某机械(搬运)设备有限公司下属的电动车工业园实际工厂环境下,XP3托盘自动搬运机器人工作效率问题,提出了一种高效准确的托盘检测算法,该算法利用改进的YOLOv5s网络检测托盘,在托盘定位部分准确率达到了99.8%,定位仅耗时10ms,同时算法的总体正确率达到了98.9%,总体耗时仅54ms,实现了对托盘高效精确的检测。关键词：托盘识别；目标检测;YOLOv5s;深度学习中图分类号：TP391.4 文献标志码：A 文章编号：1009-0134(2023)02-0017-050 引言随着工业4.0的提出，工厂自动化已经成为了一个非常重要的趋势。在物流行业中，自动叉车可以快速的进行物料和部件的运输，因此对托盘自动识别系统的研究能提高工厂生产效率，减轻工人工作强度，降低运输成本，提升工厂自动化水平，具有极大的研究意义。目前，自动叉车存在的主要问题是对托盘的识别与检测，因为在复杂的工厂环境中很难精确定位托盘的位置。现在对于托盘的检测，主要有两类方法：基于图像的方法和基于传感器的方法。基于图像方法是使用摄像机捕获托盘图像，然后基于某些托盘特征分离托盘和背景15。如Garibotto等5提出了一种基于模型的视觉算法来检测托盘，但是这种方法没有搜索所有图像的机制，因此无法检测多个托盘。Chen等1，Cui等2和崔光照等6使用颜色特征和几何外观来检测托盘。该方法使用形态学、Soble边缘检测和Hough变化来定义边缘和角点，并使用离线训练和在线检测。但是，使用颜色信息作为阈值来区分不同的颜色托盘和背景是不可行的，因为在真实的工厂环境之中颜色信息是复杂的。基于传感器的方法使用射频识别标签7、激光传感器8,9和无线传感器10来检测和定位托盘。近年来，随着深度学习理论的不断发展和计算机硬件水平的提高，深度学习算法在速度、精度上达到了非常出色的水准。因此出现许多使用深度学习方法对托盘进行识别与检测的研究。刘江玉等11建立Faster RCNN模型对仓储环境中托盘进行检测，Jia-Liang Syu等12提出利用单目视觉系统检测托盘，Ryosuke Iinuma等13基于深度学习检测出托盘同时使用水平三维光探测测距对托盘与叉车之间的位姿与距离进行测量，这几种算法模型参数多，计算量大，速度很慢,且最终托盘识别的准确率较低。武文汉14等提出使用视觉标签识别托盘,此算法虽准确率较高，但前期准备工作量较大，且模型计算量大，速度很慢。因此，设计一种整体检测精度高，速度快的算法成为了亟待解决的问题。本文针对这个问题以及根据浙江某力机械(搬运)设备有限公司现有搬运机器人使用的Kinect深度摄像机和对托盘位置及位姿数据需求，提出了一种快速准确的托盘检测算法，对YOLOv515网络进行改进，在保证检测精度的前提下，提升整体检测速度。1 托盘检测算法1.1 算法整体框架本文提出的方法，通过安装在浙江某机械(搬运)设备有限公司XP3自动机器人的车头底部两边处的两个深度摄像机，拍摄托盘，其算法框架包含三个模块，第一个模块，托盘快速定位模块。该模块利用YOLOv5网络对托盘进行快速定位，并从原始尺度的图片中截取托盘区域。第二个模块，托盘插孔截面识别模块。该模块通过模块一得到的定位信息，从截取的托盘区域图片中识别并截取托盘插孔截面。第三个模块，插孔截面上边缘检测模块。该模块通过模块二得到的定位信息，通过图像处理从插孔截面图片上检测及拟合插孔上边缘。算法整体流程如图1所示。【18】第45卷 第02期 2023-02图1 算法整体流程1.2 托盘快速定位模块如何在不牺牲检测精度的同时，利用轻量化模型进行实时检测是本课题的一个研究重点。因此本文采用了YOLOv5的YOLOv5s版本对托盘区域进行定位，其网络结构如图2所示。图2 YOLOV5s网络结构本文沿用YOLOV5算法中的自适应锚框算法，该算法对原始图像自适应的添加最少的黑边，以减少图像高度上两端的黑边，减少算法计算量，目标检测速度提升37%。每次训练时，自适应的计算不同训练集中的最佳锚框值。YOLOV5s初始设定的锚框如表1所示。表1 YOLOV5s初始anchorP3/810,1316,3033,23P4/1630,6162,4559,119P5/32116,90156,198373,326 最终得到的托盘区域定位结果如图3所示。(a)蓝色托盘(b)木制托盘图3 托盘区域定位1.3 托盘插孔截面识别模块搬运机器人自动叉取托盘需要计算出托盘的三维位置和方向，确定距离机器人最近的托盘插孔截面。在托盘快速定位模块中，对识别出的托盘进行图片截取，在此托盘插孔截面识别模块中，对截取的托盘图片进行插孔截面的识别检测。托盘插孔截面识别模块使用YOLOv5的YOLOv5s的改进网络,由于托盘截面尺寸在截取出的托盘区域中，比例较大，因此本文在YOLOv5算法的输入端删除Mosaic数据增强分支，以减少网络参数并提高计算速度。最终得到的托盘插孔截面区域定位结果如图4所示。(a)蓝色托盘(b)木制托盘图4 托盘插孔截面区域定位1.4 托盘插孔截面上边缘检测模块在上一模块确定出离机器人最近的托盘插孔截面，为了在深度图中读取并计算托盘的三维位置和方向信息，须确定托盘插孔截面上边缘左右端点和中点的像素坐标值，因此在此模块中检测插孔截面上边缘线，具体步骤如下。1）图像高斯滤波处理16。托盘插孔截面上边缘候选区域确定后，图像中仍然包含许多噪声，噪声的存在显然会使得后续的图像处理操作变得更为复杂。为了既能滤除第45卷 第02期 2023-02【19】图像中的噪声又能保持图像当中有用信息不发生变化，通过高斯滤波处理可以平滑图像并过滤部分噪声或者其它可能影响的部分区域，减少候选区域和提高检测速度，使得托盘边缘更为突出，为之后的托盘插孔截面上边缘的提取做充分的准备。高斯函数如下：22221(,)exp22xyG x y+=(1)高斯滤波处理后的图像如图5所示。(a)蓝色托盘(b)木制托盘图5 高斯滤波处理结果2）Canny边缘提取17。高斯滤波处理图像后，采用Canny算子提取图像的边缘，以获得托盘插孔截面的轮廓。Canny方法不容易受噪声的干扰，能够检测到真正的弱边缘。其原理是使用Sobel算子计算图像中每个像素点的梯度强度和方向，计算公式如式(2)式(4)所示；应用非极大值（Non-Maximum Suppression）抑制，以消除边缘检测带来的杂散响应；应用双阈值（Double-Threshold）检测来确定真实的和潜在的边缘；通过抑制孤立的弱边缘最终完成边缘检测。101*202*101xxGSII+=+(2)121*000*121yyGSII=+(3)22(,)(,)(,)xyxygi jg i jgi j=+(4)Canny边缘提取图像如图6所示。(a)蓝色托盘(b)木制托盘图6 Canny边缘提取结果3）提取托盘插孔截面上边缘。Canny边缘提取后使用Hough变换检测直线会检测到很多的直线，为了检测托盘插孔截面的上边缘，其他的直线应当首先被剔除。为此采用如下的滤波：搜索图像的每一列像素点，只保留其中Y值最大的像素，并将其像素值增强，去除其他的像素。托盘边缘提取如图7所示。(a)蓝色托盘(b)木制托盘图7 托盘边缘提取结果4）二项式拟合直线。使用Hough变换检测直线会检测出不连续的几段直线，因而采用二项式拟合，将保留的像素点依据坐标拟合为一条直线，并提取两端坐标。拟合直线如图8所示。(a)蓝色托盘(b)木制托盘图8 上边缘拟合直线结果【20】第45卷 第02期 2023-02当托盘插孔截面上边缘已经在图像中检测到，为获得托盘的位姿和距离信息，可以根据拟合直线的端点图像坐标，采用深度摄像机建立起来的图像坐标系和实际三维坐标系之间的转换关系，从所拍摄的图像当中计算出拟合直线中点的坐标，以及托盘插孔截面和摄像机平面之间的夹角。2 实验结果与分析2.1 实验设置与评价指标本文使用的数据集来自浙江某机械(搬运)设备有限公司及其下属电动车工业园，利用安装在XP3自动搬运机器人的车头底部两边处的两个深度摄像机，在多个厂房环境下拍摄多种托盘图片，数据集包括3060张分辨率为1024*768的图片，其中蓝色托盘包括有1500张，木制托盘有1560张。数据集划分为训练集2754张，测试集306张。实验所使用的计算机配置：CPU为Intel Core i5-10500，GPU为Nvidia GeForce RTX 2070 SUPER 8G，内存32G，系统为Windows10。训练参数设置如表2所示。表2 训练参数设置参数值Epochs300Batch size16Learning rate1,e-5,e-1OptimizerAdam(weight_decay=0.001)2.2 实验结果评价指标。在托盘定位结果中，对于正样本，当检出的托盘区域(P)与标注的Ground Truth(G)的交并比(IoU)大于0.8时视为一次正确的预测，称之为：True Positive(TP)，准确率(A)表示，正确预测的数量与总数量(N)的比值，交并比和正确率计算公式如式(5)、式(6)所示：PGIoUPG=(5)TPNPAN+=(6)本文与刘江玉等11建立Faster RCNN模型托盘检测算法，Jia-Liang Syu等12提出的利用单目视觉系统，结合自适应结构特征(ASF)和方向加权重叠(DWO)比率建立的托盘检测算法，Ryosuke Iinuma等13提出的深度学习模型，武文汉14等提出使用视觉标签的模型以及深度学习中常用的几种模型进行比较,对比结果如表3所示。本文所提出的方法在检测正确率达到99.8%,同时所消耗的平均时间仅为10ms。本文提出的算法与速度最快的FasterR(VGG16)相比，速度提升了6倍，并且准确率提高了7.6%；文献14提出的算法虽然准确率与本文算法相当，但本文的算法速度比其提升了40倍。表3 托盘定位测试结果对比算法准确率%平均耗时/msFRCNN84.9%500FasterR(ZF)FasterR(VGG16)文献11提出的算法96.5%92.2%97.2%20372100文献12提出的算法98.21%94文献13提出的算法98.3%-文献14提出的算法99.4%416本文的算法99.8%10 在托盘插孔截面识别检测模块，对蓝色托盘和木制托盘进行检测所得到的结果如表3所示。P表示准确率，R表示召回率，mAP表示平均精度。表3 托盘插孔截面检测模块测试结果P%R%mAP%平均耗时/ms99.1%100%98.3%11ms 在插孔截面上边缘检测模块，对托盘插孔面的上边缘线进行提取，拟合直线与图片实际边缘线平均误差小于4个像素点，采用深度摄像机计算距离值，误差小于5cm，可以满足托盘检测的要求。对于该系统的总体检测结果，总体正确率表示系统对测试集中原始图片做出正确预测的结果在测试集中的占比。总体漏检率表示，对测试集