基于YOLOv4网络的集装箱箱号目标检测研究.pdf

第 卷第 期 年 月常 州 工 学 院 学 报 .:./.收稿日期:作者简介:张炎()男安徽滁州人硕士研究生主要研究方向为图像处理通信作者:杜培明()男 安徽马鞍山人副教授.基于 网络的集装箱箱号目标检测研究张炎杜培明(安徽工业大学电气与信息工程学院安徽 马鞍山)摘要:集装箱箱号是集装箱重要的辨识信息精准、高效、便捷地检测箱号可以极大地提高集装箱运输管理效率 针对目前人工记录或传统的集装箱箱号检测方法存在的效率较低、实时性不足等问题提出了一种基于深度学习的 网络检测算法以实现对集装箱箱号的目标检测对公路运输过程中的集装箱图像进行采集参照 数据格式标注制作数据集使用 目标检测网络进行迭代训练 实验结果表明该方法的检测平均精度达到 检测帧率达到 与传统的方法相比检测效果明显提升且能够实现实时检测可满足大多数环境下的使用需求关键词:集装箱箱号目标检测深度学习中图分类号:文献标志码:文章编号:()():.:随着交通运输行业越来越发达集装箱由于具有容量大、快速、高效、易于统一管理等优点已成为货物运输的重要工具 因此集装箱自动化管理显得越来越重要正确高效地检测集装箱箱号是自动化作业的基础同时还能减少人工成本提高作业效率 但是集装箱箱体表面环境复杂箱号在不同的箱体表面上排列方式不同且箱体的表面存在凹凸不平、箱门锁杆常州工学院学报 年干扰、箱号附近文本信息过多、光照不均等情况 这些因素增加了箱号检测的难度 因此像基于形态学的箱号检测方法、基于边缘的箱号检测方法等传统方法对图像预处理效果的要求较高、对上述问题的鲁棒性较差很难高效地检测 箱 号 为 此本 文 提 出 了 一 种 基 于 网络模型的算法它将整张图像作为网络输入直接在输出层回归目标边界框的位置以及所属类别大大简化了网络结构提升了检测速度 该方法可实现集装箱箱号的实时检测且效率更高符合当今发展需求 目标检测算法.目标检测基本任务目标检测任务是找出输入的图像或视频中人们期望的目标并使用边界框来框选它们的位置以及相应的置信度 与图像分类任务有所不同目标检测不仅要实现物体分类问题而且要解决目标定位问题 作为计算机视觉的基本问题之一目标检测构成了许多其他视觉任务的基础例如实例分割、图像标注和目标跟踪等 而从检测应用的角度看目标检测有很多应用如文本检测、面部检测、行人检测、交通标注与红绿灯检测、遥感目标检测 本文的集装箱箱号检测属于文本检测.基于深度学习的检测算法在最开始的传统目标检测算法中大多数都比较烦琐需要人工操作来产生样本费时费力且效果不理想 在深度学习兴起后基于深度学习的目标检测算法应用更加广泛检测效率更高目前广泛应用的深度学习目标检测算法主要有两类:一是两阶段目标检测算法如图()所示代表算法有、等这类算法先根据图像提取候选框然后基于候选区域做二次修正得到检测点结果检测精度较高但检测速度较慢二是单阶段目标检测算法如图()所示代表算法有()和 系列等其不同于两阶段目标检测算法之处在于没有候选区域阶段训练过程也相对简单 单阶段目标检测算法能够直接对图像进行计算将目标边界框定位问题转化为回归问题进行处理因此速度更快适应性更强在应用单阶段目标检测方法时对输入图像()两阶段目标检测算法()单阶段目标检测算法图 基于深度学习的目标检测算法仅需提取一次特征值就可以实现对感兴趣区域的目标检测确定目标类别和相应的位置其速度相比两阶段的算法要快许多但是精度稍微低一些 平衡了两方面的优势在保证较高预测精度的同时取得了很快的计算速度凭借其优秀的实时性在工业界获得了广泛应用.系列目标检测算法 不需要预先提取特征而是将一整张图作为网络的输入直接在输出层得到物体的位置和物体所属的类别 它将一张特定大小的图片分成 感受视野的正方形网格网格仅仅用来划分目标的中心位置并不是对图像进行真实分割 若其中一个网格包含了目标物体真实边界框中心那么该网格就要对预测箱号类别和位置负责 如图 所示箱号区域内的小矩形为包含目标中心坐标的网格箱号区域的外包矩形框为该网格预测的箱号预测框每个网格有若干个预测框这些预测框的宽高都是通过 聚类算法得到的不一定能完整包含目标物体但是可以通过重重筛选只保留包含目标区域最多的预测框 预测边界框的置信度 可表示为单元格内存在目标或存在部分目标的概率()乘以预测框与真实框的交并比交并比可表示为()()、分别为真实框与预测框交并比是两框面积的交集与并集的比值当比值接近 时表示预测效果达到最佳置信度可表示为 ()()此时通过设置阈值 筛选去除目标存在概第 期张炎等:基于 网络的集装箱箱号目标检测研究()感受视野()感受视野图 集装箱图像在不同尺度层的感受视野率较低的预测框然后再使用非极大值抑制解决多个预测框检测到同一个物体的问题最后得到一个最接近真实框的预测框 网络是在保持原有检测速度的基础上从预测精度、扩展识别对象方面进行了提高其中识别对象得到的改进尤为明显它能够检测到 种不同的对象因此也被称为 不同于 网络的 分类模型采用 网络作为特征提取网络能够得到更深层次的特征信息 它采用了多尺度融合从而输出 个不同尺度的特征图去检测具有不同尺度的对象 网络算法是 等在 年 月提出它引用 网络提取特征使用了 激活函数同时引用 和 网络加强了学习能力扩充丰富了数据集等 总之在数据处理、主干网络、网络训练、激活函数、损失函数等方面都进行了不同程度的优化使 成为一个在检测速度和精度方面极其强大的目标检测器 模型 模型框架可以分为 个部分如图 所示:第一部分使用了 网络来进行特征的提取第二部分 模块对特征图进行多次最大池化然后进行特征融合第三部分 模块对融合的特征图上、下采样生成特征金字塔产生 个不同尺寸的输出层第四部分 用于对输出的 个特征图进行预测图 网络结构在 中 网络借鉴了跨阶段局部网络()解决了 中梯度信息重复的问题它将梯度的变化集成到特征图中从而大大降低了计算量 同时它选择了 激活函数目的是提高网络的学习能力提升梯度的传递效率相比于其他激活函数更为平滑可以让更完整的信息深入神经网络使得训练效果更好大大提高了整个网络的性能 激活函数的计算公式如下:()()()()()颈部分别引入 和 网络结构作为增强特征提取网络 网络为空间常州工学院学报 年金字塔池化目的是增加网络的感受野解决不同尺寸的特征图如何进入全连接层的问题 它能够实现对 网络输出的特征图进行、的最大池化这样会得到更加丰富的特征最后将 个池化层的输出进行通道拼接 网络作为 的特征融合模块对提取出的 个有效特征进行上采样之后又进行下采样在采样的同时进行特征融合产生了 个不同尺寸的输出层该网络改善了特征图金字塔()网络在传递过程中产生的特征丢失问题 头部继续使用了 中的 模块利用两层卷积网络对特征图进行解码输出预测结果 图像预处理由于实验采集的图像样本环境不同可能存在图像亮度不够、箱号周边不清晰、曝光过度等问题 因此在开始训练模型前对图像进行预处理操作是保证箱号区域高效检测并定位的前提.基于拉普拉斯算子的图像增强对三通道的彩色原图进行基于拉普拉斯算子的图像增强 因为图像是二维的需要在两个方向上求导二阶导数可以用来边缘检测 拉普拉斯算子定义如下:()最后的图像增强表达式如下:()()()()式中:()表示原图任意一点像素 是权重系数 原图如图()所示经锐化增强处理后如图()所示箱号部分亮度明显增强了许多尤其是箱号边缘区域的对比度更为明显.图像高光去除光源照射在集装箱表面时由于照射角度不同拍摄到的箱号可能存在光照过强问题 如图()所示原图字符边界模糊不利于预测边界框的框选 因此使用 函数对高光区域调整将适当的非线性变换应用于所选目标区域内容中的梯度场然后与泊松解算器集成在一起就可以改变图像局部的亮度 如图()所示高光区域亮度变暗箱号的整体轮图 原图与增强后的图像廓较为明显图 原图与高光去除后的图像 实验与结果分析.实验配置本实验使用的是 系统 版本为.版本为.设置动量参数为.学习率.批处理大小为 总迭代次数为 衰减系数.聚类 网络为了能检测多类目标设置了不同大小的锚框()但是对于本数据集由于集装箱箱号的排列类型主要有 类类别较少而且尺寸大小相差不大因此需要对原有的锚框尺寸进行调整 本文采用 聚类方法提取所有训练数据集边界框()的长和宽随机选取 个边界框作为锚框的初始值并计算每个边界框与锚框的交并比聚类过程中一般是用交并比来计算距离误差公式可表示为第 期张炎等:基于 网络的集装箱箱号目标检测研究()()()对比边界框每个锚框的误差 选取一个 最小的锚框并将此边界框分配给它求每个锚框所包含的边界框的宽高均值将该均值作为该锚框的新尺寸 可重复进行求误差的操作提高锚框尺寸的精度最后得到 个锚框的宽高为()()()()()()()()().模型训练及评价指标本文利用 算法对集装箱编号进行检测定位根据集装箱表面的箱号排布方式将箱号分为集装箱垂直一列箱号()和集装箱水平一行箱号()利用 工具对原始图像标注制作数据集并送入网络进行训练 图像共有 张训练集与测试集分配比例为 在模型训练过程中 值用来估量模型的预测值和真实值的不一致程度 值越小模型的鲁棒性就越好 使用的是 函数它的计算公式如下:()()()式中:()为真实框和预测框的中心点距离()为真实框和预测框的交并比为 最小包围矩形框的对角线长 为长宽比的相似性 为权重参数()()()()式()()中:参数 和 为预测框的宽、高和 为真实框的宽、高 如果两者的宽高相似那么 项值为 该项将不起作用所以、项的作用是控制预测框的宽高使之无限地接近真实框的宽高在目标检测中为了评价模型的检测效果通常以()作为评价标准它用于表示在不同召回率下检测的平均精度()是 的平均值对所有目标类别检测的结果取均值表达式为:()()()式()()中:为精准度表示模型检测出来的目标有多少比例是真正的目标物体 为召回率它表示网络模型检测出来的目标占所有目标数量的比例.结果分析 网络模型训练结果如图 和图 所示 图 是 曲线 值在迭代了 批次左右开始趋于平稳并达到了 图 是损失曲线模型在训练了近 批次后损失值下降逐渐变缓在迭代了 批次左右损失值逐渐平稳趋于.根据以上数据的分析可得:网络模型在训练阶段的整体状况比较良好波形比较平滑流畅没有太大的波动训练结果比较理想图 曲线图 损失曲线测试结果如图 所示其中图()、()、()分别为不同环境下以及不同排列类型的集装箱号的预测结果 目标框显示被检测目标所属常州工学院学报 年类型和置信度平均置信度达到 检测准确度较高且完整地框选了箱号部分 对视频的检测效果如图()和图()所示检测精度较高达到了 视频检测记录如图 所示图中记录了每一帧箱号与图()、()相对应的坐标位置、识别精度、平均帧数其中平均帧数达到了 流畅度较高 从测试结果可以看出 算法很好地检测出箱号的位置并且实时目标检测效果也比较理想()垂直一列箱号()横向一行箱号()箱号左上顶点坐标为()的视频检测结果()箱号左上顶点坐标为()的视频检测结果图 检测结果图 视频检测箱号信息记录 结语为实现对集装箱箱号实时精准检测的目的本文提出了一种基于 的目标检测算法在不同环境下采集图像样本并经过图像预处理后进行样本训练制作数据集 在对集装箱编号目标检测实验中提出的方法准确性高且可以达到对视频实时检测的要求取得了非常好的效果 与其他目标检测算法相比本文算法有较大的优势满足对集装箱编号高精度、高效率检测的需求参考文献王炎贺俊吉.基于数学形态学的集装箱箱号快速定位算法.计算机工程与设计():.陈永煌.集装箱箱号识别技术的研究与实现.武汉:华中科技大学.包晓敏王思琪.基于深度学习的目标检测算法综述.传感器与微系统():.谢富朱定居.深度学习目标检测算法综述.计算机系统应用():.(下转第 页)第 期刘涛等:基于图像处理技术的废旧光伏组件损坏程度研究在工厂中对光伏组件的损坏程度进行检测时主要是通过员工的眼睛来判断损坏程度 通过检验结果可知本文所提的方法有一定的科学性 本文将人眼判断变成了机器判断将会大大提高生产效率并可以将一些人眼难以发现的缺陷识别出来提高了准确性 结语本