改进YOLOv3的安全帽佩戴检测方法_李振华.pdf

国外电子测量技术北大中文核心期刊 ：改进 的安全帽佩戴检测方法李振华张雷（江苏理工学院电气信息工程学院 常州 ）摘要：针对目前安全帽佩戴检测模型在复杂环境下对于密集目标和遮挡目标存在漏检的问题，基于 框架，提出了一种新的安全帽佩戴检测算法 。算法在主干网络提取的个特征层后加入多尺度自注意力机制，提升模型捕捉有用信息的能力；同时对 聚类算法进行优化，获得适合安全帽佩戴检测的最优先验框，从而提升网络模型的检测精度；最后采用 作为目标定位损失函数，使得网络可以沿着预测框与真实框重叠度高的方向进行优化，从而加快模型的收敛速度。在 公开数据集上进行实验，结果表明，算法相比原有 ，平均检测精度提升了 。关键词：安全帽佩戴检测；多尺度自注意力机制；聚类算法；损失函数中图分类号：文献标识码：国家标准学科分类代码：（，）：，：；收稿日期：基金项目：国家自然科学基金（）项目资助引言由于目前建筑工地上工人的自我安全意识欠缺，很大可能忽略戴安全帽的重要性。根据国家安全生产监督管理局的数据统计，大部分的事故都是因为工人没戴安全帽。由于人工巡检的方式效率低下、无法实时监督以及成本过高等问题，基于计算机视觉的安全帽检测方法逐步成为工地实施监管的主要手段。在现有的文献中，安全帽检测算法可以分为传统的图像处理方法和深度学习的方法 两大类。刘晓慧等采用肤色检测定位到人脸，再使用 矩阵结合支持向量机（，）的方法检测 安 全 帽。李 琪 瑞先 采 用 方 向 梯 度 直 方 图（，）进行特征提取来识别人体，然后根据支持向量机和颜色特征来判断是否佩戴安全帽。将头部特征的直方图放入 分类器进行训练，然后采用训练好的分类器来进行识别安全帽佩戴。上述都是采用传统算法实现安全帽的检测，这类北大中文核心期刊国外电子测量技术方法易实现，但是特征提取量大而效率过低，无法适应目前复杂的施工现场。目前深度学习在目标检测领域的技术快速发展，很多学者已经逐步将深度学习技术使用到安全帽检测上。王玲敏等通过在 主干特征提取网络中嵌入坐标注意力机制，提升网络对于安全帽特征的关注度。杨永波等使用轻量化网络 作为 的主干特征提取网络，大幅度降低了模型的参数量。肖体刚等采用深度可分离卷积来替换主干网络中的卷积，提升模型检测速度。李天宇等采用双向特征融合的特征金字塔网络，增大了网络语义信息的表达能力。施辉等等采用图像金字塔网络来进行位置的预测和类别的预测。项融融等 通过改进 网络结构来提升网络对小目标检测的精度。胡欣等 在模型中嵌入多分支注意力，使得网络可以更好的提取任务目标的位置和语义信息。闫钧华等 通过对特征金字塔图进行跨通道特征融合，有效的提取目标的精确位置信息。丁田等 通过在加强特征提取网络嵌入通道注意力，从而增加模型对目 标的 关注度。上述的方法尽管已经对原算法进行了优化和改进，但是在光线不好和密集目标的复杂情况下，安全帽识别率依然较低。本文针对这一系列问题，提出了一种新的安全帽检测模型 ，通过加入多尺度自注意力机制来提高网络对于重要特征的捕捉能力，并对聚类算法进行改进，可以得到更优的先验框；其次对目标定位部分使用 作为模型的损失函数，可以优化算法预测框的回归效果。本文的算法在 公开数据集上进行了训练和验证，实验结果表明，本文的算法优于其他目标检测模型。算法 是由骨干特征提取网络 与检测网络所组成。与传统卷积神经网络有所不同，其中不含有池化层，是一个标准的全卷积网络。因此 不会受池化层的影响而导致丢失信息。另一方面 借鉴了残差网络的思想从而避免网络层数增加导致梯度爆炸以及梯度消失的问题。在网络预测部分采用特征金字塔网络进行种不同尺度的特征图预测。的整体网络结构如图所示，其中 是 卷 积 层、批 量 标 准 化（，）及激活函数 三层的结合；是由个 所组成的残差组件。图网络结构针对不同尺寸的检测目标，采用了 、以及 三种尺度的特征图进行预测，根据每个尺度的感受野不同来分配检测目标的大小，即 检测大目标，而 检测中目标，检测小目标。输入一张 的图片，网络会将图划分为的网格，网络检测目标是根据目标中心点所在的网格，最终网络输出个大小为（）的张量。其中包含了锚框需要的个坐标的偏移量和一个是否存在目标的置信度得分以及目标的类别。算法的个先验框是根据 聚类对于数据集进行聚类操作所得。网络输出的个偏移量、是相对于先验框的，先验框与网络预测框的关系如图所示。其中网络预测框的公式如下：（）（）（）（）（）（）式中：、是预测框的中心坐标；和是预测框的宽和高；、是当前网格坐标；、分别是先验框的宽和高；代表 函数可以将网络输出的偏移量限制在单元格之中。的损失函数由部分相加组成，分别是位置坐标损失、置信度损失以及分类损失，如式（）（）所示。分类和 置 信 度 损 失 采 用 二 元 交 叉 熵 损 失 函 数（）来评估与真实分类和 置 信 度 的 差 距；国外电子测量技术北大中文核心期刊图先验框与预测框关系 使用均方差误差损失函数（，）来计算由位置误差所带来的损失。（?）（?）（?）（?）（）?（）（?）（）?（）（?）（）（）?（）（?）（）（）（）式中：为位置坐标损失的权重；为置信度损失的权重；为特征图上单元格的数量；为预测框的数量；、分别是预测框的中心横坐标、纵坐标、预测框宽、预测框高、类别概率、置信度；?、?、?、?、?、?分别是目标真实框的中心横坐标、纵坐标、真实框宽、真实框高、类别概率、置信度。算法的改进及优化 聚类算法的改进 中采用 聚类算法得到个先验框，按照大中小种尺度分配给个预测头，从而用于目标框的预测。是对 数据集 进行聚类所得到的先验框，数据集有 类别而本文只有两类可知此先验框并不适合安全帽的检测，很容易造成目标的漏检以及框的定位不精准。式（）为 聚类算法中计算目标标注框到聚类中心距离的方法。（，）（，）（）式中：（，），为 目 标 真 实 框；为聚类中心框；为目标真实框的面积；为聚类中心框的面积；为目标真实框与聚类中心框的交并比。采用 来计算目标标注框到聚类中心框距离时，假设有几个框被聚类中心框所包含的时候则无法细致的反映实际距离。针对 的缺点，等 提出了 表达式如式（）所示。（，）（，）（）式中：为包含目标真实框和聚类中心框的最小外接矩形框的对角线距离；为目标真实框和聚类中心框中心点的欧氏距离。不但可以解决 存在的问题，而且它的计算 速 度 也 是 相 当 快 的。本 文 采 用 来 代 替 ，新的目标标注框到聚类中心距离的计算方法如式（）所示。（，）（，）（）输入一张 的图，分别使用 聚类和改进的 聚类算法，得到的聚类中心图如图所示，其中为簇心，可以看出 聚类算法得到的聚类中心在每一个簇的左边，这样会导致有些目标包含不到。而改进的 聚类算法得到的聚类中心大体分布在簇的中央，效果明显优于 聚类算法。改进的 聚类算法得到个先验框，结果为（，）、（，）、（，）、（，）、（，）、（，）、（，）、（，）、（，）。图不同算法的聚类中心图 多尺度自注意力模块对于安全帽检测，由于受到施工环境下各种因素的干扰，安全帽的特征经过深层特征提取网络的卷积运算后，可能导致特征丢失。针对这一问题，本文设计了一个多尺北大中文核心期刊国外电子测量技术度自注意力模块。该模块将空间注意力与通道注意力相结合，可以抑制网络模型与任务无关的信息，加强对安全帽特征的关注程度，增大有效特征的占比，从而实现对安全帽更精准的检测。多尺度自注意力模块如图所示。多尺度自注意力模块首先通过非局部操作模块 获取特征在空间域的全局信息，计算过程如下。图多尺度自注意力结构给定输入经过个卷积进行降维处理，得到个输出分别为（）、（）、（），接着对这个输出进行维度变形为，将维度变形后的（）先进行转置，再与维度变形后的（）进行矩阵乘法操作。将矩阵相乘的结果（）（）经过 进行归一化与（）进行矩阵相乘，再通过卷积恢复与输入一样的维度，最后与输入相加得到最终输出。式（）为非局部操作模块具体计算公式，其中是卷积层中的权重矩阵。（）（）（）（）非局部操作模块将特征图的通道进行了聚合，也忽略了特征图各个通道之间的相关性。因此本文进一步采用通道注意力机制获取特征图各通道的重要程度，这样可以使得任务目标特征从空间和通道上均得到加强。该模块采用全局平均池化将特征图的空间维度进行压缩，计算过程如下：（，）（）式中：为特征图的高度；为特征图的宽度；（，）为第个通道的特征图，和分别为特征图高度和宽度的位置索引。通过式（）将特征图空间信息压缩，从而获取每个通道域的全局信息。利用卷积核为的一维卷积将通道信息进行聚合，接着通过 函数计算得到通道注意力权重，并将权重加权到每个通道的特征上，得到特征图：（）（）其中特征由式（）得到；由式（）得到；（）为 函数；为卷积核大小为的一维卷积。最后结合残差网络的优点，利用特征与原始特征图进行像素值相加，得到多尺度自注意力的输出，如式（）所示。?（）式中：?为多尺度自注意力的输出。在卷积神经网络中，高分辨率的特征图往往拥有丰富的目标信息，需要加入多尺度自注意力机制来加强特征的表达。基于这个原则，本文将多尺度自注意力模块加入到主干网络提取的个特征图后，从而来提升整体网络的特征捕捉能力。加入多尺度自注意力模块后的部分网络结构如图所示。图加入多尺度自注意力后的部分网络结构 损失函数的改进 算法采用均方差损失函数作为目标定位带来的损失。定位损失 公式如下：（?）（?）（?）（?）（）该损失函数无法去衡量预测框与目标真实框的接近程度。针对此问题，本文采用 作为目标定位的损失函数，公式如下：（）式中：为网络预测框；为目标真实框；为包含预测框和真实框的最小面积；为预测框与真实框的交并比。由式（）可以看出，当目标真实框与网络预测框重叠程度越高，则 越小，如此网络才可沿着真实框与预 测 框 重 叠 程 度 高 的 方 向 去 进 行 优 化。根 据 对于算法定位损失进行了修改，改进的损失函数如下：（?）（）式中：是特征图上单元格的数量；为特征图上第个单元格中第个预测框是否对目标负责预测，如果预测 为，否则 为；为特征图上预测框的数量；?和?为目标真实框的宽和高。实验 实验环境与数据集本文采用 深度学习框架来对网络进行搭建、训练以及预测，加载 加速网络参数的计算。同时将国外电子测量技术北大中文核心期刊 以及 聚集于深度学习框架下来提高设备的计算能力。实验所用的具体运行环境如表所示。表运行环境类别版本系统 （）（）本文所用的数据集来自于 。使用开源软件 来对每张图片中的安全帽进行标注，佩戴安全帽的标注类别为 ，没有佩戴安全帽的标注类别为 ，标注结束生成含有位置信息和类别信息的 文件，数据集标注具体过程如图所示。本文数据集一共 张图片，将数据集按照 的比例划分训练集、验证集和测试集。训练参数与评价指标本文使用的主干网络 是经过大型分类数据集 预训练的模型，这样可以加快网络模型的收敛速度以及提高网络性能。本文采用两阶段训练策略，第阶段冻结主干特征提取网络 的参数，只训图训练数据制作图各类目标的曲线练非主干网络部分的参数，同时使用 优化器。第阶段为网络参数粗调，学习率设为 。基于设备的显卡性能设置训练的批尺寸为，训练 轮；第阶段将主干网络 网络进行参数解冻，仍旧选取 作为优化器。此阶段为网络参数的微调阶段，学习率设置为 。由于主干网络参数全部释放，加大了计算量，训练的批尺寸设置为，训练 轮。本文使用平均检测精度（）、检测精度（）、准确率（）、召回率（）、调和平均值（）以及图片每秒的传输帧数来验证改进网络模型的性能。平均检测精度、准确率、召回率和调和平均值公式如下：（）（）（）（）（）（）式中：为佩戴安全帽并且检测为正确的个数；为没北大中文核心期刊国外电子测量技术有佩戴安全帽且检测为正确的个数；为佩戴安全帽且检测为错误的个数；为类别总数。图所示为佩戴安全帽与没佩戴安全帽两类目标的曲线，为曲线所围成的面积。图所示为改进后模型训练过程的损失。当训练轮数达到 次时，此时的损失值收敛至最小值，训练完成之后，采用损失最小值的权重来测试，得到两个类别 、的 值分别为 和 。图训练