基于改进YOLOv5的电动摩托车驾驶人头盔检测方法.pdf

第 卷第期 年月太 原 师 范 学 院 学 报(自然科学版)J OUR NA LO FT A I YUANNO RMA LUN I V E R S I T Y(N a t u r a lS c i e n c eE d i t i o n)V o l N o M a r 收稿日期:基金项目:国家社科基金项目(B J L ),山西省“工程”平台项目(P T ),山西省重点研发计划项目(D )作者简介:谢嘉飞(),男,广东韶关人,在读硕士研究生,从事计算机视觉研究通信作者:赵月爱,女,E m a i l:q q c o m基于改进Y O L O v 的电动摩托车驾驶人头盔检测方法谢嘉飞,赵月爱(太原师范学院 计算机科学与技术学院,山西 晋中 )摘要随着经济的快速发展及低碳环保出行方式的普及,电动摩托车投入量逐年上升,但由此带来的安全隐患也随之上升针对传统的人工检查骑手是否规范佩戴安全帽耗时、耗力且存在漏检等问题,提出一种基于改进Y O L O v 的头盔检测算法首先,针对摩托车头盔大小尺寸不一的问题,使用K m e a n s 算法重新设计初始锚框,增加了网络收敛速度;其次引入坐标注意力机制(C o o r d i n a t eA t t e n t i o n),增强网络学习特征的表达能力;最后,引入 I o U损失函数提高目标检测精度实验表明,改进的Y O L O v 模型的mA P达到 ,比Y O L O v 的平均精度提升了 ,符合在道路复杂环境下对电动摩托车驾驶人头盔检测的要求 关键词卷积神经网络;头盔检测;改进Y O L O v;坐标注意力机制;实时检测 文章编号 ()中图分类号T P 文献标识码A 引言随着经济的快速发展以及低碳环保出行方式的普及,电动车作为人们日常短途的重要交通工具,已广泛使用目前,两轮电动摩托车行业发展成熟,市场规模逐渐壮大,截止 年我国电动摩托车销量达两千多万辆,全国保有量已超亿辆但是,随着电动摩托车需求量增加,电动摩托车安全事故导致的伤亡人数也随之上升据统计,在 年全国发生的道路交通事故伤亡人员中,驾驶电动摩托车发生交通事故的数量高达四万多起,伤亡人数高达三万多人,其中非机动车伤亡人数比例为 据统计,驾驶电动摩托车而发生意外的人员伤亡中 为脑外伤,其主要原因是没有佩戴头盔,头部受到暴力作用而造成的损伤虽然 道路交通安全法 第五十一条中规定了骑行电动摩托车上路需佩戴头盔,但依然有不少骑行者不佩戴头盔骑行上路为减少安全事故的发生,需要在非机动车道安排大量人力、物力逐一检查电动车驾驶员是否佩戴头盔由于我国警力不足但道路众多,一名交警不仅需要指挥道路交通,而且还要在非机动车道设置卡口检查电动摩托车驾驶员是否符合行车规范佩戴头盔依靠人工的检查方法不仅耗时耗力,而且还可能导致漏检情况的发生随着科技的发展,可以利用智能算法对视频监控中的画面快速分析,实现检测电动摩托车驾驶人是否佩戴头盔的功能在计算机视觉领域,头盔检测属于目标检测的范畴,能够识别出目标的位置和分类,广泛应用于人脸识别、车辆检测、工业检测和智能交通等人工智能领域目标检测算法大致分成两大类:)两阶段(t w o s t a g e)算法:该方法先将输入图像生成若干个相对应的候选区域,每个候选都送入到网络中提取特征,再对候选区域进行分类,该方法准确率高,但存在速度瓶颈问题如R C NN、F a s t e R C NN、F a s t e r R C NN等)单阶段(o n e s t a g e)算法:该算法将目标检测问题转化为回归问题,直接在特征图上进行区域的划分并进行检测,在保证检测精度的同时很大程度的提升了检测速度如YO L O系列、S S D、R e t i n a N e t等对于实际道路场景下电动摩托车头盔佩戴检测问题,不仅需要较高的检测精度,检测速度也需要得到保 证因此,本文以单阶段目标检测中Y O L O v s模型为基础并加以改进实现电动摩托车头盔佩戴的实时检测 Y O L O v 算法原理根据网 络 的 深 度 与 特 征 图 的 宽 度 大 小,YO L O v 算 法 分 为:YO L O v s、YO L O v m、YO L O v l和YO L O v x四个版本按照网络结构图,YO L O v 可分为:输入端、B a c k b o n e、N e c k和P r e d i c t i o n四部分 输入端 M o s a i c数据增强M o s a i c数据增强方式先一次性读取四张图片,对图片进行翻转、缩放、色域变化等操作,然后再将四张图片组合成一张带有原标注框的图片,这样通过随机缩放增加了很多小目标,极大丰富了检测数据集,让网络具有更强的鲁棒性 自适应锚框计算YO L O v 针对不同的数据集都会产生初始设定长宽的锚框,每次训练时会通过k m e a n s聚类对标签中的不同类别选出最佳锚框,但这样会使得网络收敛速度变慢本文采用K m e a n s 重新聚类锚框大小,使得网络收敛速度加快 自适应图片缩放初始数据集中图片可能大小不一,在进入网络前需将原始图片统一缩放到一个标准尺寸,这样使得检测效果更好 B a c k b o n e(主干网络)F o c u s结构图F o c u s结构图通过F o c u s结构可将输入图片长宽都缩小一半,通道增加为原来的四倍,这一做法将空间信息整合到了通道中,最终得到了没有信息丢失情况下的二倍下采样特征图,随后进入C S P结构完成特征的提取 F o c u s结构如图所示 C S P结构为了让模型学习更多特征,C S P结构将原输入分为两部分,分别进行卷积操作使得通道数减半,其中一个分支进行B o t t l e n e c k N操作,最后C o n c a t两个分支,使得C S P的输入与输出保持大小一致 C S P结构分为b a c k b o n e的C S P _X(其中X代表R e su n i t(残差组件)的个数)和N e c k的C S P _X(其中X代表C B L模块个数)C S P _X和C S P _X结构图如图、图所示C B L模块由卷积层(C o n v)、B N(B a t c hN o r m a l i z a t i o n)层和L e a k y R e l u激活函数构成,其C B L和R e su n i t结构图如图、图所示图C S P _X结构图图C S P _X结构图第期 谢嘉飞,等:基于改进Y O L O v 的电动摩托车驾驶人头盔检测方法图C B L结构图图R e su n i t(残差组件)结构图 N e c k(颈部)N e c k是由F P NP AN构成的特征金字塔结构,F P N层传达了自顶向下的语义特征,P AN自底向上传达定位特征,其融合了多尺度信息,便于检测大小不同物体 P r e d i c t i o n(输出端)YO L O v 使用G I o U_L o s s(G e n e r a l i z e dI n t e r s e c t i o no v e rU n i o n)作为损失函数,输出 、三个不同尺度的特征图,用于检测小、中、大的物体,每个网格包含目标的分类概率、置信度和预测框位置信息,并使用NM S(非极大值抑制)对冗余重复的预测框进行剔除,保留置信度最高的预测框图Y O L O v 网络模型 改进的Y O L O v K m e a n s 聚类由于头盔尺寸大小不一,而K m e a n s收敛情况严重依赖于簇中心的初始化状况,本文在自定义数据集中采用K m e a n s 重新聚类a n c h o r大小,使得网络收敛速度加快并增加回归准确度相比于K m e a n s的随机初始化方式,K m e a n s 核心思想是让各簇心距离尽量的远K m e a n s 基本思路如下:)从数据集中随机选取一个样本点作为第一初始簇中心ci;)计算每个样本与当前选出簇中心之间的欧氏距离D(x),再计算每个样本被选中为下个簇心的概率P(x),最后选取最大概率值的样本点作为簇中心;计算公式如下:D(x)(xx)()P(x)D(x)xXD(x)()重复步骤,直到选出K个簇中心;其中x表示与样本点x最近的簇中心,从公式中可看出D(x)越大越有可能成为下一个簇的簇心,尽管在选择第一个簇心比较耗时,但是在很大程度上加快了网络收敛速度,总体时间比K m e a n s耗时少针对本文数据集生成的种锚框如下表示:表锚框初始表特征图 感受野小中大锚框(,)(,)(,)(,)(,)(,)(,)(,)(,)主干网络改进在YO L O v 系列算法中,在卷积采样时容易丢失小目标的特征信息,因此,对小目标的检测始终是一个太 原 师 范 学 院 学 报(自然科学版)第 卷难点,本文引入注意力机制告诉模型更加关注哪些区域和哪些信息目前,已有学者提出S E(S q u e e z e a n d E x c i t a t i o na t t e n t i o n)和C B AM(C o n v o l u t i o n a lb l o c ka t t e n t i o nm o d u l e)注意力机制去提升模型的性能,但S E N e t和C B AM的 D全局池化会导致位置信息丢失针对本文数据集特点,头盔像素只占据整幅图像的一小部分且图像背景复杂,在主干网络中很难提取其特征信息,因此,引入坐标注意力机制 C A(C o o r d i n a t eA t t e n t i o n),将位置信息融合到通道注意力中,这样可以在更大区域提取特征信息,进一步提升模型检测的准确率 基本原理C A可以对网络中的任意中间特征张量X转化变换后输出同样尺寸增强表征后的张量Y,实现过程如图所示其中C为通道数,W和H表示图片宽度和高度Xx,x,x,xcRHWC()Yy,y,y,ycRHWC()图坐标注意力机制模块示意图(C o o r d i n a t eA t t e n t i o n)C A使用尺寸为(H,)和(,W)池化核将输入特征图沿水平和垂直方向分别进行全局平均池化,获得宽度和高度两个方向的特征图,如下公式()()所示Zhc(h)WiWxc(h,i)()Zwc(w)HjHxc(j,w)()经过上述公式变换后将两个方向的特征图拼接在一起,再送入共享的的卷积进行信息转换,将维度降为原来的C/r倍后进行S i g m o i d函数激活得到(WH)C/r的中间特征f,如公式()所示其中r为下采样比例,为非线性激活函数、fh和fw分别为高度和宽度两个方向的特征图f(FZh,Zw)()随后再利用两个大小为的卷积核Fh和Fw以及将fh和fw变换到与X具有相同通道数的注意力权重gh和gw,最后经过拓展加到输入上得到最终输出yc如下公式()()()所示gh(Fh(fh)()gw(Fw(fw)()yc(i,j)xc(i,j)ghc(i)gwc(j)()改进模型C A是一个简单灵活即插即用的模块,在不产生大量计算开销的同时能够提升网络精度本文在主干特第期 谢嘉飞,等:基于改进Y O L O v 的电动摩托车驾驶人头盔检测方法征提取网络中将C A模块嵌入到卷积模块和C S P模块之间,将原YO L O v 算法特征提取网络由 层增加至 层以增强网络学习特征的表达能力,原网络与优化后的网络分别如图、图所示图Y O L O v 原主干网络结构图图Y O L O v 改进后主干网络结构图 损失函数的改进在YO L O v 模型中,当预测框与G r o u n dT r u t h不重叠时,I o U损失会出现梯度消失问题,导致收敛速度减慢,准确率降低,因此学者们提出了基于I o U改进的损失函数:G I o U、D I o U和C I o U其中,G I o U在I o U损失中引入了惩罚项以缓解梯度消失问题,而D I o U和G I o U在惩罚项中考虑了预测框与G r o u n dT r u t h之间的中心点距离和宽度比本文引入 I o U 自适应地重新加权高和低I o U目标的损失和梯度,以提高b o u n d i n gb o x(b b o x)回归精度 I o U公式一般形式如公式()所示LI o UI o U(B,Bg t)()式中,(B,Bg t)表示根据B和Bg t计算的任何惩罚项,该公式根据的值可对现有的基于I o U的损失进行概括公式如()()()()()()()所示I o UDDDD()LI o UI o ULI o UI o U()LG I o UI o U|C(BBg t)|CLG I o UI o U(|C(BBg t)|C)()LD I o UI o U(b,bg t)cLD I o UI o U(b,bg t)c()LC I o UI o U(b,bg t)cLC I o UI o U(b,bg t)c()()(a r c t a nwg thg ta r c t a nwh)()(I O U)()其中b和bg t表示两个矩形的中心点,表示两个矩形框之间的欧氏距离,c表示两个矩形框的闭包区域的对角线距离,用来衡量两个矩形框对比例的一致性,是权重系数 I o U_L o s s解决了G I o U_L o s s边界框不相交时L o s s为的问题,通过调节使检测器在实现不同水平的b b o x回归精度方面具有更大的灵活性,并且对小数据集和噪声的鲁棒性更强 实验结果及分析 实验环境本文实验平台采用W i n d o w s 操作系统,C P U处理器为I n t e l(R)X e o n(R)G o l d R GH z,内存为 G,G P U为NV I D I AT e s l aT(G B)模型采用P y t o r c h 框架,c u d a ,编程语言采用p y t h o n ,训练参数设置如表太 原 师 范 学 院 学 报(自然科学版)第 卷表训练参数表参数名参数值L e a r n i n g_r a t e(学习率)M o m e n t u m(梯度动量)W e i g h t_d e c a y(权重衰减度)W a r m u p_e p o c h s(预热训练轮数)W a r m u p_m o m e n t u m(预热训练梯度动量)W a r m u p_b i a s_l r(预热训练偏置的学习率)B a t c h_s i z e(批量大小)E p o c h s(迭代轮次)数据集搜集与处理目前没有公开且适合本文研究的电动摩托车头盔佩戴检测数据集,因此本文通过网络爬虫、道路拍摄、视频截图和选出P A S C A LVO C数据集上电动摩托车类别的图片自制数据集 张经过严格筛选和清洗将无关的数据剔除,最终剩下 张符合实验要求,使用脚本按照 的比例随机划分为 张训练集和 张测试集本文按照C O C O数据集格式使用m a k es e n s e软件标记数据,标记类别分为两类:m o t o r和h e l m e t,并将标记好的数据集转出供本文研究 实验设计本文使用P(查准率/精确率)、R(查全率/召回率)、A P(A v e r a g eP r e c i s i o n:P R曲线围成的面积)和mA P(m e a nA v e r a g eP r e c i s i o n:各类别A P的平均值)作为模型评价指标分类混淆矩阵表所示:T P(T r u eP o s i t i v e)表示将正类预测为正类数,FN(F a l s en e g a t i v e)表示将正类预测为负类数,F P(F a l s eP o s i t i v e)表示将负类预测为正类数,TN(T r u eN e g a t i v e)表示将负类预测为负类数对应的评价指标如下:表分类结果混淆矩阵真实情况预测结果正例反例正例T P(真正例)FN(假反例)反例F P(假正例)TN(真反例)P:在预测为正样本中实际为正样本的概率如公式()所示PT PT PF P()R:在实际为正样本中预测为正样本的概率如公式()所示RT PT PF N()A P:以R为横轴,P为纵轴组成的曲线,曲线围成的面积就是A P如公式()所示:A Pn i(ri ri)p(ri)()mA P:数据集中各类别的平均精度的均值如公式()所示:m A PmmiA Pi()实验与结果分析本文训练的主要方法是采用迁移学习,为加快模型收敛速度,通过加载在C O C O数据集上的预训练权重参数,再对电动车和头盔数据上训练 次,使用上述评价指标作为模型的评价标准结果如图 和表所示,可以看出改进后的YO L O v 算法mA P、R和P都有所提升第期 谢嘉飞,等:基于改进Y O L O v 的电动摩托车驾驶人头盔检测方法图 改进前后的Y O L O v 实验对比图表综合指标对比结果表模型P r e c i s i o n/R e c a l l/mA P/Y O L O v 改进Y O L O v 从表中可以看出改进后的YO L O v 有效的提高了P、R和mA P通过K m e a n s 初始锚框、引入C A模块和改进损失函数,使得改进后的模型P提升了 、R提升了 和mA P提升了 从图 和图 中可以看出目标检测精度有所提升,可以很好的应用于道路上电动摩托车头盔检测改进后的模型与原模型输出结果如图、图 所示图 原Y O L O v 输出图图 改进Y O L O v 输出图 结语为准确的检测出电动摩托车骑手是否佩戴头盔,解决小目标检测漏检问题,本文提出了基于改进YO L O v 的电动摩托车驾驶人头盔检测方法改进后的YO L O v 以YO L O v s预训练模型为载体,通过K m e a n s 对初始锚框进行重新设定、引入C A坐标注意力机制优化网络结构,并使用 I o U自适应地重新加权高和低I o U目标的损失和梯度,以提高b b o x回归精度实验结果可知,改进后的YO L O v 算法具有一定的可行性参考文献:李政谦,刘晖基于深度学习的安全帽佩戴检测算法综述J计算机应用与软件,():G I R S H I C KR,D ONAHU EJ,D A R R E L LT,e ta l R i c hf e a t u r eh i e r a r c h i e sf o ra c c u r a t eo b j e c td e t e c t i o na n ds e m a n t i cs e g m e n t a t i o nE B/O L()网络访问日期缺失 h t t p s:a r x i v o r g/a b s/G I R S H I C KR F a s tR C NNC I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n(I C C V)S a n t i a g o:I E E E,:R E NSQ,HEK M,G I R S H I C KR,e ta l F a s t e rR C NN:t o w a r d sr e a l t i m eo b j e c td e t e c t i o nw i t hr e g i o np r o p o s a ln e t w o r k sJ I E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i sa n dM a c h i n e I n t e l l i g e n c e,():L I U W,ANGU E L OVD,E RHAND,e ta l S S D:s i n g l es h o tM u l t i B o xd e t e c t o rCC o m p u t e rV i s i o n E C C V C h a m:S p r i n g e r,:太 原 师 范 学 院 学 报(自然科学版)第 卷L I NTY,G O YA LP,G I R S H I C KR,e t a l F o c a l l o s s f o rd e n s eo b j e c td e t e c t i o nJ I E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i sa n dM a c h i n e I n t e l l i g e n c e,():WAN GYN,R E NJS T a x i p a s s e n g e r h o t s p o tm i n i n gb a s e do na r e f i n e dK m e a n s a l g o r i t h mJ I E E EA c c e s s,:HUJ,S HE NL,S UNG S q u e e z e a n d e x c i t a t i o nn e t w o r k sC I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n S a l tL a k eC i t y:I E E E,:WO OS,P A R KJ,L E EJY,e ta l C B AM:c o n v o l u t i o n a lb l o c ka t t e n t i o nm o d u l eCC o m p u t e rV i s i o n E C C V C h a m:S p r i n g e r,:HOU QB,Z HOUDQ,F E N GJS C o o r d i n a t ea t t e n t i o nf o re f f i c i e n tm o b i l en e t w o r kd e s i g nC I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R)N a s h v i l l e:I E E E,:HEJB,E R F AN I S,MAXJ,e ta l A l p h a I o U:a f a m i l yo fp o w e r i n t e r s e c t i o no v e ru n i o nl o s s e s f o rb o u n d i n gb o xr e g r e s s i o nE B/O L()网络访问日期缺失 h t t p s:a r x i v o r g/a b s/H e l m e tD e t e c t i o nM e t h o do fE l e c t r i cM o t o r c y c l eD r i v e rB a s e do nI m p r o v e dY O L O v X I EJ i a f e i,Z H A OY u e a i(S c h o o l o fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,T a i y u a nN o r m a lU n i v e r s i t y,J i n z h o n g ,C h i n a)A b s t r a c tW i t ht h er a p i dd e v e l o p m e n to fe c o n o m ya n dt h ep o p u l a r i t yo f l o w c a r b o na n de n v i r o n m e n t a l l yf r i e n d l yt r a v e lm o d e s,t h ea m o u n to fe l e c t r i cm o t o r c y c l e i n v e s t m e n t i s i n c r e a s i n gy e a rb yy e a r,b u tt h er e s u l t i n gs a f e t yr i s k sa r ea l s oi n c r e a s i n g A i m i n ga tt h ep r o b l e m so ft i m ec o n s u m i n g,e n e r g yc o n s u m i n ga n dm i s s i n gd e t e c t i o ni nt h et r a d i t i o n a lm a n u a l i n s p e c t i o nw h e t h e rr i d e r sw e a rh e l m e t s i nas t a n d a r dw a y,ah e l m e td e t e c t i o na l g o r i t h mb a s e do n i m p r o v e dY O L O v w a sp r o p o s e d F i r s t l y,a i m i n ga t t h ep r o b l e mo fd i f f e r e n ts i z e so fm o t o r c y c l eh e l m e t s,K m e a n s a l g o r i t h mw a su s e d t o r e d e s i g n t h e i n i t i a l a n c h o r f r a m e t o i n c r e a s e t h e c o n v e r g e n c e s p e e do f t h en e t w o r k S e c o n d l y,C o o r d i n a t eA t t e n t i o nm e c h a n i s mw a s i n t r o d u c e d t oe n h a n c e t h e e x p r e s s i o na b i l i t yo fn e t w o r kl e a r n i n gf e a t u r e s F i n a l l y,t h e I o Ul o s sf u n c t i o ni s i n t r o d u c e dt oi m p r o v et h et a r g e td e t e c t i o na c c u r a c y T h ee x p e r i m e n t a l r e s u l t s s h o wt h a t t h emA Po f t h e i m p r o v e dYO L O v m o d e lr e a c h e s ,w h i c h i s h i g h e r t h a nt h ea v e r a g ea c c u r a c yo fYO L O v,w h i c hm e e t st h er e q u i r e m e n t so fh e l m e td e t e c t i o nf o re l e c t r i cm o t o r c y c l ed r i v e r s i nc o m p l e xr o a de n v i r o n m e n t K e yw o r d sc o n v o l u t i o n a ln e u r a ln e t w o r k;h e l m e td e t e c t i o n;i m p r o v e dY O L O v;c o o r d i n a t ea t t e n t i o nm e c h a n i s m;r e a l t i m ed e t e c t i o n第期 谢嘉飞,等:基于改进Y O L O v 的电动摩托车驾驶人头盔检测方法