自适应特征融合的轻量级交通标志检测方法_梁秀满.pdf

电 子 测 量 技 术E L E C T RON I CME A S U R EME N TT E CHNO L O G Y第4 5卷 第2 3期2 0 2 2年1 2月 D O I:1 0.1 9 6 5 1/j.c n k i.e m t.2 2 0 9 9 5 3自适应特征融合的轻量级交通标志检测方法梁秀满 邵彭娟 刘振东 赵恒斌(华北理工大学电气工程学院 唐山 0 6 3 2 1 0)摘 要:针对目前交通标志检测方法中网络计算量大、检测效果差的问题,提出一种嵌入坐标注意力机制的轻量级交通标志检测方法。首先在M o b i l e N e t v 2的残差块中嵌入坐标注意力机制C A(c h a n n e l a t t e n t i o n)模块以保留通道注意力中的坐标信息;其次利用改进的M o b i l e N e t v 2对YO L O v 4主干网络做轻量化处理,并且在P AN e t中采用深度可分离卷积块降低计算量;然后使用A S F F自适应特征融合改进P AN e t结构来均衡不同特征层的不一致性,最后在特征融合模块加入注意力以增加目标信息的权重;并由K-m e a n s+算法产生新的先验框聚类中心。实验表明,权重文件由1 3 6 M降至5 4.5 M削减了6 0%,网络体积削减了8 0%,精度达到9 6.8 4%,与YO L O v 4网络相比仅损失了0.4 6%的精度。关键词:轻量级网络;注意力机制;聚类算法;自适应特征融合中图分类号:T P 3 9 1.4 文献标识码:A 国家标准学科分类代码:5 2 0.6A l i g h t w e i g h t t r a f f i c s i g n d e t e c t i o n m e t h o d b a s e d o n a d a p t i v e f e a t u r e f u s i o nL i a n g X i u m a n S h a o P e n g j u a n L i u Z h e n d o n g Z h a o H e n g b i n(S c h o o l o f E l e c t r i c a l E n g i n e e r i n g,N o r t h C h i n a U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y,T a n g s h a n 0 6 3 2 1 0,C h i n a)A b s t r a c t:A i m i n g a t t h e p r o b l e m s o f l a r g e a m o u n t o f n e t w o r k c o m p u t a t i o n a n d p o o r d e t e c t i o n e f f e c t i n t h e c u r r e n t t r a f f i c s i g n d e t e c t i o n m e t h o d,a l i g h t w e i g h t t r a f f i c s i g n d e t e c t i o n m e t h o d w i t h e m b e d d e d c o o r d i n a t e a t t e n t i o n m e c h a n i s m i s p r o p o s e d.F i r s t,t h e c o o r d i n a t e a t t e n t i o n m e c h a n i s m C A m o d u l e i s e m b e d d e d i n t h e r e s i d u a l b l o c k o f M o b i l e N e t v 2 t o r e t a i n t h e c o o r d i n a t e i n f o r m a t i o n i n t h e c h a n n e l a t t e n t i o n;S e c o n d l y,t h e i m p r o v e d M o b i l e N e t v 2 i s u s e d t o l i g h t e n t h e YO L O v 4 b a c k b o n e n e t w o r k,a n d t h e d e p t h w i s e s e p a r a b l e c o n v o l u t i o n b l o c k i s u s e d i n P AN e t t o r e d u c e t h e a m o u n t o f c o m p u t a t i o n;T h e n,A S F F a d a p t i v e f e a t u r e f u s i o n i s u s e d t o i m p r o v e t h e P AN e t s t r u c t u r e t o b a l a n c e t h e i n c o n s i s t e n c y o f d i f f e r e n t f e a t u r e l a y e r s.F i n a l l y,a t t e n t i o n i s a d d e d t o t h e f e a t u r e f u s i o n m o d u l e t o i n c r e a s e t h e w e i g h t o f t h e t a r g e t i n f o r m a t i o n;a n d t h e K-m e a n s+a l g o r i t h m g e n e r a t e s n e w a p r i o r i b o x c l u s t e r c e n t e r s.E x p e r i m e n t s s h o w t h a t t h e w e i g h t f i l e i s r e d u c e d b y 6 0%f r o m 1 3 6 M t o 5 4.5 M,t h e n e t w o r k v o l u m e i s r e d u c e d b y 8 0%,a n d t h e a c c u r a c y r e a c h e s 9 6.8 4%,l o s e o n l y 0.4 6%a c c u r a c y c o m p a r e d t o YO L O v 4 n e t w o r k.K e y w o r d s:l i g h t w e i g h t n e t w o r k;a t t e n t i o n m e c h a n i s m;c l u s t e r i n g a l g o r i t h m;a d a p t i v e f e a t u r e f u s i o n 收稿日期:2 0 2 2-0 5-1 30 引 言 随着交通标志检测网络的不断加深,内存占用逐渐增大,不易应用到智能交通系统和自动驾驶等小型平台。轻量级目标检测结构例如S q u e e z e N e t1、M o b i l e n e t2 系列、以及E f f i c i e n t3系列,它们的体积较小,可应用到移动平台,为交通标志检测提供了一定的网络架构参考。交通安全干系重大,在实现实时检测的同时,对检测精度有着更高的标准。交通标志检测框架大致分为两种,最早是2 0 1 6年使用滑框检测的F a s t R-C NN4、F a s t e r R-C NN等二阶段深度学习框架,使用R P N生成建议框并利用卷积进行分类和检测,精度较高但实时性不能满足交通标志检测的要求;一阶段的YO L O5系列、S S D6系列等网络将检测和分类合为一体,真正实现了实时检测,成为了近年来目标检测研究的热点。张毅等7提出的基于改进 F a s t e r R-C NN 模型的交通标志检测方法,使用R e s N e X t替换原有主干网络VG G,并使用多维特征融合来提取目标信息,提升了精度但不能满足对实时性的要求。随着一阶段网络框架的出现,大批量基于YO L O系列框架的改进方法应用于交通标志检测。Z h a n g等8提出了YO L O v 2交通标志检测方法,实现了端到端的实时检测,但精度有待提升。马露茜等9提出一种701 第4 5卷电 子 测 量 技 术复杂环境下交通标志检测方法,在原有YO L O v 3基础上增加了一个1 0 41 0 4的特征检测层,获得更高的精度和速度。张达为等1 0提出了使用轻量级网络改进YO L O v 3,并引入不同特征层进行融合,精度与以上相比确实提升了,但网络参数量仍需要进一步降低。陈臬等1 1提出的基于无预训练卷积神经网络的红外车辆目标检测方法,结合了YO L O v 3和注意力机制,有助于摆脱对预训练权重的依赖,但网络应用到移动设备仍然具有难度。刘丹1 2等使用改进的F C O S1 3网络对行人进行检测,添加注意力机制增强网络特征提取能力,并利用G I OU作为回归损失函数,结果表明注意力在一定程度上可以提升网络检测效果。针对上述问题,本文提出一种自适应特征融合的轻量级交通标志检测方法,基于YO L O v 41 4框架使用改进的M o b i l e N e t v 2作为主干特征提取网络,将坐标注意力机制C A1 5(c o o r d i n a t e a t t e n t i o n)嵌入残差块,从而在通道注意力中保留了位置信息。然后使用A S F F1 6改 进特征融合结构,更好融合不同特征层的目标信息;在较少计算量的情况下提取到更多的特征信息,保证了精度但没有增加计算量;并在特征融合中加入多个注意力模块C B AM1 7形成最终的特征融合模块,实验表明检测效果有一定提升。1 基于自适应特征融合的交通标志检测方法1.1 Y O L O v 4网络 近几年YO L O系列是一阶段中表现较好的网络框架,本文使用的是2 0 2 0年发表的YO L O v 4,它是在YO L O v 3的基础上改进的,加了许多 有 效 的 小 技 巧,更 适 合于单G P U上训练;并且在主干网络采用跨链接C S P N e t来进行特征融合保留了更广泛的目标特征;P AN e t还增加了一条自上而下的路径使获得特征的梯度更加丰富,扩展了检测空间让特征信息更加完整;S P P扩大感受野充分捕捉需要的目标特征,最后沿用YO L O v 3的检测头进行分类和检测,具体网络结构如图1所示。图1 YO L O v 4网络结构1.2 轻量化的主干网路 原来YO L O v 4的网络计算量较大,且网络层数较深,提取到的目标位置信息不够精准。本文中使用轻量级网络M o b i l e N e t v 2代替主干特征提取网络D a r k N e t 5 3,整体计算量减少了8 0%,更方便应用于移动端和智慧交通系统。2 0 1 7年轻量级网络的出现,为深度框架提供了新的网络改进方向。M o b i l e N e t v 1中最重要的网络结构是深度可分离卷积:将普通卷积分为两个分卷积:首先经过深度卷积(d e p t h w i s e c o n v o l u t i o n),对每个输入通道使用单通道的轻量级滤波器;然后通过点卷积(p o i n t w i s e c o n v o l u t i o n)来结合之前提取到的特征特性,即减少了计算量又保证特征的完整性。