基于Resnet18网络的红外图像行人危险动作识别_单巍.pdf

第4 7卷/第3期/2 0 2 3年5月河北师范大学学报/自然科学版/J O U R N A LO FH E B E IN O R M A LU N I V E R S I T Y(N a t u r a lS c i e n c e)V o l.4 7N o.3M a y.2 0 2 3文章编号:1 0 0 0-5 8 5 4(2 0 2 3)0 3-0 2 4 5-0 6收稿日期:2 0 2 2-0 9-1 4;修回日期:2 0 2 2-1 1-1 4基金项目:安徽省高校科学研究项目(2 0 2 2 AH 0 5 0 3 9 2);安徽省教学示范课(2 0 2 0 S J J X S F K 2 1 5 9);安徽省质量工程项目(2 0 2 1 j y x m 1 3 3 6);淮北师范大学质量工程项目(2 0 2 0 x j x y j 0 3 5,2 0 2 1 z l g c 1 3 0);国家级大学生创新训练项目(2 0 2 1 1 0 3 7 3 0 3 2,2 0 2 1 1 0 3 7 3 0 3 6,2 0 2 2 1 0 3 7 3 0 0 4,2 0 2 2 1 0 3 7 3 0 2 8,2 0 2 0 1 0 3 7 3 0 3 9);淮北师范大学党建创新项目(2 0 2 1 d j 0 0 5)作者简介:单 巍(1 9 8 3),男,安徽淮北人,副教授,硕士,研究方向为模式识别.基于R e s n e t 1 8网络的红外图像行人危险动作识别单 巍,董 璇,龚佳佳,王玉娟,董世稳,孔令坤,郭姗姗(淮北师范大学 物理与电子信息学院,安徽 淮北 2 3 5 0 0 0)摘要:对夜间行人危险动作进行有效识别是无人驾驶和智能辅助驾驶系统的一个核心任务,也是保证系统安全性的基本需求.考虑到夜晚的光学条件下摄像机的成像特性,提出一种基于深度卷积网络的红外行人危险动作识别算法对夜间行人动作进行识别.该算法选择残差网络为基本网络结构,首先从红外图像的特性和问题的规模出发确定采用R e s n e t 1 8网络框架,然后对数据集进行预处理使之能够适应网络,最后对网络进行训练与测试以确定网络的识别性能.在实际红外行人危险动作数据集中进行实验的结果表明,所提出方法对6类危险动作识别的平均精确率达到9 8.3%,平均召回率达到9 8.1%,优于传统的识别方法.关键词:危险动作识别;行人检测;卷积神经网络;残差网络;R e s n e t 1 8中图分类号:O4 3 9;T P1 8 3 文献标志码:A d o i:1 0.1 3 7 6 3/j.c n k i.j h e b n u.n s e.2 0 2 3 0 2 0 0 7P e d e s t r i a nD a n g e r o u sA c t i o nR e c o g n i t i o ni nI n f r a r e dI m a g eB a s e do nR e s n e t 1 8N e t w o r kS HAN W e i,D ONGX u a n,GONGJ i a j i a,WANGY u j u a n,D ONGS h i w e n,KONGL i n g k u n,GUOS h a n s h a n(S c h o o l o fP h y s i c sa n dE l e c t r o n i c I n f o r m a t i o n,H u a i b e iN o r m a lU n i v e r s i t y,A n h u iH u a i b e i 2 3 5 0 0 0,C h i n a)A b s t r a c t:R e c o g n i z i n gt h ep e d e s t r i a n su n s a f eb e h a v i o r s e f f i c i e n t l ya t n i g h t i s ak e y t a s k f o r t h eA u t o n-o m o u sv e h i c l e sa n da d v a n c e dd r i v e ra s s i s t a n c es y s t e m,a n di t i sa l s oab a s i cr e q u i r e m e n t f o re n s u r i n gt h es a f e t yo f t h e s e s y s t e m s.C o n s i d e r i n g t h e i m a g i n gc h a r a c t e r i s t i c s o f t h e c a m e r a a t n i g h t,ad e e pc o n v o l u t i o n a ln e u r a ln e t w o r k(C NN)b a s e da l g o r i t h mi sp r o p o s e d t o r e c o g n i z e t h ep e d e s t r i a n su n s a f eb e h a v i o r s i n i n f r a-r e d i m a g e s.I nt h i sa l g o r i t h m,r e s i d u a ln e t w o r ki ss e l e c t e da st h eb a s i cn e t w o r ks t r u c t u r e.F i r s t,R e s n e t 1 8n e t w o r kf r a m e w o r ki sa d o p t e da c c o r d i n gt ot h ec h a r a c t e r i s t i c so fi n f r a r e di m a g e sa n dt h es c a l eo fp r o b l e m s.T h e nt h ed a t as e t i sp r e p r o c e s s e dt oa d a p tt ot h en e t w o r k.F i n a l l y,t h en e t w o r ki st r a i n e da n dt e s t e d t o d e t e r m i n et h er e c o g n i t i o n p e r f o r m a n c e o ft h e n e t w o r k.E x p e r i m e n t a lr e s u l t s o ni n f r a r e dp e d e s t r i a n su n s a f eb e h a v i o rd a t as e t i n d i c a t t h a t t h ep r e s e n t e da l g o r i t h mi m p r o v e d s t h ep a r a m e t e ro fp r e-c i s i o nt o9 8.3%a n dr e c a l l t o9 8.1%o na l l t h es i xt y p e so fu n s a f eb e h a v i o r s,a n d i ss u p e r i o r t ot h et r a d i-t i o n a lm e t h o d s.K e yw o r d s:d a n g e r o u sa c t i o nr e c o g n i t i o n;p e d e s t r i a nd e t e c t i o n;c o n v o l u t i o n a l n e u r a l n e t w o r k;r e s i d u a ln e t w o r k;R e s n e t 1 8近年来以深度学习为代表的人工智能技术逐步深入到车辆辅助驾驶和无人驾驶领域1-3,得益于行人检测技术的快速发展以及各类交通法规的严格执行,交通事故发生率得到一定的抑制.然而由于当前的行人检测研究集中于检测车辆行驶前方范围内直立行走的行人,当行人处于异常行为姿态时检测可靠性将大大下降,特别是在夜间光线不足的情况下,发生事故的概率随之提高.据报道,2 0 1 6年2月6日,河南省平顶山市发生一起将醉卧在行车道内的市民碾压致其当场死亡的事故;2 0 1 8年1 0月1 3日晚,上海市宝山区同样发生一起市民酒后醉卧马路而被碾压身亡的事故;2 0 2 0年1月8日凌晨,相似的惨剧在珠海市香洲区再次上演.上述几起事故中受害人并非站立在道路上,且发生事故时间均为光线不足的夜晚,对夜晚光线不足情况下的危险行人动作进行准确识别,提高车辆夜间行驶的安全性,已成为一个亟待解决的问题.当前行人检测技术已日臻完善,特别是以F a s t e rR-C NN4,YO L O5,S S D6等深度卷积检测网络为代表的行人检测模型均取得了令人满意的检测效果7-8.相对而言,人体行为动作识别领域的研究大多局限于光线充足的实验室环境或者室外规定化环境中.相对传统的行为识别方法需要设计行为动作的表达特征,深度学习可以通过构建相应的识别网络,让网络自主学习最优特征实现端到端的行人动作识别.K u m a r a n等7设计了一种将深度卷积网络和灰狼优化算法(g r e yw o l fo p t i m i z a t i o n)相融合的混合构架实现对视频序列中的人体行为的识别.K h a n等8则将传统的人工特征和深度卷积网络相结合来解决视频动作识别问题,在该方法中他们将传统方法用于行人检测的HOG特征并与深度网络特征融合在一起,然后采用多类支持向量机完成特征识别.上述的人体行为动作识别方法都是针对包含人体动作的视频序列来进行建模的,需要一系列连续的序列图像才能得到识别结果,因此实时性不足.对于车辆行驶安全这样实时性要求很高的应用场景,希望仅通过当前图像即可判断目标行人的行为动作,从而对危险性行为做出及时的预防.针对上述缺点,文献9 对基于单幅图像的红外行人危险行为识别进行了研究,通过设计深度卷积网络来获取目标特征,然后采用提升随机森林进行分类,该方法与C NN-S VM1 0,C NN-ML P1 1,C NN-R F1 2相比精度有一定程度提高,但受限于传统C NN的网络深度和学习能力,算法性能仍不能令人满意.本文中,笔者针对夜间行人危险行为识别问题展开研究,提出一种基于单幅图像的红外危险行人动作识别框架,该框架首先选择残差网络(r e s i d u a ln e t w o r k,r e s n e t)1 3作为基本网络结构,避免传统C NN网络深度加深时产生的梯度消失或梯度爆炸问题,结合数据集特点,选择R e s n e t 1 8作为骨干网络,然后对数据集进行预处理使之能够适应网络,最后对网络进行训练与测试以确定网络的识别性能.1 骨干网络基于深度卷积网络的分类识别系统往往采用类似图1所示的结构框架,输入图像经骨干网络中一系列卷积操作的处理,最后连接到全连接层通过s o f t m a x归一化得到每一类的概率.在该框架中骨干网络通过一系列卷积网络生成图像的特征信息,对分类性能起到关键的作用.经过多年的研究,目前已出现多种通用的卷积网络结构,在这些网络结构中R e s n e t系列以其优越的性能得到广泛的应用.图1 R e s n e t 1 8的网络结构F i g.1 A r c h i t e c t u r eo f t h eR e s n e t 1 8N e t w o r k642由于主要任务是对红外图像中行人的危险动作进行识别,尽管红外成像对外界光线较为鲁