基于深度学习的红外过采样扫描图像小目标跟踪算法_姚迎乐.pdf

北大中文核心期刊国外电子测量技术 D O I:1 0.1 9 6 5 2/j.c n k i.f e m t.2 2 0 4 4 5 5基于深度学习的红外过采样扫描图像小目标跟踪算法*姚迎乐1 赵 娟2(1.郑州工业应用技术学院信息工程学院 郑州 4 5 1 1 5 0;2.武汉轻工大学数学与计算机学院 武汉 4 3 0 0 2 3)摘 要:红外小目标跟踪过程中由于背景、外界杂波等干扰,导致跟踪精确度和实时性欠佳,为此,提出基于深度学习的红外过采样扫描图像小目标跟踪算法。首先构建了红外过采样扫描图像模型,通过背景估计、形态学开运算,对图像中背景以及外界杂波进行多级滤除;然后增加设计特征融合模块和区域选取模块来改进孪生网络,生成融合特征图输入目标区域,通过分类和回归计算提高图像的特征表征能力和跟踪精度;最后建立损失函数训练孪生网络,输出红外过采样扫描图像小目标跟踪结果。实验结果表明,利用所提算法进行图像滤除后,信噪比能够高达3 5 d B,所提算法的区域重叠率较高、跟踪精度高,且算法的实时性强,帧率达到2 0 0 f p s以上,整体跟踪效果好。关键词:多级滤波;改进孪生网络;特征融合;区域选取;红外小目标跟踪中图分类号:T P 3 9 1.4 1文献标识码:A国家标准学科分类代码:5 2 0.6S m a l l o b j e c t t r a c k i n g a l g o r i t h m f o r i n f r a r e d o v e r s a m p l e d s c a n n i n g i m a g e s b a s e d o n d e e p l e a r n i n gY a o Y i n g l e1 Z h a o J u a n2(1.D e p a r t m e n t o f I n f o r m a t i o n E n g i n e e r i n g,I n s t i t u t e o f Z h e n g z h o u I n d u s t r i a l A p p l i c a t i o n T e c h n o l o g y,Z h e n g z h o u 4 5 1 1 5 0,C h i n a;2.D e p a r t m e n t o f M a t h e m a t i c s a n d C o m p u t e r S c i e n c e,W u h a n P o l y t e c h n i c U n i v e r s i t y,W u h a n 4 3 0 0 2 3,C h i n a)A b s t r a c t:I n t h e p r o c e s s o f i n f r a r e d s m a l l o b j e c t t r a c k i n g,t h e t r a c k i n g a c c u r a c y a n d r e a l-t i m e p e r f o r m a n c e a r e p o o r.T h e r e f o r e,t h e a l g o r i t h m o f i n f r a r e d o v e r-s a m p l i n g s c a n n i n g i m a g e s m a l l o b j e c t t r a c k i n g b a s e d o n d e e p l e a r n i n g i s p r o p o s e d.F i r s t l y,t h e i n f r a r e d o v e r s a m p l i n g s c a n n i n g i m a g e m o d e l i s c o n s t r u c t e d,u s e d t o f i l t e r t h e b a c k g r o u n d a n d e x t e r n a l c l u t t e r,t h e n a d d t h e d e s i g n f e a t u r e f u s i o n m o d u l e a n d a r e a s e l e c t i o n m o d u l e t o i m p r o v e t h e t w i n n e t w o r k,g e n e r a t e t h e f u s i o n f e a t u r e m a p i n p u t t a r g e t a r e a,a n d i m p r o v e t h e f e a t u r e r e p r e s e n t a t i o n a b i l i t y a n d t r a c k i n g a c c u r a c y t h r o u g h c l a s s i f i c a t i o n a n d r e g r e s s i o n c a l c u l a t i o n.F i n a l l y,t h e l o s s f u n c t i o n i s e s t a b l i s h e d t o t r a i n t h e t w i n n e t w o r k a n d o u t p u t t h e s m a l l t a r g e t t r a c k i n g r e s u l t s o f i n f r a r e d o v e r s a m p l e d s c a n n i n g i m a g e s.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d a l g o r i t h m c a n b e u p t o 3 5 d B,t h e p r o p o s e d a l g o r i t h m h a s h i g h r e g i o n a l o v e r l a p r a t e,h i g h t r a c k i n g a c c u r a c y,s t r o n g r e a l-t i m e a l g o r i t h m,t h e f r a m e r a t e r e a c h e s m o r e t h a n 2 0 0 f p s,a n d t h e o v e r a l l t r a c k i n g e f f e c t i s g o o d.K e y w o r d s:m u l t i-l e v e l f i l t e r i n g;i m p r o v e t h e t w i n n e t w o r k;f e a t u r e f u s i o n;a r e a s e l e c t i o n;i n f r a r e d s m a l l t a r g e t t r a c k i n g 收稿日期:2 0 2 2-1 1-0 1*基金项目:河南省科技厅科技攻关支持项目(2 0 2 1 0 2 2 1 0 3 6 1,1 8 2 1 0 2 2 1 0 5 5 5)资助0 引 言红外成像系统具有抗干扰性强、穿透能力强、隐私性强等诸多优势1-2,因而红外成像技术在军事领域、智能安防、导航等领域中得到广泛应用3-4。目标跟踪是红外成像系统的关键技术之一,其中弱小目标跟踪由于容易受到背景等相关因素的干扰,跟踪难度增加,因而成为红外目标跟踪领域的一项难点问题,对其进行研究具有重要的理论意义和实际意义5-7。近年来,国内外学者提出了许多关于红外目标跟踪的相关研究,取得了一定研究成果。文献8 指出深度学习的快速发展使得红外成像机器视觉更加智能化,从而大大53 国外电子测量技术北大中文核心期刊增加了其应用范围,该文论述了深度学习在红外成像中的应用,但具体应用过程分析不明确。文献9 基于深度学习分析红外云图像与太阳光辐射问题,开发了一种多模态聚变网络,使用一个完全连接的神经网络提取和融合空间、时间信息,取得了一定的研究成果,但忽略了对红外图像背景的有效处理,导致图像质量不佳,影响了目标跟踪效果。文献1 0 提出了一种基于可见光-红外图像对的多模态可见性深度学习模型,构造了一个新的卷积神经网络结构,其中包括3个并行连接的卷积流,通过传播的方法提取各流的特征图,并从底层到深层进行融合,最后根据全连接层的输出特征描述符,对可见性范围级别进行分类,跟踪精度高,但该文构建的模型结构复杂,实际运行效率欠佳,导致目标跟踪过程的整体实时性差。文献1 1 将全局感知孪生网络应用于红外目标跟踪过程分析,加入了空间感知模块得到全局有效信息,最后通过响应融合完成红外目标跟踪,对于全局信息的获取效果较好,但在细节处比如红外背景滤波、图像边缘特征等方面考虑不足,使得实际应用中的跟踪精度还有待提高。为改善上述算法存在的不足,本文引入深度学习这一热门技术,设计了一种新的基于深度学习的红外过采样扫描图像小目标跟踪算法,期望借助深度学习高效的图像和数据解释能力,有效提高红外小目标跟踪性能。同时设计了仿真实验来验证所提算法性能。本文提出基于深度学习的红外过采样扫描图像小目标跟踪算法;对红外过采样扫描图像进行多级滤波处理,降低过采样扫描中背景及杂波的干扰,增强红外图像质量;设计特征融合模块和区域选取模块改进孪生网络,将其应用于红外小目标跟踪研究中,提高了模型的图像特征表征能力和跟踪精度。1 基于过采样扫描的红外图像多级滤波1.1 红外过采样扫描图像模型建立为提高红外成像质量,逐渐出现了过采样扫描成像新体制概念,过采样扫描图像过程中,远距离目标的点状、线状特征明显,呈现出一定的规则性,背景成像更为平滑,因此红外过采样扫描图像质量更好,有利于提高小目标跟踪效果。本文研究的红外过采样扫描图像主要包括跟踪目标、红外背景和外界杂波3个部分,根据构成因素建立红外过采样扫描图像模型:I(x,y)=Ie(x,y)+Ib(x,y)+In(x,y)(1)式中:Ie(x,y)、Ib(x,y)、In(x,y)分别表示跟踪目标、红外背景和外界杂波;I(x,y)表示红外图像的灰度值。1.2 红外图像多级滤波分析上述模型可知,红外过采样扫描图像容易受到背景以及外界杂波的干扰,为此需要对其进行滤波处理1 2。首先是对原始红外图像进行形态学滤波,构建线性元素集Aa1,a2,an用于背景估计,从而得到背景估计红外图像,公式如下:E(x,y)=m a xIa1(x,y),Ia2(x,y),Ia3(x,y)(2)式中:ai(x,y)表示不同的线性元素。然后根据原始图像和背景估计图像,可分离得出背景抑制图,弱化背景强度,使得红外小目标更为清晰,信噪比更高,公式如下:U(x,y)=I(x,y)-E(x,y)(3)最后对红外图像进行形态学开运算,寻求最优的结构元素1 3,进一步滤除背景干扰和外界杂波,完成红外图像小目标多级滤波,提高红外图像质量。公式如下:M(x,y)=U(x,y)s(x,y)(4)式中:s(x,y)表示形态学中的矩形结构元素。2 基于深度学习的红外小目标跟踪算法近年来深度学习在计算机视觉领域发展非常迅速,且应用性能良好,本文利用深度学习进行红外小目标跟踪研究。孪生网络是深度学习的一种,主要通过训练大量的视频图像,迁移到另一层网络结构中,完成小目标跟踪,孪生网络能够较大程度提高对红外应用场景的使用性能,对于背景遮挡、目标形变等具有较好的处理效果。因此本文将引入孪生网络来研究红外小目标跟踪问题。2.1 孪生网