基于特征增强的快速红外目标检测_郭勇.pdf

2023 年 无线电工程 第 53 卷 第 1 期47doi:103969/jissn10033106202301007引用格式:郭勇，张凯基于特征增强的快速红外目标检测 J 无线电工程，2023，53(1):4755GUO Yong，ZHANG KaiFastInfrared Object Detection Based on Feature Enhancement J adio Engineering，2023，53(1):4755基于特征增强的快速红外目标检测郭勇1，张凯2(1 福建信息职业技术学院 物联网与人工智能学院，福建 福州 350003;2 厦门大学 信息学院，福建 厦门 361005)摘要:针对小型红外探测系统对实时目标检测的应用需求，提出了一种基于特征增强的快速红外目标检测模型。设计了轻量化的特征提取网络，并利用双残差结构提升特征图的鲁棒性;利用阶梯式特征融合结构有效结合不同层次特征的语义信息和空间信息，提升预测特征图的完备性，为后端目标预测提供有力支撑。网络训练阶段还采用多尺度训练和数据增强技术进一步提升模型检测性能。在 FLI ADAS 数据集上对所提模型进行测试，与 YOLOv3 等经典模型相比，检测速度大幅提升，检测精度仅略有下降;与同类型快速检测模型 Tiny-YOLOv3 相比，在模型大小、检测精度和速度上均占据优势。多组实验对比验证了所提模型的有效性和实用性。关键词:红外目标;深度学习;目标检测;特征增强中图分类号:TP391文献标志码:A开放科学(资源服务)标识码(OSID):文 章 编 号:10033106(2023)01004709Fast Infrared Object Detection Based on Feature EnhancementGUO Yong1，ZHANG Kai2(1 College of The Internet of Things and Artificial Intelligence，Fujian Polytechnic of Information Technology，Fuzhou 350003，China;2 School of Informatics，Xiamen University，Xiamen 361005，China)Abstract:According to the application requirements of small infrared system for realtime object detection，a fast infrared objectdetection model based on feature enhancement is proposed Firstly，a lightweight feature extraction network is designed，and the doubleresidual structure is used to improve the robustness of the feature map;secondly，the stairstep feature fusion structure is utilized toeffectively combine the semantic information and spatial information of different levels of features to improve the completeness of theprediction feature map and provide strong support for the back-end object prediction During network training，multi-scale training anddata enhancement technology are employed to further improve the performance of model detection The proposed model is tested onFLI ADAS dataset Compared with the classical model such as YOLOv3，the detection speed of the model is greatly improved，andthe detection accuracy is only slightly reduced Compared with the same type of rapid detection model Tiny-YOLOv3，the model hasadvantages in model size，detection accuracy and speed Several groups of experiments verify the effectiveness and practicability of theproposed modelKeywords:infrared object;deep learning;object detection;feature enhancement收稿日期:20220921基金项目:国家自然科学基金(62072389)FoundationItem:NationalNaturalScienceFoundationofChina(62072389)0引言红外探测系统利用物体热辐射收集目标信息，具有隐蔽性好、抗干扰能力强和受气候、光线、烟雾影响小等特点，已广泛应用于军事侦察、视频监控和伪装防护等领域1。目标检测作为红外探测系统的核心技术，主要完成目标定位与分类，受到国内外研究人员的深度关注。近年来，基于卷积神经网络的深度学习目标检测算法在性能上取得了巨大突破。以深度学习为基础，文献 26 将卷积神经网络的思想引入红外目标检测，探索出了一系列高效准确的检测算法。但信号与信息处理482023 adio Engineering Vol.53 No.1此类方法主要集中于以复杂的模型结构来提高目标检测精度，忽略了检测速度的重要性。当前，红外系统逐渐小型化，常被搭载于无人驾驶汽车、无人机等智能设备上完成探测任务，对检测精度和速度均提出了较高要求，因此在硬件资源有限的条件下，实现检测精度与速度的最佳均衡是一项实践意义重大的研究工作。基于以上分析，结合实际红外应用场景特点，本文设计了基于特征增强的红外目标检测(InfraredObject Detection based on Feature Enhanced YOLO，FEID-YOLO)模型。FEID-YOLO 属于轻量级快速检测模型，以 YOLOv37 为基础框架，利用 esVGG-5主干网络替代原来的 DarkNet53，降低模型计算量和提升检测速度的同时，提取输入图像不同层次的特征，在此基础上通过阶梯式特征融合技术获取鲁棒和完备的预测特征图，为末端目标预测提供有力支撑。在训练阶段，通过多尺度训练和数据增强提升模型对复杂背景和不同尺度目标的适应能力。在FLI ADAS 红外数据集上的实验结果表明，FEID-YOLO 模型的检测精度可达 5731%mAP，且保持了每秒检测帧数(Frames per Second，FPS)6893 的检测速度，为模型在小型系统端的部署打下了基础。1红外图像特性分析目前，基于深度学习的目标检测算法大多始于可见光领域，若要将其高效引入红外图像领域，对比可见光图像与红外图像特性，并依此构建适合红外场景的目标检测模型十分重要。相较于可见光图像，红外图像的质量较低且目标特征有限，导致红外目标的探测灵敏度、对比度和分辨率较低8。如果将在可见光领域中表现优异的深度学习检测模型直接用于红外图像目标检测，势必会导致性能急剧下降。因此，分析红外图像与可见光图像特性，针对二者差异辅以特殊的特征处理手段是增强红外目标检测系统性能的有力措施。不同场景下配准好的可见光与红外图像如图 1所示。通过对比可见光与红外的原图像可以看出，可见光图像中包含丰富的场景细节信息，且各类目标(车辆、行人和飞机)的几何轮廓完整、纹理细节丰富、颜色多样，易于检测识别。反观红外图像，不仅场景模糊、信噪比低、分辨率差，而且所包含目标的细节特征较弱、几何结构缺失严重(如图 1 场景 B 红外图像中的飞机)，导致红外目标可利用的特征较少。由可见光与红外图像的三维分布图可以看出，低温目标(如图 1 场景 A 中的车辆)在可见光图像中更加突显，而高温目标(如行人和飞机尾翼部分)在红外图像中更加突显，因此如何提取高鲁棒性的目标特征是提升红外多目标检测性能的关键。分析二者的直方图可以看出，相较于可见光图像，红外图像的对比度更低，且其灰度分布与目标反射特性无线性关系，这无疑增加了目标检测的难度。(a)场景 A 可见光图像与红外图像对比(b)场景 B 可见光图像与红外图像对比图 1不同场景下的可见光图像(子图左上)、红外图像(子图左下)及其三维分布图(子图中)和直方图(子图右)Fig1Visible images(upper left of sub-images)，infrared images(lower left of sub-images)and 3D distribution maps(middle of sub-images)and histograms(right of sub-images)under different scenes红外图像的特性使得主流的目标检测模型在应用于红外场景时表现不佳，而实时目标检测将更具挑战性。分析红外图像特性可知，红外目标主要呈现出几何结构缺失、纹理细节不佳和像素强度分布较广等特点。因此，构建的检测模型必须具备鲁棒且完备的目标特征提取能力，才能满足后端的分类与定位需求。信号与信息处理2023 年 无线电工程 第 53 卷 第 1 期492FEID-YOLO 目标检测模型基于前期分析，本文提出了 FEID-YOLO 红外目标检测模型，主要由 3 部分组成:输入端、特征提取网络和目标预测网络，其结构如图 2所示。输入端利用多尺度训练和数据增强技术提高网络训练效率;特征提取网络完成不同层次的特征提取;目标预测网络首先对特征进行融合，而后输入 YOLO 检测层完成目标分类和定位。图 2FEID-YOLO 目标检测网络Fig2FEID-YOLO object detection network21输入端设置输入图像的尺寸对检测模型的精度影响相当明显，而多尺度训练是提升检测精度最有效的方法之一9。在特征提取网络中，随着网络层的加深，原始图像往往会被下采样数十倍，导致小尺寸目标在特征图中的响应有限，从而不易被检测器捕获。在训练过程中，通过输入更大、更多尺寸的图像，不仅能够增大小尺寸目标的特征响应，还能够在一定程度上提高检测模型对目标尺度的鲁棒性。因此，在训练阶段 FEID-YOLO 每迭代 10 轮，即从 384，416，448，480，512，544，576，608 中随机选择一个新的数值作为下个 10 轮的图像输入尺寸。为了提升检测模型的泛化能力，在训练阶段FEID-YOLO 还引入了 Mosaic10 和 PuzzleMix11 两种数据增强技术。Mosaic 数据增强通过随机缩放、随机裁剪和随机排布的方式将 4 幅图像拼接成一幅图像作为新的训练数据，不仅丰富了图像背景，并且变相提高了训练过程中的批量大小(Bach_size)，节省了计算资源，整个过程如图 3 所示。PuzzleMix 数据增强首先随机选择 2 幅图像并计算显著性区域，通过裁剪出其中一幅图像的显著性区域并将其与另一幅图像按比例相加混合，再经精细优化后构建出新的训练数据，整个过程如图 4 所示。由于 PuzzleMix 加入了显著性分析，因此避免了裁剪块来源于原始图像的非重要区域或者目标