改进回归损失的深度学习单阶段红外飞机检测_曹紫绚.pdf

引用格式：曹紫绚，刘刚，张文波，等 改进回归损失的深度学习单阶段红外飞机检测 电光与控制，（）：（）：改进回归损失的深度学习单阶段红外飞机检测曹紫绚，刘 刚，张文波，刘 森，刘中华（河南科技大学信息工程学院，河南 洛阳）摘 要：针对目标检测定位准确性受边框回归损失函数影响的特性，设计基于（）的边框回归损失函数（）。该损失设计两项优化项，将预测框与标注框并集与交集面积的差与两框最小闭包面积之比及与两框最小闭包面积平方之比的和作为第一项优化项，避免两框包含时损失函数退化；利用两框长宽比值之差作为第二项优化项，生成更接近标注框的预测框。设计的损失应用于单阶段检测算法，在红外飞机数据集上进行验证，达到 ，比原始 提升 。关键词：红外飞机；目标检测；损失；损失中图分类号：文献标志码：（）：（）（）：；引言红外成像技术具有抗干扰能力强、不受天气影响等特点，一经提出便受到广泛关注，对于红外目标检测的研究也愈加迫切。目前，针对红外目标检测的方法主要依赖于对目标特征的精确建模，一旦模型失配，检测性能将下降。深度学习网络具备强大的目标特征学习和表示能力，是解决复杂环境下红外目标检测问题的收稿日期：修回日期：基金项目：航空科学基金（）；河南省高等学校重点科研项目（）；河南省科技攻关科研项目（）作者简介：曹紫绚（），女，河南渑池人，硕士生。通讯作者：刘 刚（），男，湖南临武人，博士后，教授。有效途径。近年来随着深度学习技术的发展，提出了基于候选区域的双阶段检测框架如 系列 及基于回归的单阶段检测框架，如（），等。其中，单阶段检测算法模型结构简单、检测速度快，能够满足大多数场景下检测实时性的要求。目前将基于深度学习的检测算法应用于红外图像，提高红外目标检测性能，已成为目标检测领域研究热点。文献提出单阶段检测算法的不同主要体现在特征提取网络、特征选择与融合、检测器这 方面，其中，检测器是核心部件，直接影响检测结果。已有研究人员通过改进不同分辨率特征层融合、特征提取网络 等方式提升红外目标的检测效果。第 卷 第 期 年 月 电 光 与 控 制 曹紫绚等：改进回归损失的深度学习单阶段红外飞机检测检测器包含定位器与分类器，其中，定位器为检测网络独有部件，框回归损失函数直接影响检测算法定位效果。目前常用 范数（，）损失作为框回归损失优化算法，其中，系列采用 范数又称均方误差（，）损失。但 范数是基于欧氏距离计算边框 个点，未曾考虑 个坐标信息之间的联系。陈铁明等在 基础上对边框中心点坐标损失、边框长宽损失进行加权处理，有效降低红外目标漏检率。又因实际评价边界框定位性能的指标为（），而 范数损失与 并不等价，因此文献提出将 作为边框回归损失函数，将边框 个点的位置信息看作整体进行回归。但当预测框与标注框不相交时，梯度无法回传且 也无法反映两框重叠情况。针对此问题，等提出了广义交并比（，），通过增加非重叠区域惩罚项解决预测框与标注框无相交时梯度消失的问题；张汝榛等基于 利用 损失代替 损失函数，提高红外目标检测精度。但当预测框与标注框互相包含时，损失函数惩罚项失效，退化为 损失。针对以上问题，本文改进边界框回归损失函数，提出（）损失。在 损失函数基础上考虑预测框与标注框非重叠区域的变化，引入优化项解决两框发生包含关系时损失函数的退化问题。再引入两框宽和长比值的差，得到几何形态更接近标注框的预测框。由于单阶段算法检测速度快，满足红外检测实时性的要求，因此将改进损失与单阶段检测算法结合，可用于对红外飞机数据集进行训练和评估。相关工作 目标检测领域中，是评判检测器性能的一项重要指标，为预测框与标注框交集与并集的比值，用 表示。预测框与标注框的重叠程度越高，值越大。损失算式为 （）式中：为预测框；为标注框。但 损失函数只考虑了两框有相交的情况，若预测框与标注框不相交，为，此时无法正确反映两个边界框的远近情况，损失函数无法提供梯度。不仅考虑预测框与标注框之间的重叠区域，还考虑了非重叠区域，损失算式为 （）（）式中：（）代表两框形成的最小闭包减去两框并集余下的非重叠区域；为预测框与标注框形成的最小闭包区域；为预测框；为标注框；“”表示减去。当两框没有相交时，非重叠区域存在，损失函数仍然有效，解决了两框无相交时 损失不提供梯度的问题。但在实际应用中，预测框与标注框的相交方式是多样的。两框相互包含示意图见图。图 两框相互包含 图（）中，为预测框，为标注框，为最小闭包。当 包含 时，两框的非重叠区域变为图 空白区域，此时 （），损失定义的非重叠区域为零，退化为 损失，无法继续优化模型。图（）同理。本文方法本文基于 损失设计两个优化项提升模型检测性能。考虑非重叠区域的变化，引入优化项（）解决预测框与标注框具有包含关系时 损失退化为 损失的问题；同时，为了在回归过程中获得更接近标注框的预测框，引入预测框与标注框的长宽比，作为第 个优化项（），最终 损失为 与 之和，即 。（）考虑非重叠区域的变化，将两框并集减去交集余下的区域定义为非重叠区域。按照最小化非重叠区域面积、最大化相交区域面积的方向优化检测模型。分为两项，第 项利用两框的并集减去交集面积所得的差值，除以两框形成的最小闭包 的面积；第 项利用该差值除以闭包 面积的平方，避免在预测框与标注框具有包含关系时退化为，闭包的平方项削弱了该项在整个损失函数中的比重。便是两项之和，即（）（）（）（）（）（）（）。（）当预测框与标注框正常相交时，重新定义的非重叠 第 期区域存在。如图 所示，当两框包含时，包含框成为两框的并集，同时也是两框的最小闭包，被包含框成为两框的交集，此时 损失变为式（）所示，第 项变为，第 项不为零，避免了两框互相包含时 损失退化问题。当两框互相包含时，重新定义的非重叠区域存在，仍可以区分两框位置关系，不会影响优化过程。进一步考虑预测框与标注框的几何形体相似性，长宽比更接近的边框应当有更低的损失。引入考虑预测框与标注框长宽比的优化项，定义为，算式为（）式中，是用来衡量宽高一致性的参数，即 （）式中：，分别为标注框的宽和长；，分别为预测框的宽和长。假设两框长宽比不一样，由式（）可知 会变大，此时引入 起平衡作用，算式为 （）式中，是 损失优化项的第一项，即（）（）（）在回归过程中通过加入，使得预测框不断变换长宽比，尽可能与标注框一致。实验验证与分析 实验环境配置本文算法实验平台硬件环境为：为 ，主频，内存，显卡。实验模型基于 框架，实验操作系统为。实验分析实验数据一部分通过对红外飞机视频截图得到，另一部分通过对图像进行数据增广操作如旋转、平移等得到，按帧保存共 帧。将红外飞机数据集的随机划分出的数据作为算法的测试集，余下的数据集利用“十”字交叉法，按照 的比例划分出训练集与验证集，轮流将其中 份作为训练集，份作为验证集。红外飞机数据集分为背向姿态（）、侧向姿态（）与后向姿态（）这 种姿态，检测时区分机身（）和尾焰（）。人工标注目标类别为 类，即背向机身（，），背向尾焰（，），侧向机身（，），侧向尾焰（，），后向机身（，），后向尾焰（，），如图 所示。初始学习率为 ，动量为 ，权重衰减设置为。图 红外数据集飞机图像 实验基于红外飞机数据集，对 ，以及在 基础上将 作为边框回归损失函数的 等不同目标检测算法进行对比，检测结果如表 所示。表 不同算法检测性能对比 算法 检测速度（帧）由表 可以看出，在不影响模型检测速度的情况下，相较于 ，的平均精度（）分别提升了，可见本文改进算法能够有效提高目标检测精度，具有可行性。为进一步验证引入重新定义的非重叠区域及长宽比的优化项对于目标检测性能的提升，在 基础上将 损失分别更改为，并分别记作，。将，和 进行对比，检测结果如表 所示。表 不同 检测性能对比 算法 检测速度（帧）由表 分析可得，相较于，这 个检测框架，分第 卷电 光 与 控 制曹紫绚等：改进回归损失的深度学习单阶段红外飞机检测别增长了 ，。基于 算法，不同边界框回归损失函数在红外飞机数据集上各类别的 检测结果如表 所示。表 不同 各类别 检测结果 算法类别 对表 分析可得，相较于，在，上分别有了，的提升；相较于，在，上分别有了，的提升，可以看出整体提升较为明显；相较于，在，上分别有了，的提升，可以看出在 上效果更为显著。图 所示为检测模型预测结果，共检测 个类别，个文件。其中：红色数字为错误检测样本数量；绿色数字为正确检测样本数量。图 预测结果 将图（）、图（）、图（）分别与图（）进行对比，可以看出，模型错误检测样本相较于，模型，整体有了一定程度的降低。消融实验分析为进一步分析本文所提方法对目标检测模型的影响，在 检测算法基础上，将 的边界框回归损失函数分别用，加 损失进行替换，分别记作，。基于红外飞机数据集训练并测试，将，及 进行对比，得到的结果如表 所示。表 各优化项消融实验对比分析 算法注：表示添加相应损失项；表示未添加相应损失项。表中，相较于 的，提升了，提升了 ，结合两项优化项的 损失提升了。由此可看出，本文所提两种优化项对目标检测算法精度均有提升。图 表示在 基础上，不同损失训练曲线对比情况。图 各损失训练曲线 相较于 曲线，训练曲线损失值更低，整体震荡范围更小，收敛速度更快。分析表 与图 可知，增加两项优化项的检测模型 相较于 第 期拥有更高的检测精度及更快的收敛速度。为了更加直观地感受不同模型的检测效果，本文选取若干幅图像进行检测对比，如图 所示。图 模型检测图像对比 图（）为 与 在背向单机时的检测对比，检测准确度比 模型提升了，并且通过引入长宽比优化项，相较于 模型检测可能出现 个框的情况，模型能够更完整、准确地检测出目标；图（）为 与 多机时的检测对比，在有云层遮挡情况下，可识别出 无法识别的机身，检测效果更佳；图（）为后向与背向检测对比，可看出 相较于 检测精度有提升，且加入长宽比优化项的，对于目标能检测得更完整。通过上述分析可以得出 检测时预测框与标注框的重合度更高，预测框回归更加准确。综上所述，本文设计的边框回归损失函数 是一种有效提升检测性能的方案。结束语本文在 的基础上提出了新的边界框回归损失函数。引入重新定义非重叠区域的优化项，避免预测框与标注框发生包含关系时损失函数退化问题出现；同时引入长宽比损失优化项，使得回归过程中预测框更接近标注框。将新定义的回归损失应用于单阶段检测模型，经过实验验证，改进后的检测算法具有更高的检测精度。下一步将结合本文算法思想，考虑预测框与标注框中心点距离，融入不同分辨率特征融合机制，进一步提升目标检测精度。参 考 文 献 ：（）：（）：（）：李俊宏，张萍，王晓玮，等 红外弱小目标检测算法综述 中国图象图形学报，（）：任向阳，王杰，马天磊，等 红外弱小目标检测技术综述 郑州大学学报（理学版），（）：黄攀，杨小冈，卢瑞涛，等 基于 的红外飞机数据增强方法 电光与控制，（）：刘学，李范鸣，刘士建 改进的 红外图像行人检第 卷电 光 与 控 制曹紫绚等：改进回归损失的深度学习单阶段红外飞机检测测算法 电光与控制，（）：，刘俊明，孟卫华 基于深度学习的单阶段目标检测算法研究综述 航空兵器，（）：王芳，李传强，伍博，等 基于多尺度特征融合的红外小目标检测方法 红外技术，（）：苗壮，张湧，陈瑞敏，等 基于关键点的快速红外目标检测方法 光学学报，（）：张凯，王凯迪，杨曦，等 基于 的空中红外目标抗干扰识别算法 航空学报，（）：黄夏阳，张涛，朱秋煜，等 天空背景红外图像序列弱小目标检测算法研究 电子测量技术，（）：李慕锴，张涛，崔文楠 基于 的红外行人小目标检测技术研究 红外技术，（）：何东，陈金令，王熙 基于改进 的红外行人目标检测 中国科技论文，（）：陈皋，王卫华，林丹丹 基于无预训练卷积神经网络的红外车辆目标检测 红外技术，（）：陈铁明，付光远，李诗怡，等 基于 的红外末制导典型目标检测 激光与光电子学进展，（）：张汝榛，张建林，祁小平，等 复杂场景下的红外目标检测 光电工程，（）：（上接第 页）（）：刘金琨 智能控制 北京：北京航空航天大学出版社，李洪兴，苗