基于无人机的轻量化小目标检测网络_丛玉华.pdf

第 卷 第 期 年 月弹 箭 与 制 导 学 报 ，.：收稿日期：基金项目：国家自然科学基金（）；中国博士后科学基金（）；深圳市中央引导地方科技发展专项资金（）；江苏高校哲学社会科学研究项目（）；南京理工大学紫金学院校级科研项目（）资助作者简介：丛玉华（），女，山东烟台人，讲师，博士研究生，研究方向：无人机集群规划与控制。基于无人机的轻量化小目标检测网络丛玉华，何 啸，邢长达，成旭明，唐 鑫，王志胜，欧阳权（南京航空航天大学自动化学院，南京；南京理工大学紫金学院，南京；南京航空航天大学深圳研究院，广东 深圳）摘 要：在无人机端进行目标检测时，存在机载嵌入式设备算力有限、目标较小、背景复杂、图像分辨率低的问题。为此，目标检测网络采用 体系框架进行轻量化和提升精度的改进。主干特征提取网络部分融合 模块，特征加强网络部分引入注意力机制，特征输出部分采用解耦头结构。通过对比测试验证了改进的算法具备实时性和高精度，适合无人机端的应用。关键词：无人机；轻量化；注意力机制；小目标检测中图分类号：文献标志码：，（，；，；，）：，：；引言无人机通过计算机视觉技术进行目标检测时，因搭载的嵌入式设备性能受限，加上航拍图像目标一般相对较小、背景复杂、图像分辨率低，因此，在机载嵌入式设备上如何保证检测速度和检测精度是无人机端进行目标检测的研究重点。一阶目标检测算法在无人机上应用能达到实时性要求，其中 是经典的一阶算法，在 年提出了 算法，选用更深的网络，使得算法具有了更高的检测效率和准确率。后续的 版本都是在 基础上对不同侧面的改进，因此基于 网络框架针对实时性和高精度的要求进行改进。卷积神经网络卷积神经网络（，）由多个神经元连接而成，神经元承担着信息传递的任务，能够有效接收其感受野发送的信号，主要由卷积层、归一层、激活层、池化层及全连接层组成。）卷积层卷积层用于提取图像的特征，其中的卷积核通过在输入数据上不断进行运算得到更深的特征图。特征层矩阵各个点的计算公式为：，（）式中：（，）；表示特征层矩阵中单个点的值；表示当前层级；和 表示在卷积核及对应感受第 期丛玉华等：基于无人机的轻量化小目标检测网络野中对应的位置坐标；表示感受野对应的原图区域；表示卷积核；表示偏置。）归一层使用归一化对每一层的数据进行处理，将输入从激活函数的饱和区变到非饱和区，能够解决梯度消失的问题；在反向传播的过程中，因为数据均值都在 附近，解决了梯度爆炸的问题。归一层放在卷积层之后、激活层之前，将每一层的数据分布全部转换在均值为、方差为 的状态下，其过程如式（）式（）所示，使得网络更加容易收敛，加快网络的收敛速度。（）（）（）（）式中：表示数据数量；表示第 个数据；表示数据均值；表示方差；是一个用于保证数值稳定的量；表示归一化后的结果。）激活层在卷积后一般有一个激活函数来帮助其表达复杂的特征，主要作用是增加 的非线性表达能力。）池化层池化层主要是用来降低输入特征图的宽、高，能够加快推理速度并保留主要特征。最大池化输出特定区域内的最大值，平均池化输出特定区域内的平均值。）全连接层全连接层在 中能够通过卷积层提取到的不同细节特征的组合来分类，并且在很大程度上能降低特征位置的偏移对分类所造成的影响。目标检测网络 系列网络可以一次性预测多个目标的位置和类别，能够实现端到端的目标检测，网络框架由主干特征提取网络、特征加强网络和特征输出三个部分组成，下面对 网络框架进行两方面改进：一是对网络结构进行轻量化改进，以提升网络的推理速度；二是在网络结构中引入注意力机制，以提升目标检测的精度，具体改进如下。融合 的主干特征提取网络 主干特征提取网络 跨阶段局部网络（，）主要有 项功能：增强 的学习能力；消除计算的瓶颈；减少内存带来的成本。对 在通道上进行了缩减，以提升推理速度。结构组件包括 模块、残差模块及 模块，如图 所示。图 结构图）模块 模块结构由卷积（）、批标准化（）及激活函数（）个部分组成，激活函数 可表示为：（）（）（）式中：为输入；（）为输出；（）为 函数。）模块 模块结构借鉴了 结构，其主干部分进行一次卷积核大小为 的 模块处理，完成特征整合后，再进行 次的 模块的处理；其分支部分仅进行一次卷积核大小为 的 模块处理完成特征整合；在得到两个部分的处理结果后，将两个部分的结果进行通道上的堆叠，并进行一次卷积核大小为 的 模块处理完成特征整合。模块结构如图 所示。图 模块结构图）模块 模块即残差网络（，）中的残差块，是使用跳跃式连接的，这种结构能够帮助 解决因使用过多卷积层所带来的梯度消失等问题。残差网络比较容易优化，可以通过增加网络深度来提高其检测精度。该结构主干部分进行一次卷积核大小为 的 模块进行特征整合，再对其进行一次卷积核大小为 的 模块处理完成特征提取；残差边不做任何处理，直接将输入与主干部分的输出进行结合。模块结构如图 所示。图 模块结构 融合 的）模块（）模块借鉴了空间金弹 箭 与 制 导 学 报第 卷字塔池化的思想，对输入特征尺寸大小没有限制，并且可以输出一个固定大小的特征图，使其能够有效帮助网络得到更宽的感受野。模块首先对输入进行一次卷积核大小为 的 模块处理完成，特征整合；再通过 种尺度的卷积核对特征整合后的结果进行最大池化处理，将 次处理结果与特征整合结果相堆叠，对堆叠结果再进行一次卷积核大小为 的 模块处理实现特征整合。以此融合多尺度特征提升特征提取能力。模块结构如图 所示。图 模块结构图 ）模块 模块与 模块略有不同，其将主干部分进行的 次 模块的处理替换为 次 模块（一次卷积核大小为 的 模块处理进行特征整合及一次卷积核大小为 的 模块处理完成特征提取），有效减少网络的计算量，提升检测速度。模块结构如图 所示。图 模块结构图）融合 后的主干网络 模块结合 模块后引入主干特征提取网络，具体结构如图 所示。图 融合 后的主干网络图 引入注意力机制的特征加强网络 加权双向特征金字塔网络加权双向特征金字塔网络（，）是基于路径聚合网络（，）的思想并做了一定的改进。相较于 结构 删除了只有单个输入的节点，剔除了网络中的一些冗余计算；在同一尺寸的特征图上增加了跳跃连接，使特征融合时能够获得更多的特征；对于特征融合部分，选择引用权重对特征进行加权融合；对于权值归一化的方式采用了精度与 相近但速度比其快 的归一化方法，其公式为 （）式中：表示输出特征；表示输入特征；表示一个可学习的权值，需通过 来确保；是一个用于保证数值稳定的量，通常设置为 。结构如图 所示。当输入特征层为，时，以 层为例，其两次特征融合的计算过程如式（）及式（）。（）|（）（）|（）式中：表示卷积操作；，表示各层对应的权重（图 结构图，；，）；表示网络中“自顶而下”的 层中间层级；表示网络中“自底而上”的 层的输出层；表示对特征层尺度进行修改（上采样或下采样）。引入注意力机制在目标检测任务中，模型对于各个目标物体特征的关注点和关注程度是不同的。如果模型对所有特征图的关注程度都一致，则会影响到模型的收敛速率，因此对模型来说怎么快速且有效的提取重要特征是非常重要的。基于卷积块的注意力机制（，）是个轻量的注意力模块，其计算量很小，能够有效地让网络从通道及空间两个角度学习到一个权重，选择性地增强网络通道及空间中的部分特征。结构如图 所示，其包含两部分：（）及（）。第 期丛玉华等：基于无人机的轻量化小目标检测网络图 结构图 模块引入到特征加强网络的两类位置：一是主干特征提取网络与特征加强网络的衔接部分，作为特征加强网络的输入；二是特征加强网络中上采样和下采样之后均引入 模块。采用解耦头结构的特征输出解耦头结构将分类及回归看作两个任务，通过 得到分类结果，通过对边框进行预测回归得到边框位置。解耦头结构考虑到分类和定位对于特征的关注点不同，分类任务主要考虑的是每一个样本的差异，而回归任务考虑更多的是图像边界信息，因此解耦头结构可以提升检测的精度。但是解耦头通过两个分支分别处理两个任务，其中的计算量也会随之提升，因此须在送入解耦头之前首先通过一个卷积核大小为 的卷积来进行通道缩减，以此来实现一个轻量的解耦头，其结构如图 所示。图 解耦头结构图 整体网络架构将 节的改进融合后，最终目标检测网络称为，结构如图 所示。图 中主干特征提取网络部分增加了 结构；主干特征提取网络和特征加强网络衔接部分以及特征加强网络的上采样和下采样后皆增加了 注意力模块，特征加强网络部分还增加了 模块；特征输出部分采用改进后的解耦头结构。图 结构图 实验结果与分析 数据集采用 航拍数据集及部分自建数据集进行模型训练。数据集中有 张静态图像，自建数据集有 张静态图像，数据集中的训练类别包含行人、自行车、汽车等共 个类别。数据集划分为 张训练图像、张验证图像及 张测试图像。图像采集自不同类型的相机、不同城市、不同的日照条件及不同的高度，单张图像中往往包含多种目标信息、检测目标较小且目标易受到遮挡。评估指标）在目标检测任务中通常使用（弹 箭 与 制 导 学 报第 卷）对选框的精度进行评估，计算公式为：（）式中：表示真实框的面积；为预测框的面积。）和（）用来评估模型性能，是计算某类目标在不同召回率的情况下准确率的平均值，计算公式为：（）（）式中：为召回率；（）为召回率取 时的准确率。进一步，可以得到所有类别的平均，即（），其表达式为：（）（）式中：（）为类别序号取 时对应的精度均值；为类别数。指的就是 阈值为 时的 值，文中实验所有的 都为 阈值取.时的值。实验设置网络训练阶段的参数设置如表。表 训练参数参数名称参数值描述模型训练批次 每次训练的样本数 模型输入尺度的大小 优化器种类 初始学习率 最小学习率 学习率动量 权值衰减系数 学习率下降的方式 实验结果及分析）目标检测实验 模型与部分现有模型对比数据如表。表 对比数据模型名称推理速度 由表 可知，改进后的 网络比 在仅增加 推理速度的情况下 提升了 ；相较于 网络，网络在增加了 推理速度的情况下 提升了；相较于 网络，网络在增加了仅 推理速度的基础上 提升了；相较于推理速度最 快 的 网 络，网络在增加了 推理速度的情况下 提升了。，各个类的 值如图 图 所示。图 各个类的 值（）图 各个类的 值（）图 各个类的 值（）第 期丛玉华等：基于无人机的轻量化小目标检测网络图 各个类的 值（）图 各个类的 值（）实验可视化结果图 为目标相对较大且分散的场景，对相对较小的目标检测效果较差，则能够准确地检测出图像中的多个目标并正确分类。图 简单场景下检测效果对比图 为复杂场景下目标相对较小且密集的场景，对于图像中间密集且部分受到遮挡的目标无法完成检测，而 对应的检测率则较高，且对于多个受遮挡的目标也能够正确地完成检测。图 复杂场景下检测效果对比图 为夜景下目标相对较小且密集的场景，对于图像上方及右下角的目标无法进行检测，而 的检出率明显较高。图 夜间检测效果对比弹 箭 与 制 导 学 报第 卷 总结针对无人机航拍图像检测任务中嵌入式设备性能偏低、检测目标小且密集的特点，提出一种轻量级的小目标检测网络。通过在无人机航拍数据集 上进行训练及测试验证了该算法的实时性和高精度。后续将增加数据集，提高网络的泛化能力；使用 开发部署，通过 加速提升网络推理速度。参考文献：，：，陈灏然 基于卷积神经网络的小目标检测算法研究 无锡：江南大学，石鑫鑫 改进的卷积神经网络算法在农作物病害检测中的应用 长春：长春工业大学，：（）：，：，：，：，：，（）：，：（）：，：，：，：，：，：，（）：，（）：王志胜：南京航空航天大学自动化学院教授，博士生导师。曾在南京航空航天大学控制科学与工程博士后流动站、国防科技大学机械工程博士后流动站工作，以及在 大学多孔材料研究中心学术访问。主要研究方向为无人机蜂群控制、智能机器人技术、智能感知与信息融合、强化学习、计算机视觉及图像处理等。发表学术论文 余篇；申请国家发明专利和实用新型专利 项，授权发明专利 项；出版专著 部，教材 部。曾获中国航空工业总公司科技进步奖一等奖、国防科学技术