基于YOLOv4的复杂交通状况下多目标检测算法_吕辉.pdf

北大中文核心期刊国外电子测量技术 ：基于 的复杂交通状况下多目标检测算法吕辉董帆（河南理工大学电气学院 焦作 ）摘要：当前复杂交通状况下多目标检测存在检测精度低，检测速度慢，模型参数量大等问题。针对上述问题基于 提出一种能够快速检测并识别多个不同目标的密集神经网络。首先将高效通道注意力机制（）与跨阶段密集连接网络（）结合，组成新的 主干网络，代替传统的残差网络（）。新的主干网络加强了有效通道的特征表达，提高了特征提取层提取特征的能力；其次使用改进的空间金字塔池化与柔性非极大值抑制（），加强对于小目标与被遮挡目标的检测能力。实验结果表明，方法的平均类别精度（）、帧率达到 、，明显高于其他方法。通过与目前主流模型比较，方法在获得较高识别精度的同时，具有参数规模小识别速度快的特点，可以极大的提高交通行驶的安全性。关键词：深度学习；目标检测；密集连接；注意力机制；交通安全；空间金字塔池化中图分类号：文献标识码：国家标准学科分类代码：（，）：，：；收稿日期：基金项目：河南省科技攻关项目（）、河南省高等学校重点科研项目（）、光电传感与智能测控河南省工程实验室项目（）资助引言行车安全对于国家和社会都具有极为重要的意义，利用车载相机进行监控是确保驾驶安全的关键措施之一。随着城市化的普及以及人们出行方式的多样化，城市的交通状况变得十分拥挤且复杂，驾驶者需要花费很大的精力来应对各种交通状况，一旦驾驶者精神不集中或发生突发情况会引发严重的安全事故。为了防止这类情况的发生，利用车载监控图像对车辆附近的不同目标进行准确识别，以尽早给出预警信号是十分必要的。目前对复杂交通状况下的目标检测主要包括传统模式识别方法，和深度学习方法。在传统识别方法中，邵国外电子测量技术北大中文核心期刊宇等提出一种基于视频序列的车辆识别算法，结合方向梯度直方图（，）和支持向量机（，）来对监控中的车辆进行识别，张全发等则在此基础上提出使用 变换直线检测方法提高车辆的检测精度，但这些方法只有在背景单一且检测目标少的条件下才能取得较高的识别率。随着计算机视觉与深度学习理论的发展，极大的提高了卷积神经网络提取特征信息的能力，目前视觉图像检测方面主要分为基于候选区域的双阶段检测法，与基于回归的单阶段法。以 （）为代表的单阶段法不需要提取候选区域，因此检测速度远快于双阶段法。因此在车辆检测等对时间敏感度高的领域，以 为代表的单阶段法被广泛应用。为了提取图中的更多特征，提高网络的鲁棒性与检测精度，韩玉洁等提出将网络结构改为多通道处理的主干网络。董美琳等将 算法与 结合使得主干网络可以提取更多的细节特征。为了降低模型的复杂度，梁继然等提出使用密集连接提取特征信息，并在过渡层使用 ，提高模型检测精度的同时控制了模型的参数量。孟浩等基于全局注意力机制，通过给特征通道附加权重，突出了重要特征并抑制了不必要的特征。针对当前各种算法，在复杂交通状况下进行多目标检测的过程中存在识别准确度低，检测速度慢等问题，本文提出了一种结合高效通道注意力机制（，）与 跨 阶 段 密 集 连 接 网 络（）的 网络，用于提取图像的特征信息；使用改进的空间金字塔池化（，）与柔性非极大抑制（）方法加强模型对于小目标与被遮挡目标的检测能力，使得改进后的网络兼顾了检测的精度与速度。图 结构网络结构 更高效的主干网络）跨阶段密集连接网络大量实验证明当神经网络变得更深和更宽时 其检测的精度会越高，但随着网络规模的增加会极大的增加模型的参数量，使得检测速度变慢。等 在残差结构中引入了基数（）提出了 网络，证明了提高基数比提高网络宽度和深度更加有效。如密集连接网络（）采用了大量的重用特征，因此显著的减少了模型的参数和计算量。将前面所有层的输出特征当作下一层的输入特征，这可以被认为是最大化基数的方法。将提取的特征图进行跨网络层的连接，在信息传递的过程中实现特征的复用，结构如图所示，其中每个 模块包含一 个 密 集 连 接 单 元（）和一个转换层（），在 中前向传递方程为：，（）式中：表示卷积运算；，表示连接；和代 表 的 权 重 和 输 出。因 此 权重更新方程为：（，）（，）（，）（）式中：为第个密集连接单元权重的更新函数；表示反向传播到第个密集连接单元的梯度。由式（）可以看出大量的重复梯度用于更新不同 层，导致了不同层反复学习重复的梯度信息。为了优化梯度流传播减少冗余的梯度信息，本文引入 ，结构如图所示，其每个阶段由部分密集连接单元（）和部分转化层（）组成，在部分转化层中通过通道，将一个阶段中基础层的特征图分为两部分，其中直接连接到阶段的末尾，将通过 层输出。的前向传递方程和权重更新方程为：北大中文核心期刊国外电子测量技术图 结构，（）（，）（，）（，）（）由式（）、（）可以看出，来自 的梯度是单独积分的如所示，且没有通过 的也被单独集成到，因此对于更新权值的梯度信息，两侧不包含属于另一侧的重复梯度信息。因此引入跨阶段连接结构既保留了 重用特征的优点，增加了网络的基数，又通过截断梯度流，防止过多重复的梯度信息影响检测速度。）高效通道注意力机制注意力模块已经广泛应用于大规模的检测任务，它们通过捕获上下文相关性来增强卷积神经网络的性能。挤压和激励网络（）通过输入特征的通道间关系，得到不同通道的权重并附加至原始输入特征之上，达到了根据通道间关系进行特征重标定的目的。卷积块注意力模块（）通过添加最大池化推断更精确的通道注意力，并结合空间注意力模块，形成双流注意力机制。然而现有的方法都致力于开发更复杂的注意模块以获得更好的性能，这不可避免地增加了计算负担。在 中在给定输入特征的情况下，首先对每个通道使用全局平均池化，然后链接两个非线性全连接层，最后使用 函数生成通道权值。其中两个全连接层的作用为，捕捉非线性的跨通道交互和降低特征的通道数。这一策略被 ，等注意力模块所沿用，但 等 通过实验证明，强行降维对通道注意预测有明显的副作用，且捕获所有通道之间的依赖是低效的。为解决上述问题本文引入 ，在不降低特征维度的情况下通过全局平均池化进行特征整合，得到的特征信息，使用 卷积实现跨通道交互，通道交互的覆盖率由卷积核大小决定，通过 函数得到各个通道的权重参数，最后将生成的权重参数与输入特征的特征图相乘，进行权重的分配，相比 与 ，具有更轻量化的结构，结构如图所示。图 结构 小尺度目标与被遮挡目标检测）多尺度特征融合为应对复杂交通状况下，检测目标尺度变化大的问题，本文通过融合不同尺度特征图和不同感受野信息的方法，提高对不同尺度目标检测的精度。何凯明等提出 方法，将任意大小的输入特征集合到固定大小的特征向量中，通过特征的多尺度融合增强了模型对不同尺度目标检测的鲁棒性，结构如图所示。图 结构 通过池化层提取不同尺度的特征信息，大目标在低分辨率下，因为具有全局感受野所以可以有更好的检测效果，小目标在高分辨率下有更多的语义信息因此检测精度更高。国外电子测量技术北大中文核心期刊 模块中不同大小的池化核通过滑动窗口遍历输入特征并输出最大特征点，从而扩大了网络对输入特征的感受野，提高了网络对不同尺度目标的检测能力，但是池化核在遍历输入特征时会丢弃许多细节信息，而被遮挡的目标往往只占有很少的像素，因此被遮挡目标很容易在检测中被忽视。为解决上述问题，本文提出一种改进的空间金字塔池化结构（），将原始的特征信息与经过 模块的特征信息进行拼接，使得改进后的网络既保留了池化核增大的感受野，又保留了原始特征的细节信息。结构如图所示。图 结构图中，借鉴了 结构，因此相比 增加了模型的计算成本，为减少模型的计算量，根据工程经验，将 中并联的大池化核用串联的小池化核代替，以减少模型的计算量。）非极大值抑制（，）算法改进绝大部分目标检测方法，都需要使用 对检测框进行筛 选，删 除 多 余 的 重 复 框 找 到 最 佳 的 目 标 位 置。网络会将网络对目标的检测框与真实框按照重合度进行打分，算法会找到得分最大的检测框，然后计算所有检测框与最大得分框的重叠度，并直接删除与该框重叠度大于阈值的检测框。这就导致了当检测框与置信度最大框的交并比大于设定阈值时，检测框会被直接删除。被遮挡目标在图像中所占像素少、与遮挡框距离近，因此使用 算法会降低被遮挡对象的检测精度。为解决上述问题本文使用 算法代替，算法并不会直接删除得分较低的检测框，而是根据得分递归的结果重新进行评分，当检测对象发生重叠时不会对预测框进行删除，操作表达式如下：，（，）（）（，），（，）（）式中：代表第个检测框的得分；为得分最高的候选框；代表第个检测框；为设定的阈值；为与的交并比。模型构建复杂交通状况下的多目标检测具有复杂的图像特征，在这种情况下目前最先进的目标检测算法 ，对大尺寸和中等尺寸的目标取得了良好的检测效果。但当检测图像有很多对象，或面对小尺寸目标、被遮挡目标时，检测效果并不能达到预期。本文针对多目标、小目标、被遮挡目标，综合考虑算法在移动设备中的部署，提出一种面向复杂交通环境的具有注意力机制的跨阶段密集连接网络，结构如图所示。在网络的训练过程中，为了使主干网络提取更多的特征信息，增加目标检测的精度，往往需要堆叠很多的特征提取层，但是网络深度的增加会使得网络的参数大幅增加，将严重影响网络的检测速度与训练效率。在主干网络提取特征信息的过程中，并不是所有特征都包含待检测目标的特征信息，其中的背景信息对最终的检测结果并没有任何作用甚至产生干扰，为解决上述问题，本文提出的 网络优化了梯度的信息流，减少了主干网络的计算量，同时给不同的通道分配不同的特征权重，抑制了无效的背景信息，增强了检测目标的特征信息表达能力；为了增加网络对于不同尺度目标的检测能力，本文使用改进的特征金字塔池化，既保留了池化核增大的感受野又保留了原始特征的细节特征，本文将 与 方法结合，显著的提高了模型对被遮挡目标的检测能力。改进后的模型，控制了模型的规模加快了检测的速度，更有利于模型在不同平台进行部署。实验与结果分析 实验环境实验平台：为 （）（），内存为，为 。实验环境：操作系统为 ，开发平台为 ，开发语言为 。评价标准本文采用精确率（，）、召回率（，）、平均类别精度（，）、帧率、模型参数量（）来评价模型的性能，其中和为：（）（）北大中文核心期刊国外电子测量技术图本文模型结构式中：表示正确检测出来的目标个数；表示模型错误检测的个数；表示模型判断为负样本的正样本数。实验数据实验选则 作为主要数据来源，自行拍摄行人的数据作为补充，整个数据集包含多种汽车与行人图片，并且包含各种天气情况，保证了数据的多样性，符合真实场景的交通情况。消融实验为了避免训练阶段配置信息不同导致的实验误差，本文均使网络训练 轮，并选取最好的结果作为对比对象，分别验证主干网络 、特征金字塔池化 和 对检测精度的影响。）主干网络 有效性验证为了排除主干网络外其他模块对实验结果产生影响，主干网络提取特征后直接输入到检测层并输出结果，对比网络采用 、，实验结果如表所示。由表可见，主干网络使用 对比主干网络使用 ，在参数规模更大的情况下检测的精度反而更低，由此可见使用密集连接提升网络的基数，可以显著的提高主干网络提取特征信息的能力。既保留了 重用特征的特点，又通过优化梯度流的传播，表不同主干网络检测效果对比方法参数规模 帧率 加快了检测速度；通过通道注意力机制 ，提高了卷积网络提取特征信息的能力，因此减少了特征提取层的堆叠，控制了模型参数量的规模。）与 有效性验证为验证 模块与 方法的有效性，在主干网络 有效性验证实验的基础上进行，将 与 放在主干网络后，方法为使用 模块，方法为使用 模块，默认使用 算法，实验结果如表所示。对比表、可知，使用特征金字塔池化 使得种不同主干网络的模型的检测精度提升了，且检测速度几乎不受影响。使用改进的特征金字塔池化 检测精度提升了，检测速度仅降低了 。通过上述实验证明了 将池化后的多尺度局部区域特征与原始特征合并可以显著的提高检测精度。国外电子测量技术北大中文核心期刊表不同方法检测结果对比主干网络方法方法参数规模 帧率 表为使用 后不同主干网络的检测结