基于ST-YOLOv5算法的道路交通信号灯检测.pdf

第 卷 第 期 重庆科技学院学报(自然科学版)年 月基于 算法的道路交通信号灯检测雷 亮 秦兰瑶 张文萍 和圆圆 梁明辉 尹衍伟 陈 毅(重庆科技学院 智能与技术工程学院 重庆)收稿日期:基金项目:年重庆市属本科高校与中科院所属院所合作项目“工业互联网内生产安全关键技术研究与协同创新”()作者简介:雷亮()男博士教授硕士研究生导师研究方向为图像处理通信作者:秦兰瑶()女在读硕士研究生研究方向为图像处理摘要:针对 算法在检测交通信号灯过程中存在的误检、漏检及模型特征提取能力不足等问题提出改进的交通信号灯检测算法 首先去除主干网络末端的卷积层并在末端加入基于窗口和移动窗口的多头注意力机制其次设计由高分辨率、低水平特征图组成的检测层最后通过增加浅层高分辨率特征与深层强语义特征之间的跨层级连接来缓解由于通道数减少而造成的小目标信息丢失问题并在多层特征聚合后加入有关通道和位置的注意力机制 实验结果表明在 数据集中此改进算法对交通信号灯的检测精度达到.有效减少了误检、漏检等问题关键词:计算机视觉 交通灯检测 注意力机制 数据集中图分类号:文献标识码:文章编号:()前 言交通信号灯检测是辅助驾驶系统和自动驾驶系统的核心基础在无人驾驶系统、自动驾驶系统的决策模块中具有重要作用 国内外学者针对交通信号灯检测进行了大量研究 等人通过 来确定红绿灯候选区域应用 变换对交通信号灯进行检测 等人在传统方法的基础上引入了背景抑制法 这些传统的检测算法更关注交通信号灯的颜色、形状特征检测结果易受光照和天气影响难以圆满完成检测任务随着计算机视觉技术的发展基于深度学习的目标检测算法被大量应用于各类检测任务 基于深度学习的目标检测方法主要包括二阶段目标检测算法和一阶段目标检测算法:二阶段目标检测算法以 、等为代表 一阶段检测算法以、等为代表 二阶段目标检测算法首先需要生成建议候选框然后再回归到最终的目标区域 一阶段目标检测算法仅通过单独的端到端网络就能实现原始图像的输入及物体位置和类别的输出 一阶段目标检测算法的网络速度明显高于二阶段算法在交通信号灯检测任务中算法需要满足实时性因此一般采用一阶段目标检测算法 等人采用 算法进行交通信号灯检测该算法的检测速度和稳定性较 有所提升但其对物体位置的识别精度较低 等人采用 算法进行交通信号灯检测但该算法识别精度较低 孙迎春等人提出采用优化的 算法进行交通信号灯的检测将原 算法的检测层减少到 层以提高算法检测小目标的能力同时减少特征信息的丢失实验结果表明在 数据集中该算法的检测速度可达 帧现有研究大都将某种算法直接应用于交通信号灯检测任务中 但在实际应用中行驶中的车辆采雷亮等:基于 算法的道路交通信号灯检测集到的交通信号灯图像具有多尺度、轮廓模糊等特点且目标易发生变形从而导致网络提取其外形特征的难度加大 此外交通信号灯图像背景复杂存在的小目标较多车尾灯与红灯的颜色和形状相似这种通用的目标检测算法易出现漏检和误检等情况文献提出通过卷积来提升 中主干网络的特征提取能力在特征融合部分增加浅层特征层与深层特征层的跨层级连接改进后 的检测精度得到了一定程度的提升 在交通信号灯图像中交通信号灯属于小目标只占据图像的一小部分直接从细粒度局部区域获得的信息非常有限普通的检测头只适用于大目标的检测并不适用于交通信号灯这种小目标的检测本次研究将从以下几个方面对 算法进行改进:)用可移动窗口注意力()、窗口注意力()代替主干网络末端的 层(卷积层)以提升算法提取小目标的能力)结合交通信号灯图像的特点建立高分辨率、低水平的小目标检测头以提升网络定位小目标的能力)增加浅层特征层与深层特征层的跨层级连接充分利用图像中提取的所有特征且在各级特征融合后增加一种注意力机制合理分配特征信息的重要程度 改进的 算法 算法包括、和 等 部分输入端采用 增强数据集该算法对硬件设备的要求低 首先主干网络利用 对输入的图像进行特征提取然后 部分通过 对特征进行融合最后通过模型输出预测结果根据深度和宽度的不同 可分为、和 是 系列中最小的型号内存大小为.更适合部署在车载移动硬件平台 本次研究对 的结构进行改进和调整改进后的算法定义为 其网络结构如图 所示图 算法的网络结构雷亮等:基于 算法的道路交通信号灯检测.自注意力主干网络的改进道路场景下的交通信号灯图像背景复杂、目标较小存在较多干扰因素 对于背景复杂的目标检测算法提取的上下文信息存在大量的干扰信息因此需要过滤掉这些噪声将注意力放到更多有用的目标上 中主干网络的最后一层以卷积作为提取特征的基本单元卷积将局部感受野的权值共享到全局特征图中因此模型只能捕获邻域信息而忽略全局信息 随着 ()的发展出现了许多基于多头注意力机制()的检测模型这些模型在检测、分割、识别任务上表现优异 可对输入图像进行加权、平均等多次操作能关注到图像的全局信息不存在局部权重的问题弥补了 的局部性 一般可以考虑用 模块来代替 的卷积层使主干网络提取到更多的有用特征 但 的计算复杂度较高并不适用于交通信号灯这种密集、高分辨率图像的检测从增强主干网络提取有用特征并减少计算量的角度出发引入基于 的 和 和 不仅具有通用性强、并发处理、超长视野等优点同时具有卷积的平移不变性、层次性等优点 优化后 的结构图如图 所示图 优化后 的结构图 该模块包含 个子层:第 层为窗口多头注意力()第 层为前馈神经网络()第 层为移动窗口多头注意力()第 层为前馈神经网络()为了防止因网络深度加深而导致的梯度消失问题各子层之间利用残差进行连接每个子层前采用 ()每个子层后采用以提高模型的收敛速度且可防止模型出现过拟合的情况用 和 代替 主干网络的卷积层 将提取到的特征限制在每个窗口内单独进行自注意力计算 首先将输入序列划分为多个窗口将每个窗口单独输入到 个不同的子空间中(为 的数量)然后在不同子空间中通过不同的参数矩阵分别对每个像素的查询、键和权重进行线性变换得到多头自注意力权重矩阵 并通过 模块将其拼接在一起最后将拼接结果点乘权重矩阵 得到最终的自注意力权重矩阵 通过多头注意力计算模型能充分利用每个窗口的特征信息使其提取交通信号灯特征的能力得到提升第 个注意力头()缩放点积注意力计算的表达式如式()所示:()()()()式中:()表示第 个参数矩阵()表示归一化的缩放点积模型、分别表示查询、键、权重所对应的矩阵 表示不同特征进行信息交互的过程 表示归一化缩放因子 表示相对位置的编码 自注意力特征的拼接融合表达式如式()所示:()()()式中:()表示多头注意力拼接融合的计算结果()表示点乘运算在 末端输出的特征图为三维而引入的 和 模块只能识别二维序列图因此需要将三维特征图转化为二维序列图 以 的特征图为例将其划分为 个窗口、个 的()其中 雷亮等:基于 算法的道路交通信号灯检测 个图像块因此每个窗口包括 个图像块 表示池化内核的高度 表示池化内核的宽度 首先将每个窗口内的块()在 个通道内进行展开操作最终得到 维度的特征向量然后对向量进行拼接得到 的二维矩阵最后对二维矩阵进行线性变换得到最终的输入结果经过 次操作将 主干网络中的卷积层替换为 与 改进后的网络只需关注更少的干扰信息 在原网络中加入 和 后对其进行注意区域可视化处理得到算法加入自注意力机制前后的热力图(见图)图 算法加入自注意力机制前后的热力图.检测头的改进与多级特征融合原 算法采用 种不同的检测层对大小不同的目标进行检测原网络 模块结构如图 所示图 原网络 模块结构 依次在、倍下进行采样得到浅层表征特征图、通过 网络来融合深层强语义特征 网络自顶向下传达了强语义特征通过 来融合浅层表征信息 自底向上传达强定位特征 最终得到尺度大小分别为 、的 个检测头 在 中 检测头融合了深层强语义特征和浅层高分辨率表征特征适用于小目标和背景较复杂目标的检测 随着 的不断采样 、检测头提取的特征图分辨率逐渐降低甚至出现小目标特征丢失的情况且融合的特征为更浅层特征不适用于检测小目标若要检测出更多的小目标就需要检测头具有更丰富的语义信息和更高的分辨率 基于此本次研究以 为基础新增了强语义、高分辨率的检测头来检测小目标改进后网络的 模块结构如图 所示 首先在原主干网络中增加一个 倍下采样得到浅层特征图 该特征层感受野较小雷亮等:基于 算法的道路交通信号灯检测目标位置信息丰富然后由 网络生成更深层、语义信息更丰富的特征图 最后对特征图 进行融合得到高分辨率和高语义的检测头此检测头具有丰富的语义信息能更准确地检测出小目标图 改进后网络的 模块的结构图 为了提升其他检测头的检测效果提出一种新的特征融合方式 通过跨层级连接来解决因 下采样而导致的小目标特征丢失问题以 到 为例此时 由融合 层特征(和)变成融合 层特征(、和)融合过程如式()所示:()()()式中:()表示上采样操作表示下采样中第 层特征图表示上采样中第 层特征图()表示融合()层后的特征图通过融合更浅层的表征特征和更深层的语义特征得到新的检测头可提升网络识别小目标的能力在原网络基础上融合第一层的浅层特征与最后一层的深层特征采用跨层级连接操作增加最后一层特征图的位置特征降低了因网络层数增加而造成的小目标特征丢失所带来的影响.注意力机制的融合原 采用 来融合浅层表征特征和深层语义特征虽然可通过融合不同层的特征来提高网络检测小目标的能力但这种融合方式只是通过简单的拼接完成采用固定的权重去分配来自不同层的特征而忽略了这些层之间的权重不一致性 这将导致模型检测到其他无用特征从而引起误检等情况 为解决此类问题本次研究在检测头前引入注意力机制模块使模型关注到小目标区域现有的注意力机制网络包括、()等 其中 效果较好因此本次研究选用 对模型进行改进 采用了简单有效的前馈卷积神经网络是轻量级的通用模块不会给网络带来额外压力 注意力机制模块流程如图 所示图 注意力机制模块流程假设给定输入特征图 其中池化内核的 个空间范围()、()分别沿垂直方向和水平方向对每个通道进行编码 同时沿着 个不同的方向聚合特征并编码生成 个特征图:一个特征图保存交通信号灯的语义信息另一个特征图保存交雷亮等:基于 算法的道路交通信号灯检测通信号灯的位置信息 将生成的特征图传入优化后的卷积模块中使模型能够识别之前关注目标所在的区域从而提升模型检测的精度 沿 个方向的聚合输出如式()所示:()()()()()式中:()表示在 通道中高度为 的注意力()表示在 通道中宽度为 的注意力 表示输出特征图的高度 表示输出特征图的宽度 表示通道号在检测头前嵌入 以增加小目标位置特征和语义特征的权重原网络增加 后的 模块结构如图 所示图 原网络增加 后的 模块结构 实验结果分析本次实验配置:为 显卡为内存为 为了验证基于深度学习框架构建的 算法的性能从以下 个方面开展实验:)在 数据集中以 为基础进行特征融合网络的消融实验通过对比确定最佳的特征融合网络结构)在 数据集中进行 的消融实验分析本次改进方法对 性能的影响验证每个改进部分的必要性和可行性)在 数据集中对比多种检测算法测试本次优化算法的检测效果将 作为研究的基础网络可大幅度减少后续消融实验的训练时间提高计算效率 添加 和 后网络参数量为 计算量为.实验参数设置 数据集场景单一训练样本较少 因此本次研究选择 数据集对网络进行训练并在该数据集上进行消融实验以测试改进方法的有效性 数据集具有数据量大、数据属性多(运动模糊、眩光目标、路灯和车尾灯等情况)等优点能充分测试出网络的泛化能力网络训练参数设置如下:批量大小为 最大迭代次数为 图片输入尺寸为 采用余弦退火策略动态调整网络训练的学习率初始学习率为.评估指标在目标领域常用 作为模型的评估指标 表示 值为.时的平均准确率计算公式雷亮等:基于 算法的道路交通信号灯检测如式()式()所示:()()()式中:表示 表示精度 表示召回率召回率越高网络性能越好 表示 曲线中的点共 个点表示 曲线中点 处的精度表示真正例数表示假正例数表示真反例数表示假反例数.消融实验以 为基础对比不同特征融合网络的检测效果不同特征融合网络