基于Darknet23和特征融合的交通标志检测方法_杜婷婷.pdf

www.ChinaAET.comArtificial Intelligence人工智能基于 Darknet23 和特征融合的交通标志检测方法*杜婷婷，钟国韵，江金懋，任维民（东华理工大学 信息工程学院，江西 南昌 330013）摘 要：道路交通标志检测是智能交通的重要环节之一，针对交通标志检测存在背景复杂、目标较小、检测速度慢等问题，选取工业界青睐的 YOLOv3 模型提出一种改进的检测方法。利用双向特征金字塔结构实现图像低、中、高层特征语意信息的双向融合，提升低层预测目标的分类和高层预测目标的定位能力；将原模型的主干特征提取网络进行改进，提出 Darknet23 网络，以提高网络的提取能力和减少计算量；根据目标形状的特点，使用 K-means 聚类算法得到用于训练合适的锚点框，并在边框回归中引入灵活性更强的L-CIOU损失函数，使网络朝着预测框与真实框重叠度较高的方向去优化。实验结果表明，该方法在 CCTSDB 数据集上 mAP0.75 达到 86.10%、mAP0.5：0.05：0.95 达到 70.017%，相比原网络分别提升 10.17和 5.656，参数量减少 3 622 091，速度提升 8.27 f/s，且优于 SSD 和 Faster RCNN 等主流的检测网络。关键词：交通标志检测；双向特征金字塔；Darknet23 网络；K-means 聚类；损失函数中图分类号：TP391 文献标志码：A DOI:10.16157/j.issn.0258-7998.222900中文引用格式：杜婷婷，钟国韵，江金懋，等.基于 Darknet23 和特征融合的交通标志检测方法J.电子技术应用，2023，49(1)：14-19.英文引用格式：Du Tingting，Zhong Guoyun，Jiang Jinmao，et al.Traffic sign s detection method based on Darknet23 and feature fusionJ.Application of Electronic Technique，2023，49(1)：14-19.Traffic sign s detection method based on Darknet23 and feature fusionDu Tingting，Zhong Guoyun，Jiang Jinmao，Ren Weimin(School of Information Engineering，East China University of Technology，Nanchang 330013，China)Abstract：Road traffic signs detection is one of the important links of intelligent transportation.A detection method based on the improved YOLOv3 model by the industry is proposed for the problems of complex background,small targets and slow detection speed in traffic sign detection.The method used a bidirectional feature pyramid structure to achieve bidirectional fusion of semantic information of low,middle and high level features of images to improve the classification of low-level prediction targets and the localization of high-level prediction targets.The main feature extraction network of the original model is improved,and the Darknet23 network is proposed to improve the extraction ability of the network and reduce the computational burden.According to the characteristics of the target shape,the K-means clustering algorithm for training the appropriate anchor frames and a more flexible L-CIOU loss function is introduced into the bounding box regression to make the network optimize towards a higher degree of overlap between the prediction boxes and the ground-truth boxes.The experimental results show that the method reaches 86.10%mAP0.75 and 70.017%mAP0.5:0.05:0.95 on the CCTSDB dataset,which are 10.17%and 5.656%higher than the original network,the number of parameters is reduced by 3 622 091 and the speed is improved 8.27 f/s,which is better than mainstream detection networks such as SSD and Faster RCNN.Key words：traffic sign s detection；bidirectional feature pyramid；Darknet23 network；K-means clustering；loss function0 引言随着全球汽车数量的逐渐增加，智能交通系统（Intelligent Traffic System，ITS）迎来了新的发展机遇。交通标志检测与识别技术作为在 ITS 中的一种关键技术应用，它可以辅助驾驶员准确、高效地识别道路交通标志，有效减轻驾驶疲劳，从而保障安全驾驶。因此，在真实路况下准确并及时地检测出交通标志，对无人驾驶、高*基金项目：国家自然科学基金项目（62162002）14Artificial Intelligence人工智能电子技术应用 2023年 第49卷 第1期级辅助驾驶系统具有重要的现实意义。而在驾驶过程中,获取的交通标志图像存在背景复杂、目标小和光照天气变化等问题,导致交通标志的误检或漏检。针对上述问题,近年来相关专家学者提出了许多不同的检测方法，主要可以分为两类：传统交通标志检测方法和基于深度学习的交通标志检测方法。传统的检测方法分为基于颜色空间1、基于形状特征2和基于多特征融合3，这 3 类方法往往面临诸如遮挡、褪色和环境等各种因素的影响而造成检测精度下降的问题。在这些方法的基础上，相关研究人员进行了深入的研究和优化，提出了基于深度学习的检测方法，分为基于锚框和不基于锚框两种。目前主流的算法基于锚框的，具体分为两阶段（Two-Stage）和单阶段（One-Stage）两种。前者的典型代表是 Zuo Z4提出的 Faster RCNN 和徐国整5提出的改进 Cascade R-CNN 方法，这类算法首先在特征层上通过区域生成网络（Region Proposal Network，RPN）提取可能存在交通标志的预选框，再用对其进行检测，虽然可以大幅度提高检测精度，但由于计算量过大，检测速度较慢；后者的典型代表有 Redmon J68 提出的YOLO 系列和孙超9提出的改进 SSD 方法，此类方法是直接对输入图像做回归任务，得到目标框的左上角、右下角坐标和类别信息，在输出层上一次性完成预测，虽然检测速快，适合做实时检测任务，但因为中间不需要额外的映衬，在检测精度上会略有欠缺。张建民10等提出 了 融 合 注 意 力 机 制 的 Cascaded R-CNN 算 法，在CCTSDB 数据集上 mAP0.5 达到 99.7%，但模型的平均检测速度仅为 7.6 f/s；鲍敬源11等提出了 Strong Tiny-YOLOv3 算法，虽然在速度上达到 33.78 f/s，但在 mAP0.5 上只有 85.56%。因此，本文提出一种兼检测精度高和速度快的交通标志检测方法。1 YOLOv3 网络Redmon J8提 出 的 YOLOv3 是 单 阶 段 检 测 算 法YOLO 系列的第 3 个版本，其检测精度和速度都有较好的表现，所以一直深受学术界和工业界的青睐。模型由主干特征提取网络、特征利用和预测头部组成。Darknet53 网络作为主干特征提取网络，其本质就是一系列卷积的过程，不断进行下采样，把输入图片的高宽不断压缩，通道数不断扩张。其重要特点是使用多个跳跃连接的残差块 Resblock_body 来减少参数和降低训练的难度。在特征利用方面，模型使用特征金 字 塔（Feature Pyramid Network，FPN）结 构。最 后，将这 3 个增强的特征层传入预测头中，采取分治的思想 进 行 分 类 和 回 归，对 于 大 的 目 标 在 最 高 层（19,19,1 024）检 测，中 等 的 目 标 在 中 间 层（38,38,512）检 测，小的目标在最低层（76,76,256）检测以获得最终的预测结果。2 基 于 Darknet23 和 特 征 融 合 的 交 通 标 志 检 测方法针对交通标志检测上的不足，本文提出一种基于Darknet23 和特征融合的交通标志检测方法，改进后的模型架构如图 1 所示。2.1 Darknet23 网络YOLOv3 主干特征提取网络的一重要特点是残差块中的残差边可有效避免反向传播中出现梯度爆炸的问题，但在进行特征提取时，大量的卷积等操作也会引起特征语意信息的丢失，影响检测的精确度。因此，为了避免这一现象发生和更加快检测速度，本文借鉴 Darknet19 特征提取网络结构小巧和性能强悍的优点，在其基础上通过减少 Darknet53 网络上残差单元数量，提出了 Darknet23 网络，即使整个主干特征提取网 络 只 包 含 8 个 残 差 块 以 及 23 个 卷 积 层（Convolutional，Conv）,称为 Darknet23，如图 2 所示。改进后的特征提取网络 Darknet23 含有 5 组残差网络，每组分别含有1、1、2、2、2 个残差块。2.2 双向金字塔模块在基于卷积神经网络的交通标志方法中，处于最后一层的特征提取网络会因为感受野太大，丢失前面层的高分辨率和小目标，不利于目标识别，但它包含目标的位置信息准确，可以对目标进行精确的定位；而处于特征提取网络高层次的特征语义信息较多，但它包含目标位置信息较为模糊。因此为了更好地适应大小目标均有的实时交通标志检测任务，更好地将低、中、高层的语义信息结合起来，本文将尺度为 1919 的有效特征层拼接 3 次卷积和Purkait P12提出的空间金字塔池化 SPP 模块进行加强特征提取，结构如图 2 所示。并且采用如图 3 所示王林13提出的双向金字塔结构来进一步加强特征，即直接在P3、P4、P5 引入一条自下到上的增强路径，每一层包含了低、中、高层丰富的特征信息和细粒度的信息，并且额外地增强路径也可以减少底层与顶层特征融合信息路图 1改进的方法结构15Artificial Intel