基于深度学习的交通标志识别_辛靖宇.pdf

基于深度学习的交通标志识别 北京汽车2023.No.2 35 北北 京京 汽汽 车车 文章编号：1002-4581（2023）02-0035-04 基于深度学习的交通标志识别 辛靖宇，徐伟昊，赵子亮，郭 斌，朱庆林 Xin Jingyu，Xu Weihao，Zhao Ziliang，Guo bin，Zhu Qinglin（山东科技大学 交通学院，山东 青岛 266590）摘 要：图像识别技术是无人驾驶实现的关键，交通标志识别是图象识别的重要研究方向。选用 MATLAB 的AlexNet 深度神经网络模型，通过迁移学习对交通路标数据集进行训练，将训练结果与传统的局部二值模式和方向梯度直方图进行对比，得到 AlexNet 模型的交通路标识别准确度为 98.79%，后两者分别为 86.3%、97.6%，AlexNet 模型更优。关键词：图像识别；深度学习；机器学习；深度神经网络模型 中图分类号：U463.67+4 文献标志码：A DOI：10.14175/j.issn.1002-4581.2023.02.009 0 引 言 交通道路标志识别在辅助驾驶和无人驾驶技术中发挥着重要作用。无人驾驶仍须遵守交通法规，而交通标志是交通法规的直接体现，如何准确快速地识别交通标志对于提高无人驾驶的安全性和合法性具有重要作用。交通标志的图像识别本质上是一种分类问题，当前所用的传统方法主要有最近领域法、决策树分类法、人工神经网络、支持向量机1-3，每种方法各具优势，但各自缺点也明显。最近邻域法花费时间较长、实时性差；决策树分类法识别速度快，但误识率相对较高；人工神经网络的抗干扰能力差、结果不稳定；支持向量机所提取的图像特征点较多，准确率较高，但识别时间长、速度慢4-6。本文在上述方法的基础上，考虑现实应用场景中对于交通标志图像识别准确率和识别速率的要求，提出基于深度学习算法的交通标志图像智能识别方法，在常规深度学习的识别模型基础上进行迁移学习，并分别与传统机器学习的局部二值模式和方向梯度直方图特征提取算法进行仿真对照测试，结果显示所提出的方法在识别准确率、识别速率方面较后两者均有较明显提升，满足图像识别现实场景的应用要求，缩短识别时间，可实现实时识别。1 模型选取 1.1 模型介绍 AlexNet 为 ImageNet 2012 图像识别挑战赛冠军，其网络结构为 8 层：5 层卷积层、2 个全连接隐藏层和 1 个全连接输出层，其使用网络激活函数 ReLU（Rectified Linear Unit，修正线性单元）使神经网络更好地解决复杂的非线性问题，并在池 化 层 之 后 添 加LRN（Local Response Normalization，局部响应归一化层），在隐藏全连接层前加入 Dropout 层，以此提高整个网络的泛化能力7。该模型具有双 GPU（Graphics Processing Unit，图形处理器）并行计算、LRN 标准化层、重叠池化、ReLu 激活函数、Dropout、数据增强等技术特点。综上，本文选用 AlexNet 对数据集进行训练，并与 LBP（Local Binary Patterns，局部二值模式）、HOG（Histogram of Oriented Gradient，方向梯度直方图）进行准确率对比。1.2 迁移学习模型的改进 对 AlexNet 模型进行迁移学习，删除其最后一个全连接层，将其余部分作为数据集的固定特征提取器，保留前 5 个卷积层和相应池化层以及 3基于深度学习的交通标志识别 北京汽车2023.No.2 36 北北 京京 汽汽 车车 个全连接的参数，其他参数采用随机初始化，最后一层为用于分类的 Softmax 层，其原理如图 1所示，利用所提取的特征训练一个分类器实现模型迁移8，其神经元个数为被分类任务数据集的图像类别数量。图 1 Softmax 层工作原理 2 模型训练与对比 2.1 数据选取 我国交通标志数量较多，为符合现实生活场景的识别条件以及满足模型训练对于图像模糊度、光照条件变化的要求，所选用的交通标志数据集为 Chinese Traffic Sign Database，其中共包括6 164 幅交通标志图像和 58 个标志类别，部分图像如图 2 所示。图像分为训练数据库和测试数据库两个子数据库。训练数据库包括 4 170 幅图像，测试数据库包括 1 994 幅图像。从训练数据库和测试数据库中共挑选 2 199 幅图像和 30 个交通标志类别，具体类别及代号见表 1。图 2 交通标志图像选取示例 表 1 交通标志类别及代号 交通标志 代号 交通标志 代号 反向路段 1 T 形交叉 16 机动车行驶 2 停车检查 17 减速慢行 3 停车让行 18 减速让行 4 无人看守的道口 19 禁止超车 5 限速 5 km/h 20 禁止掉头 6 限速 15 km/h 21 禁止驶入 7 限速 30 km/h 22 禁止停车 8 限速 40 km/h 23 禁止右转 9 限速 50 km/h 24 禁止直行 10 限速 60 km/h 25 禁止直行左转 11 限速 70 km/h 26 禁止左右转弯 12 限速 80 km/h 27 禁止左转 13 有人看守的道口 28 连续弯路 14 注意村庄 29 施工路段 15 注意跟车距离 30 2.2 基于迁移学习的 AlexNet 模型 模型训练时采用分批输入方式，每次输入 10幅交通标志图像。训练模型的参数设置采用SGDM（Stochastic Gradient Descent with Momentum，动量随机梯度下降）优化器，初始学习效率为 0.000 1，进行 3 轮学习，每轮迭代 219 次，共计迭代 657次，同时每进行两次迭代后进行一次验证，并将每一次的测试数据作为下次的训练数据。AlexNet 模型识别交通标志的迭代准确率曲线如图 3 所示，曲线在迭代 070 次处斜率最大，即准确率增长最快；曲线在迭代 70180 次处斜率逐渐减小，模型准确率缓慢上升；曲线在迭代180 次后出现波动变化，最终迭代准确率为98.79%。图 3 准确率-迭代次数曲线 AlexNet 模型的识别损失率趋势线如图 4 所示，总体为减小趋势，并且随着迭代次数增加趋基于深度学习的交通标志识别 北京汽车2023.No.2 37 北北 京京 汽汽 车车 于收敛。在迭代 070 次处损失曲线下降速度最快，后续迭代中，下降速度有所减缓，损失率最终收敛于 1.21%。图 4 损失率-迭代次数曲线 通过迁移学习对 AlexNet 模型自带的物体识别类型进行改进，将原来识别 1 000 种物体改进为识别上文所述 30 种交通标志。改进后对于交通标志识别的准确率为 98.79%，损失率只有 1.21%，模型计算速度也有提升，用时 17 min 完成了 3 轮周期共计 657 次迭代。2.3 LBP LBP 是一种针对灰度图像进行局部纹理特征提取的描述算子，以 n n 窗口或圆形窗口的中心像素为阈值，与窗口范围中的其他部分进行比较得出特征值，原理如图 5 所示，在半径为 1、2 的圆型区域中分别分布 8 个、12 个采样点。由于 LBP 算子具有旋转不变性，所以 LBP 模型具有旋转不变性和灰度不变性，另外，LBP 算法计算速度较快，所需的灰度值可以通过在图 5窗口的小邻域内进行比较得到，使得在复杂的实时条件下分析图像成为可能9。由于 LBP 算子具有灰度不变性，则将图像旋转后，再进行灰度化处理，发现无论正方形区域还是圆形区域，采用LBP 算子采集周围区域数值，之后进行旋转，将最小值作为最终结果，其与旋转照片所得结果相同，所以 LBP 对于方向并不敏感。所采用的灰度图对光照有一定要求，若光照不均匀则不能正确反映图像特征。（a）半径为 1 的区域（b）半径为 2 的区域（c）半径为 2 的区域 中分布 8 个采样点 中分布 8 个采样点 中分布 12 个采样点 图 5 LBP 原理 LBP 算法关于 KNN(K-Nearest Neighbor，最邻近分类)模型对给出的 2 199 张交通标志的识别正确率为 86.3%，此过程平均用时 43 min。由图6（a）ROC（Receiver Operating Characteristic Curve，接收者操作特性曲线）可知，当前 KNN 模型的假正率为 0%，真正率为 70%；由图 6（b）混淆矩阵可知，正确率 100%的类别有 12、17、20、29、30。注：AUC（Area Under the Curve，ROC 曲线下面积）。（a）LBP 算法的 ROC 曲线 （b）LBP 算法的混淆矩阵 图 6 基于 LBP 的 KNN 模型训练结果 2.4 HOG HOG 也是对于局部纹理特征提取的算法，首先将图像进行灰度化处理，并将周围划分为区域像素进行梯度数值求解，得到局部归一化的梯度方向直方图，并据此构成特征10。HOG 将统计得到的图像局部区域的梯度方向信息作为该局部图像区域的表征。基于深度学习的交通标志识别 北京汽车2023.No.2 38 北北 京京 汽汽 车车 如图7 所示，Block 为检测目标画面中的一个滑框；Cell 为Block 的下级，是用于分割画面的窗口，且不可移动；HOG Bins 表示直方图区间。将整个图片划分为若干 Cell，避免因有效值稀疏而带来运算量大和受噪声干扰的问题。另一方面，HOG 在计算梯度前会对图像进行归一化处理，其对于图像的几何、光学形变均具有较为优秀的不变性。图 7 HOG 原理 （a）HOG 算法的 ROC 曲线 （b）HOG 算法的混淆矩阵 图 8 基于 HOG 的 KNN 模型训练结果 但由于 HOG 所采集的特征维度较多，所以采集的数据量大，数据处理难度较大，运算速度较慢、实时性较差，通常与降维方法搭配使用；另一方面，HOG 难以处理遮挡问题，并且当人体动作或物体方向改变幅度过大时也不易检测出来。HOG算法关于KNN模型对给出的2 199张交通标志的识别正确率为 97.6%，此过程平均用时20 min。由图 8（a）ROC 可知，当前 KNN 模型的假正率为 0%，真正率为 96%；由图 8（b）混淆矩阵可知，正确率 100%的类别有 3、7、8、9、11、12、13、14、17、19、20、24、26、30。HOG对交通标志识别的正确率较 LBP 有明显提高。通过以上对比分析可以发现，改进的 AlexNet模型相较 HOG 算法与 LBP 算法的 KNN 模型，不论在交通标志识别准确率方面还是交通标志识别效率方面均有提升，深度学习模型 AlexNet 相比LBP 及 HOG 机器学习算法具有较大优势。3 结束语 随着深度学习模型的不断发展，在今后交通标志识别相关研究中，可以重点关注模型轻量化和便捷性，进一步提高模型识别的精度和速度，增强识别的稳定性。参考文献 1董娜，刘欣宇，吴爱国.基于人工蜂群的新型圆形交通标志识别算法J.天津大学学报（自然科学与工程技术版），2019，52（6）：585-593.2张兴国，刘晓磊，李靖.BP 神经网络下的限速交通标志实时检测识别J.西安电子科技大学学报，2018，45（5）：136-142.3甘露，田丽华，李晨.基于融合特征和 BP 网络的交通标志识别方法J.计算机工程与设计，2017，38（10）：2783-2787，2813.4徐岩，王权威，韦镇余.一种融合加权 ELM 和 AdaBoost 的交通标志识别算法J.小型微型计算机系统，2017，38（9）：2028-2032.5刘亚辰，陈跃鹏，张赛硕.融合式空间塔式算子和 HIK-SVM的交通标志识别研究J.交通运输系统工程与信息，2017，17（1）：220-226.6李春祥，张浩怡.基于混合多变量经验模态分解和极限学习机的非平稳过程预测J.上海交通大学学报，2020，54（4）：376-386.7李钦岩，孙鹏，韩虹.基于改进的 AlexNet 的车辆颜色识别J.警察技术，2021