基于深度学习的公路货车车型识别_张念.pdf

第 卷第期 年月交 通 运 输 工 程 学 报 收稿日期：基金项目：国家自然科学基金项目（）；山西省回国留学人员科研项目（）作者简介：张念（），男，湖北襄阳人，太原理工大学副教授，工学博士，从事算法优化与工程安全研究。引用格式：张念，张亮基于深度学习的公路货车车型识别交通运输工程学报，（）：，（）：文章编号：（）基于深度学习的公路货车车型识别张念，张亮（太原理工大学 土木工程学院，山西 太原 ；太原科技大学 交通与物流学院，山西 太原 ）摘要：为判断公路货车车型，并提升货车车型识别的速度与精度，提出基于深度学习的方法对公路货车及其轮轴进行精细化目标检测；采用道路监控拍摄和网络爬取的方式获得了 张公路货车侧方图像，建立了货车侧方图像数据集，并采用 理论和加入限制对比度的自适应直方图均衡化（）等视觉增强方法预处理所采集图像中的光照不均图像和夜视图像；通过理论分析和对比试验选取单阶段检测网络 作为公路货车车型识别的目标检测网络，并从调整先验框和模型输入大小以及引入注意力机制个方面优化了检测模型；针对单帧图像可能同时出现多辆货车的情况，采用基于目标位置信息挖掘的算法分析了货车与轮轴的位置信息，提出一种通过轮轴中心点与货车预测框位置信息判定公路货车与轮轴隶属关系的方法。研究结果表明：图像经过预处理可显著增强车辆的特征信息，优化后检测模型的网络性能得到提高，通过对目标位置信息的挖掘与利用可以很好地解决货车车型判定问题；优化后的检测模型实时检测速度可达 帧，对公路货车车型的识别综合准确率达到了 。该方法实现了对公路货车车型的无接触、快速和准确识别，为公路货车车型识别提供了新的手段，符合智慧交通系统的建设需要，可进一步提升道路服务水平。关键词：交通信息工程；公路货车；深度学习；车型识别；注意力机制；图像处理中图分类号：文献标志码：，（，；，）：，（），交通运输工程学报 年 ，：；：（），：（）；（）引言公路货车是人们日常生活中较为常见的运输类交通工具，遍布于城市外围主要交通干道，为整个城市提供货物运输，对人们的生活来说有着极为重要的作用。以往货车收费需要通过检测站称重来进行，往往造成排队拥堵。自 年月日起，全部收费公路统一执行 收费公路车辆通行费车型分类（），采用车辆总轴数作为货车车型分类的第一指标，调整货车通行费计费方式。公路货车收费改为按车轴数收费将有利于实现货车不停车快捷通行，促进物流业提质增效。随着全国货车不停车电子收费（，）系统发行，货车车型的复杂性将给货车 识别带来新挑战。公路货车车型的复杂性在于它的车型是变化的，在车辆主轴确定的情况下，挂载车轴数决定其总车轴数，意味着货车 标签信息写法、车辆识别器的准确度都与过去客车使用的标准不一样，这要求高速公路入口的识别设备有更高的识别率，也是货车 应用的一大难点。目前公路货车车型识别方法有地感线圈检测、超声波检测、激光红外线识别以及动态压电检测法，但其施工复杂，维护成本较高，已无法满足智能交通系统的建设需求。公路货车车型自动识别技术的研究与应用已经成为智能交通领域的重要部分。随着图像处理、深度学习和计算机视觉等技术的发展，其为交管部门在道路运营、应急处置及溯源跟踪等方面提供了较为先进的技术支持和保障，因此，有学者考虑基于数字图像处理方法识别公路货车车型，此方法可利用道路现有摄像资源施工改造，不破坏公路路面、便于维护管理、安装灵活简单，使得其发展空间变得越来越广阔。等提出了一种静态图像下包含复杂场景的目标检测通用框架，此框架不依赖任何先验知识，仅需要对数据集进行简单的预处理即可，但无法适用于运动场景；等选用角点特征作为特征提取方法，利用滑窗思想检测图像，使模型误报率平均下降了 ；等提出利用积分图像提取特征，并采用联级分类器加快特征的分类计算，使得检测速度得以较大提升。之前的特征提取手段仅适用于静态图像，而 针对运动的目标提出利用尺度不变特征来匹配张图片中的特征点，从而实现运动目标的识别，其主要思想是利用图像关键点与梯度信息提取特征点，再比较前后帧图像的特征点信息相似度；等 提出了一种可变性部件模型，利用支持向量机训练模型，在模式识别、统计分析、计算机视觉目标分类挑战赛（年）中获 得 了 冠 军；等 使用方向梯度直 方 图第期张念，等：基于深度学习的公路货车车型识别（，）提 取特征，得到了图像的细粒度特征，并利用细粒度对图像特征进行编码；耿庆田等 等提出了特征融合的检测算法，提取了车辆图像特征，识别了车辆外型；裴月玲等 等利用车牌号信息，并结合大数据技术将车型信息与车牌号绑定，进而实现了车型识别，但公路货车车型的可变性决定其无法采用这种方法。虽然传统的车辆目标检测算法取得了一定成就，但其过于依赖人工特征提取，因此，实际应用中局限较大。基于深度学习的方法 不再需要人工对特征进行提取，从而解决了传统模型可移植性差、无法量化、特征漏提等问题。黎哲明等 采用卷积神经网络从不同角度提取车辆信息，将提取到的信息（包含车型、车牌号等）进行数据关联，识别出每辆车的型号与品牌；袁公萍等 利用深度卷积神经网络自动完成了车型的深度特征学习，在特征图上进行了逻辑回归，从道路复杂背景中提取出感兴趣区域，并利用 分类器训练特征，实现了车型识别；陈立潮等 等使用梯度统计特征提取梯度信息，构建了方向梯度直方图特征图，通过胶囊网络对提取的抽象特征进行三维空间特征表达的胶囊封装，使用动态路由算法实现了车型分类；陈树东等 利用卷积神经网络对公路货车车型进行了识别与分类。目前的研究大多集中于车辆外形特征识别，比如是否为客车、轿车、货车等，并未突出货车轴数作为公路货车车型判别的首要特征，模型准确率不高，且未考虑实时性因素，尚无法满足公路货车车型精细化识别的实际需要。鉴于此，本文提出一种基于深度学习的方法，对货车及其轮轴进行精细化目标检测，挖掘检测到的货车及其轮轴位置信息，并进行隶属关系判断，以期为公路货车车型识别提供新的手段，实现对公路货车车型的快速、准确识别，进一步提升道路服务水平。公路货车车型识别方法与原理 传统公路货车车型识别方法传统公路货车车型识别方法主要有地感线圈法、激光红外线识别以及动态压电检测法。地感线圈法与动态压电检测法地感线圈法与动态压电检测法 类似，当车辆经过埋设有电感线圈或压电开关的路段时，车辆底部的金属材料会与通有高频电流的电感线圈产生电磁感应，从而会产生不同大小的电感信号，不同类型的车辆经过时产生的电感信号波形是不一样的，由此可区分车辆的型号，以实现实时车型识别。此方法准确率较高，但成本也高，并且会破坏路面，不易维护，且在车速较快时准确性能不高，且相似车型容易识别错误。激光红外线识别激光红外线识别 是在检测道路的旁边设立红外线发射装置和接收装置，当车辆到来时，发射红外线到车体部位，接收装置会接收车体反射的光线，车辆不同部位的红外反射具有不同信息，根据这些信息得出车辆轴数、轮廓等信息，然后再将检测得到的信息与标准信息进行对比，以实现货车车型自动识别。该方法受灰尘、雨雾天气影响较大。基于深度学习的公路货车车型识别深度学习属于机器学习的一个分支，由早期的感知机经过一系列发展演变成为如今的深度神经网络。卷积神经网络 在图像领域应用较广，与神经网络类似，都以具有学习能力的神经元作为基本单元，通过卷积运算使整个网络成为一个可导的评分函数。通过对卷积神经网络模型的训练，可实现分类与回归等任务。随着深度学习的发展，其在目标检测等任务中表现出不俗的性能，本文提出利用深度学习的方法对公路货车车型进行快速、准确的检测识别。基于深度学习的公路货车车型识别主要包含了个任务：一是对图像中公路货车及其轮轴的位置进行检测和识别分类；二是判定图像中检测到的公路货车及其轮轴的隶属关系。首先在搜集大量公路货车侧方图像的基础上建立公路货车侧方图像数据集；然后选择合适的深度学习算法框架并优化其网络结构，再将数据集输入到优化后的网络结构中进行加速训练；最后挖掘检测到的货车及其轮轴位置信息，并判断货车及其轮轴隶属关系，实现公路货车车型识别。本文中对公路货车车型识别方法的实现流程如图所示。公路货车图像数据集建立与算法框架选取 公路货车图像数据采集基于深度学习的公路货车车型识别是根据包含完整车轮的公路货车侧方图像来进行车辆类型识别，这就需要大量货车侧方图像进行网络学习与测试，目前还没有仅包含货车侧方图像的车辆图像集，因此，本文首先建立公路货车侧方图像数据集，作为模型训练样本。公路货车图像数据集所需的原始数据主要由两部分组成，一部分是在不同的道路上拍交通运输工程学报 年图公路货车车型识别流程 摄的货车图像，另一部分是在网络上爬取的货车图像，从而满足实际应用时的图像输入多尺度特点。所采集到的公路货车侧方图像要求清晰并能够体现所有货车的侧方特征和细节，图像尺寸主要有 像素 像素和 像素 像素类，图像为 格式。经过筛选共采集到 张可用图像，并对其进行编码，以此来建立公路货车侧方图像数据集，部分公路货车图像数据如图所示。图公路货车图像数据集 公路货车图像预处理公路货车图像数据集中，在道路上采集的货车图像受时间、天气以及光照的影响，会出现大量光照不均图像和夜间行车的夜视图像。为了提高车型识别的准确率，需要对采集的图像进行预处理。本文基于 理 论 与 直 方 图 均 衡 化（，）分别对所采集图像中的光照不均图像和夜视图像进行预处理。基于 理论对图像进行预处理 理论认为，拍摄图像是由环境光和物体反射光叠加而成。通过去掉环境照度、抽取反射光，可以得到物体的真实图像。基于此理论衍生出单尺度 （，）算法，其计算公式为（，）（，）（，）（，）（，）（）（，）（）式中：（，）为像素点具体位置，和分别为横、纵轴位置；（，）为 算法处理后第（，第期张念，等：基于深度学习的公路货车车型识别，）个色彩通道的对数域输出图像，为色彩通道总数，处理灰度图像时，处理彩色图像时；（，）为第个色彩通道的 输入图 像；（，）为高斯环绕函数；为归一化因子；为高斯环绕尺度，直接影响图像的增强效果；为卷积运算。由于 算法在处理不同图像时采用统一的高斯环绕尺度参数，未能兼顾颜色保真度和细节保持度，其对图像的处理难以达到较好效果。针对这一问题，等 对 算法进行了改进，在原有基础上提出了多尺度的 （，）算法，其核心思想为，使用不同尺度的高斯核对图像进行滤波，并将滤波结果加权平均，更加精准地估计光照强度，此外 算法还加入了边缘检测，使得目标轮廓特征明显表达，其计算公式为（，）（，）（，）（，）（）式中：（，）为 算法处理后第个色彩通道的对数域输出图像；（，）为第个尺度的高斯环绕函数，为使用的尺度数，时即为 ；为 第个 尺 度 在 加 权 时 的 权 重 系 数，满 足。本文针对公路货车图像数据集中光照不均的图像分别进行 与 处理，处理前后对比结果如图所示，可知：算法可有效去除光照不均影响，但图像色彩失真比较严重；而经过 算法处理后，图像可保持色彩恒常，增强了图像对比度，有利于后续特征提取操作。故本文对公路货车图像数据集中光照不均图像均采用 算法进行预处理。直方图均衡化预处理采集的公路货车夜视图像灰度较为集中，其原始图像和灰度直方图如图所示，故还需要对其进行处理，以增强图像对比度。直方图均衡化是一种常用的图像增强技术，基本思想是通过图像的灰度分布直方图确定一个变换函数，用来对图像进行灰度变换，以达到提高图像对比度的目的，该变换函数（）为（）（）（）式中：为图像归一化前的灰度级；为图像像素点总数；为图像归一化后的灰度级；（）为图像第个灰度级所包含的像素点数。原图像经直方图均衡化后将灰度级较高部分特图光照不均图像预处理前后对比 征表达地更加明显，处理结果如图所示，可以看出：直方图均衡化是直接对全局图像进行均衡化，会将背景部分的细节特征过分表达，而并未考虑感兴趣区域的局部特征表达情况。自适应直方图均衡化（，）是在均衡化的过程中只利用局部区域窗口内的直方图分布来构建映射函数。首先对图像每个像素点进行遍历，用像素点周围局部区域 窗 口 计 算 直 方 图 变 换 的 累 计 概 率 分 布 函 数（，交通运输工程