改进Faster-RCNN的工程车辆识别方法_刘德祥.pdf

2023 年 2 月第 1 期城市勘测Urban Geotechnical Investigation SurveyingFeb2023No1引文格式:刘德祥，梁苗，王钰棋 改进 FasterCNN 的工程车辆识别方法 J 城市勘测，2023(1):110113文章编号:16728262(2023)0111004中图分类号:TP39141文献标识码:A改进 FasterCNN 的工程车辆识别方法刘德祥*，梁苗，王钰棋*收稿日期:20220516作者简介:刘德祥(1996)，男，硕士，主要从事目标检测、语义分割工作。Email:763950828 qqcom(徐州市勘察测绘研究院有限公司，江苏 徐州221000)摘要:针对 FasterCNN 中预设锚点框尺寸与数据集不匹配、oI Pooling 中量化操作带来的区域不匹配问题，研究了一种改进 FasterCNN 的方法，实现城镇视频监控场景下工程车辆(铲车、挖掘机及大货车等)的快速、准确识别。首先，使用 Kmeans 算法对训练数据中的目标边框聚类分析，通过聚类分析得到 7 种较优的锚点框，将聚类结果用于区域建议网络;其次，以区域特征聚集方法 oI Align 替换 OI Pooling，解决因量化操作带来的区域不匹配问题;实验结果表明改进 Faster CNN 方法的精度更高，mAP 达到 87.73%，提高 14.06%。关键词:工程车辆识别;FasterCNN;oI Align;聚类;区域建议网络1引言随着我国社会经济的发展，土地的需求量也日益增大，使得各地区非法取土的违法行为频发。非法取土会破坏土地生态系统的平衡，削弱土地的生产力，进而导致土壤侵蚀、水土流失等问题1，2。工程车辆(如铲车、挖掘机及大货车等)作为非法取土的重要工具，对其准确识别可以有效地监察非法取土的行为。传统的国土监测手段以人工巡查为主，工作效率低，且受人为因素影响较大。近年来，国土资源管理部门在重点地区设置监控系统，通过摄像头监控的方式替代人工巡查，虽取得了一定的成效。但是，通过摄像头监控仍需人工辨别，难以直接识别工程车辆，无法实现全天24 小时的自动化监控。因此，如何从摄像头监控数据中自动、高效地识别工程车辆，对非法取土的监测具有重要的意义。从图像中识别工程车辆是一种典型的目标检测任务。随着计算机科学的快速发展，基于深度学习的目标检测算法的精度和速度远高于使用滑动窗口、人工设计的特征提取算子(Harr，HOG，SIFT 等)35、分类器(SVM、Adaboost 等)6，7 结合的传统目标检测算法，已经成为图像目标检测方法的主流。当前，基于深度学习的目标检测算法主要分为基于候选区域检测与基于回归检测两大类。基于候选区域的目标检测算法是一种将目标检测问题分成生成候选区域(region pro-posal)与候选区域分类、修正位置两个阶段的检测方法，形成以 CNN(egionCNN)为基础的一系列算法如 CNN、Fast CNN、Faster CNN、Mask CNN等812。基于回归的目标检测算法不需要候选区域生成分支，对给定输入图像，直接在图像的多个位置回归出目标的候选框和类别。其中最有代表性的是 YOLO算法1315 系列。本文以某地自然资源局在重点地区监控摄像头定时采集的照片为数据源，以深度学习目标检测算法中具有代表性的 FasterCNN 框架为基础，借鉴 YOLO 算法流程和 MaskCNN 算法中的特征处理方法对其进行改进，实现对摄像头拍摄照片中工程车辆的快速准确识别。2研究方法本文提出的工程车辆检测方法，主要对 FasterCNN 做出两点改进，第一，使用 Kmeans 算法对训练数据中的目标边框聚类，得到合适的锚点框，提高检测结果中边框的精度;第二，替换 FasterCNN 中的 oIPooling 为 oI Align，oI Align 可以有效解决 oI Poo-ling 中量化操作带来的特征区域不匹配的局限性，工程车辆检测方法的整体框架如图 1 所示。首先利用标注工具将采集到的数据制作成 VOC2007 格式的数据集，对数据集聚类分析获得合适目标边框并将其应用于 PN;接着将数据集送入特征提取网络 VGG16 提取特征，将提取的特征送入 PN 生成 oI，对 oI 进行oI Align，将 oI Align 结果送入全卷积层进行分类和边框回归，得到车辆检测模型，最后验证模型。第 1 期刘德祥，梁苗，王钰棋.改进 FasterCNN 的工程车辆识别方法图 1改进的工程车辆检测方法框架(1)Kmeans 聚类在 11 节中，PN 在滑窗位置预测的 9 个 anchorbox 是固定的尺寸，三种长度(128，256，512)，三种比例(1 2，1 1，2 1)。考虑到固定的 9 种大小的 anchorbox 针对不同数据集中的目标边框的重叠度偏差较大，选择使用 Kmeans 方法对数据集中的目标边框聚类，得到合适的目标边框。Kmeans 聚类算法16 思想:先从样本集中随机选择 k 个样本作为聚类中心，并计算所有样本与这 k 个聚类中心的距离，对于每个样本，将其划分到与其距离最近的聚类中心所在的类别中，并重新计算各个类别的聚类中心。距离计算公式如下:d(c，t)=1IoU(c，t)(1)IoU(c，t)=Area(ct)Area(ct)(2)其中，c 表示聚类中心，t 表示样本，IoU 表示 c 和 t的交集并集的比值。(2)oI AlignFasterCNN 中使用 oI pooling 将 oI 中的特征转化为一个固定的 HW 大小的特征图。但是 oIPooling 中因存在两次量化操作会产生区域匹配上的偏差。第一次量化过程如图 2，是指图像经过特征提取后原图上的目标边框映射到最后一层卷积层的输出结果上是一个浮点数的坐标，但是矩阵的下标为整数，所以映射过来的浮点数坐标要被向下取整，缩小为整数区域。第二次量化操作发生在 oI 池化中，图 2 中的汽车映射在 feature map 是一个 75 的矩阵，假设用oI Pooling 将其尺寸转换为 22，则 7/2=3.5，5/2=2.5，向下取整分别为 3、2，最后在每个 32 的区域进行最大或平均池化，参考图 3。oI Align 取消了 oIPooling 中的量化操作，利用用双线性插值的方法计算出浮点坐标对应的像素值，解决了量化操作引起的区域匹配偏差的问题。图 2第一次量化过程图 3第二次量化过程3实验分析3.1数据来源实验中训练、验证、测试所用数据主要为监控摄像头采集的工程车辆照片、KITTI17 数据集。从两个数据源中随机选择 3 000张图片按 9 1的比例制作训练集和验证集，随机选择 1 500张图片作为测试集 Test-Set1 用于评估改进后方法的性能，从 TestSet1 中选择场景复杂、目标尺寸偏小的 500 张图片作为测试集TestSet2，用于评估改进后的方法对复杂场景下工程车辆以及小目标检测的性能，数据格式选择 VOC2007。3.2实验结果(1)聚类结果将制作好的数据按 121 的步骤进行聚类操作，k分别取 3、5、7、9 得到聚类结果如图 4 所示，图中的横坐标表示目标的宽度，纵坐标表示目标的高度，单位像素。从图中不难看出 k 取 3、5 时的聚类层次更为分111城市勘测2023 年 2 月明，但精度略低于 k 取 7 和 9;而 k 取 7、9 时精度虽高，但是部分聚类中心过于密集，区分度不够明显。综合考虑车辆检测的速度和精度，实验选择 k=5 时的聚类结果作为 anchor box，但仔细观察 4 幅图中最后一个类别的结果都离散化严重，故而继续对其进行第二次聚类，k 取 3，第二次聚类结果如图 5 所示。两次聚类得到 7 种 anchor box 41，35，70，42，95，69，153，103，303，207，478，340，784，574。在保证精度足够的前提下，缩小 anchor box 的数量，可以有效减少训练或检测时 PN 生成 oI 的时间。图 4不同 K 值的聚类结果对比图 5第二次聚类结果(2)改进的工程车辆检测方法评价实验选择 mAP 作为模型精度的检验指标，mAP指的是各个类别 AP 的均值，AP 为 P 曲线的积分结果。P 为精确率 Precision，它表示的是预测为正的样本中有多少是真正的正样本;为召回率，它表示的是样本中的正例有多少被预测正确，具体计算公式如下:P=TPTP+FP()(3)=TPTP+FN()(4)其中 TP 表示真正类，即样本的属性为 Positive，预测结果也为 Positive;FN 表示假正类，即样本的属性为Positive，预测结果为 Negative;FP 表示假负类，即样本的属性为 Negative，预测结果为 Positive;FN 表示真负类，即样本的属性为 Negative，预测结果也为 Negative。两种模型在测试集 TestSet1 检验结果对比如表 1所示，TestSet2 检验结果对比如表 2 所示。表 1两种模型在 TestSet1 上的检测结果模型mAP/%平均每张图片的检测时间/sFasterCNN73670377改进 FasterCNN87730248由表 1 的结果可知，改进方法的 mAP 和检测速度均高于原始 FasterCNN，可以说明该算法在精度和速度上的有效性。两种方法在简单场景下的检测结果如图 6 所示，其中红色矩形框为改进方法的检测结果，蓝色矩形框为原始 FasterCNN 的检测结果。由图 6可知，将 oI Pooling 改为 oI Align 后检测出的矩形框精确度更高。图 6简单场景下检测结果对比表 2两种模型在 TestSet2 上的检测结果模型mAP/%平均每张图片的检测时间/sFasterCNN70870377改进 FasterCNN76400248根据表 2 的结果显示，由于改进方法采用 K means 聚类方法获取目标的边框，充分考虑到 anchorbox 尺度对模型的影响，相对于原始 FasterCNN 在复杂场景以及对小目标的识别效果更好。两种方法在复杂场景下的检测结果如图 7:左图为原始 FasterC-NN 方法的检测结果，右图为改进方法的检测结果。从图 7 可以看出改进后方法漏检率变低，可以检测出更多原始 FasterCNN 未检测出的目标。图 7复杂场景下检测结果对比211第 1 期刘德祥，梁苗，王钰棋.改进 FasterCNN 的工程车辆识别方法4结论针对 FasterCNN 中锚点框与目标边框的重叠度偏差较大、oI Pooling 因量化操作带来的区域不匹配的问题，研究了一种改进 FasterCNN 的方法，实现在城镇监控场景下，工程车辆的快速准确识别。该方法通过实验分析，无论是检测速度还是模型精度都有所提高。实验结果同样发现在车辆密集、遮挡严重等复杂场景以及目标特别小时的检测效果还不够理想，接下来希望有更多复杂场景下的工程车辆数据加入训练，提高模型的鲁棒性。再有，由于 Kmeans 的聚类结果跟初始聚类中心的选择有很大关系，稳定性较差，故而下阶段继续使用其他聚类方法进行对比。参考文献 1梁彩梅关于非法取土造成耕地损毁的若干思考 J 农家参谋，2019(19):39+64 2国土资源国情的数字透视J 中国土地，1998(9):1720 3Lienhartr，Maydt J An Extended Set of Haarlike Featuresfor apid Object Detection C Proceedings of the Interna-tional Conference on Image Processing，USA:IEEE，2002:900903 4Dalal N，Triggs B Histograms of Oriented Gradients for Hu-man DetectionC Proceedings of IEEE