车辆索赔图片智能识别系统_杜阿卫.pdf

SOFTWARE2023软 件第 44 卷 第 1 期2023 年Vol.44,No.1作者简介：杜阿卫（1979）,男,陕西宝鸡人,本科,高级工程师,研究方向：汽车行业数字化（汽车的研发、制造、销售、物流、服务、维修及企业运营等全领域的数字化智能化解决方案）。车辆索赔图片智能识别系统杜阿卫 朱洪霖（启明信息技术股份有限公司，吉林长春 130000）摘要：随着私家车销量日渐增多,前来索赔车辆的数目也越来越多,为确保索赔车辆里程信息、车牌信息和铭牌信息的正确性,工作人员通过肉眼逐一对索赔里程图像、车辆车牌图像和车辆铭牌图像与数据库中记录的车辆信息进行核对,这样的工作不仅耗费大量的人力,而且十分机械、重复、效率低。为解决这一问题,本文使用 YOLO 目标检测和 PaddleOCR 文字识别相结合的方式,实现了智能识别索赔里程图像、车辆车牌图像和车辆铭牌图像中的信息,训练得到的模型准确率高,达到了95%以上。实践证明,该系统不仅具有运行稳定、效率高、易操作等特点,而且很大程度上减轻了人工工作量,降低了欺诈风险,保障了车辆的高质量索赔。关键词：图片识别；目标检测；YOLO；PaddleOCR；深度学习中图分类号：TP391.41;TP18 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.01.028本文著录格式：杜阿卫,朱洪霖.车辆索赔图片智能识别系统J.软件,2023,44(01):107-109Intelligent Recognition System of Vehicle Claim PictureDU Awei,ZHU Honglin(Qiming Information Technology Co.,Ltd.,Changchun Jinlin 130000)【Abstract】：The car sales are increasing,so the number of vehicles that need to be claimed by auto dealerships is also increasing.The staff checked the mileage image,vehicle license plate image and vehicle nameplate image one by one with the vehicle information recorded in the database to ensure the correctness of the mileage information,license plate information and nameplate information of the claimed vehicle.The way of manually checking information not only consumes a lot of manpower,but also is very mechanical,repetitive and inefficient.In order to solve this problem,this paper uses the combination of YOLO target detection and paddleocr character recognition to realize the intelligent recognition of the information in the mileage image,vehicle license plate image and vehicle nameplate image.The accuracy of the trained model is more than 95%.In fact,the system has the characteristics of stable operation,high efficiency and easy operation,and greatly reduces the manual workload,reduces the risk of fraud,and ensures the high-quality claim of vehicles.【Key words】：picture recognition;object detection;YOLO;PaddleOCR;deep learning设计研究与应用1 背景介绍在机器学习领域中,关于图像的研究主要包括分类、识别和分割三部分,其中图像识别是该领域研究的核心,在人脸面部识别、无人自动驾驶、智能机器人等应用上均取得了显著的成果。目前,基于深度神经网络的机器学习方法不仅在日常物品分类的图像识别数据集上超过了人类的水平,而且越来越多的工业应用也在考虑使用这种方法完成图像识别业务。车辆索赔清单包含若干张里程仪表盘图像、若干张车牌图像和若干张车辆铭牌图像。为了实现索赔项目的智能化识别,本文从经销商处获得数据,构建数据集,再利用 AI 图像识别技术1提取索赔里程仪表图像、车辆车牌图像和车辆铭牌图像的深层语义特征,然后通过目标检测2和文字识别3两项技术对索赔里程仪表图像、车辆车牌图像和车辆铭牌图像智能识别,获得场景文字信息,最后与车联网数据库中的数据进行比对,业务人员根据对比结果进行风险评估,在减少了工作人员业务量的同时,极大地促进了108软 件第 44 卷 第 1 期SOFTWARE企业数字化、智能化的发展。这一过程实现了机器智能校验,降本增效,彻底摆脱了重复性低质化工作。2 技术知识2.1 目标检测对于里程仪表盘图像,本文先通过 YOLOv34模型进行目标检测,再对图像上的目标区域进行文字识别。本文收集了 20570 张历史索赔订单中的里程图片构建数据集,历时 14 天完成了全部图像的标注工作,并以 9:1的比例将数据集分成了训练集和测试集。为提高目标区域检测的准确率,采用十折交叉验证的方式对结果进行验证。2.2 YOLO目标检测算法包括 DPM5、R-CNN6、Fast-CNN7和 YOLO 等算法,其中 DPM、R-CNN 和 Fast-CNN 均属于 RCNN 系列,需要生成建议框,在建议框上进行分类与回归,但建议框之间有重叠,无法精准的定位到目标区域,同时也会增加很多冗余性工作。相比较前三种目标算法,YOLO 模型以一次学习（One-shot Learning）方式实现端到端的训练及推断,它主要是通过将全图划分成ss 个候选区域,再由候选区域产生大量的可能包含待检测物体的边框实现目标检测。具体步骤为：首先将图像调整到固定大小,准备输入到神经网络中；然后输入数据集,训练卷积神经网络,输出若干边框坐标、边框中包含物体的置信度和类别概率；最后通过分类器以非极大值抑制的方式判断每个边框里是否包含有物体,以及物体所属类别的概率或置信度,筛选得到最终边框。YOLO 网络由 24 个卷积层和 2 个全连接层构成,网络输入为 488488 向量,输出结果为一个张量,维度如式（1）所示：(5)ssbc +（1）其中,s 为划分网格数,b 为每个网格负责目标个数,c 为类别个数。该表达式含义为：（1）每个小格会对应 b 个边界框,边界框的宽高范围为全图,表示以该小格为中心寻找物体的边界框位置,如式（2）所示：()truthpredP objectIoU （3）（2）每个边界框对应一个分值,代表该处是否有物体及定位准确度；（3）每个小格会对应 c 个概率值,找出最大概率对应的类别 P(Class|object),并认为小格中包含物体或者该物体的一部分。2.3 文字识别光学字符识别8（Optical Character Recognition,OCR）,它实现了识别、分析和获取图像中的文字场景等功能。日常生活中随处可见 OCR 的影子,比如疫情防控期间的身份证识别录入信息、违规车辆车牌识别、自动驾驶等。人工智能不仅实现了将图像到文本的转换,而且促进了智慧城市、数字化企业等的快速形成。本文对于里程仪表图像、车牌图像和铭牌图像三个场景都运行了 PaddleOCR9,这个当下最流行的开源 OCR识别库。3 实验与对比结果3.1 里程仪表盘里程仪表盘图像色彩丰富、图片内干扰信息较多,故针对里程仪表盘图像目标检测部分本文使用自训练的YOLO 模型检测图像中 ROI 区域,文字识别部分使用自训练的 MobileNetV3 模型进行里程数字识别。本文目标检测部分使用的是 YOLOv3 模型,进行目标检测,它运行时间快,可以有效地避免图像背景的干扰,更好地学习物体的泛化特征。本文整个实验过程共进行了 3 轮目标检测模型的训练,训练结果如折线图 1 所示。第一轮目标检测模型训练,为了缩短模型训练时间,使用 9000 张图像作为训练集,1000 张图像作为测试集,1000 张图像作为验证集,获得了准确率为87%的预训练模型。第二轮模型训练是在第一轮预训练模型的基础上,将数据集增加到 20000 张,训练集为18000 张,测试集为 2000 张,验证集为 1000 张,第二轮训练获得的模型目标检测的准确率为 98.13%。为了提高模型的准确性,我们对这 20000 张数据进行了二次标注,对不准确的标注再次调整,进行了第三轮模型训练。第三轮训练获得的模型目标检测的准确率为98.97%。87%98.97%目标检测效果图80%82%84%86%88%90%92%94%96%98%100%第一轮第二轮第三轮准确率87%98.13%98.97%目标检测效果图测试集目标检测效果图训练集训练集98.97%0500010000150002000025000测试集 图 1 目标检测效果图Fig.1 Effect diagram of target detection文字识别部分,本文使用 6000 张图像作为数据集,按照 9:1 的比例将图片分成训练集和验证集,训练109杜阿卫朱洪霖：车辆索赔图片智能识别系统MobileNetV3 网络模型。并选取 2006 张里程图片作为测试集进行测试,测试数据覆盖了 A、B、C、D、E 五种车型,目标检测部分分别使用了上文中提到的三种目标检测模型,再分别结合文字识别模型进行里程数字识别验证,每种车型均给出验证结果。结果表明,模型 3的综合准确率为 94%,高于模型 1 和模型 2。3.2 车牌车牌图像干扰信息少,故车牌的文字识别本文没有使用车牌数据对 PaddleOCR 模型进行训练。使用预训练 PaddleOCR 模型对车牌图像直接识别,根据车牌构成规则再使用正则匹配方法将识别得到的车牌号信息输出在前端展示界面。选取 10780 张车牌照片,通过 PaddleOCR 模型识别,再将识别结果和数据库中车牌信息进行比较,初始车牌识别的正确率为 79.27%。通过人工分析,车牌数据集中无车牌且车牌有遮挡的图片有 821 张,图片倾斜有 727 张,图片数据和数据库记录不一致的图片有 392张,图片不清晰（包括图片不清晰、图片亮度不够、图片反光）的图片有 102 张,非车牌图像的图片有 38 张,图片过小的有 16 张,真正识别错误的有 139 张。去除上述不标准图片后的车牌识别准确率为 98.47%。4 未来与展望目前,该项目的研究结果已经投入到实际的业务生产工作中。据统计 2021 年 12 月 6 日到 2021 年 12 月17 日索赔图像数据总体识别准确率达到了 97.63%,其中车型 F、车型 G、车型 H、车型 I 和车型 J 识别错误率均控制在 6%左右。而车型 K 和车型 L 识别错误率较高,分别为 28%和 13%。分析原因是由于车型 K 和车型 L 均为电车类型,且车辆样本数量较少,导致模型对此类车型图像类别不敏感,准确率较低。后续我们将主要针对电车样本集数量少的问题进行改进,通过数据增强的方式,增加电车样本数量,再次