3D视觉技术在汽车轮胎字符识别中的应用.pdf

鄢江苏省科技计划项目渊BY2022134冤3D 视觉技术在汽车轮胎字符识别中的应用鄢顾涛罗印升宋伟渊江苏理工学院袁江苏 常州 213001冤Application of 3D Vision Technology in Automobile Tire Character Recognition摘要院基于 2D 视觉的轮胎字符识别方法存在效率低尧精度差尧易受光照条件影响等不足袁从而导致系统工作不稳定遥 因此袁提出了一种基于 3D 视觉的轮胎字符识别算法遥 首先选用 3D 线扫激光传感器获取轮胎胎面字符的三维点云数据袁根据点云数据在 Z 轴上的高度特征将其转换为灰度值袁然后采用以 ResNet50 为骨干网络的改进型 DBNet 算法袁结合 Nadam方法对 DBnet 算法进行训练优化遥 在此基础上袁进一步采用模型剪枝技术袁在保证算法精度的同时袁压缩模型参数袁提升算法速度袁大幅减少了计算量遥 结果表明袁在相关的 4 种检测算法下袁该方法获取到的数据集的准确率高于传统方式数据集8.05%12.2%袁改进的 DBNet 检测算法结合 CRNN 识别算法后袁在该方法获取的数据集中预测准确率达到了 95.45%袁单张图像预测速度由 107 ms 缩减到了 45 ms袁模型大小也由 142.7 MB 减少到了 15.83 MB袁为轮胎字符快速准确识别提供了一种新型的技术方案遥关键词院字符检识别曰改进DBNet曰深度学习曰点云预处理Abstract:The tire character recognition method based on 2D vision has some shortcomings,such as low efficiency,poor accuracy and easy to be affected by illumination conditions,which leads to the systems unstable work.Therefore,atire character recognition algorithm based on 3D vision is proposed in this paper.Firstly,3D line sweep laser sensor isused to obtain the three-dimensional point cloud data of tire tread characters,which is converted into gray value accordingto the height characteristics of the point cloud data on the Z-axis.Then,the improved DBNet algorithm with ResNet50 asthe backbone network is used to train and optimize the DBnet algorithm combined with Nadam method.On this basis,themodel pruning technology is further used to compress the model parameters,improve the algorithm speed and greatly re鄄duce the amount of calculation while ensuring the accuracy of the algorithm.The results show that,under the four relateddetection algorithms,the accuracy of the data set obtained by the proposed method is 8.05%12.2%higher than that ofthe traditional method.The prediction speed of single image is reduced from 107 ms to 45 ms,and the model size is alsoreduced from 142.7 MB to 15.83 MB.Keywords:character recognition,improve DBNet,deep learning,preprocessed point cloud轮胎作为汽车的重要配件之一袁 轮胎胎面侧壁上的字符携带轮胎规格尧载重指数与速度级别等重要信息遥如果存在字符漏印尧多印和错印等情况袁会带来严重的产品事故和经济损失遥 因此袁仔细核检首胎字符是轮胎生产的一个首要关键步骤遥近年来袁 国内外轮胎字符检测与识别主要基于 2D 视觉技术获取字符图像袁 再利用深度学习或者机器学习的方法进行字符的检测和识别遥文献咱1暂针对轮胎胶料表面的点阵喷码字符的特征进行分析袁 提出适用于存在字符内部点间距的字符分割方法袁利用模板匹配法完成了字符的识别袁具有高效性尧稳定性和准确性遥文献咱2暂为了让轮胎图片在噪声和畸变的情况下都有较优异的性能袁对图片先进行去噪二值化等预处理袁再通过改进的Hough 变换提取轮胎字符区域并展开为矩形袁 最后利用Faster-RCNN 算法对字符区域进行识别遥现有的轮胎字符识别方法袁是基于 2D 视觉下的字符检测咱3暂袁多用于对轮胎指定区域内的字符或者固定字符的检测遥 因胎面字符多为黑色袁在同等光学条件下袁没有明显的对比度袁而 2D传感器依赖于测量物体的对比度袁 这意味着难以在没有特定光照的情况下做到对轮胎胎面字符的全部检测袁 所以 2D 视觉在轮胎字符检测方面存在一定的局限性遥因此袁本文提出了一种基于 3D 视觉下的汽车轮胎字符检测技术遥员线扫激光三角法的轮胎字符识别系统组成员.1 机械系统轮胎字符识别系统主要由线扫激光传感器 1尧 轮胎转动驱动装置 2尧轮胎固定装置 3 和计算机 4 组成袁如图 1 所示遥 线扫激光传感器内设置点距为 0.15 mm袁模式为编码器触发遥 编码器点距设置为 0.2 mm袁曝光时间设置为 250 滋s遥启动旋转电机带动轮胎旋转袁 编码器发出脉冲信号触发线扫激光传感器获取轮胎胎面的点云数据袁以渊x袁y袁z冤的形式将扫描到的点云数据保存至 txt 文件中袁形成轮胎胎面字符的点云数据集遥图 1轮胎字符检测系统构成员.2 线扫激光三角法传感器本系统选用的相机采用了激光三角正入射方法咱4暂袁其工作原理如图 2 所示遥传感器的激光发射器尧其光敏探测器和被测物体形成一个三角形遥设 B 点为光敏探测器的成像基准点袁由激光发射器发射出激光正入射到被测物体表面的 A 点处袁 在漫反射的作用下袁 激光透过透镜中心的 O 点反射到光敏探测器的 A忆处袁m 为激光正入射在被测物体表面的 A 点到透镜中心 O 点之间的距离袁n 为激光反射在光敏探测器表面的 A忆点到透镜中心3D 视觉技术在汽车轮胎字符识别中的应用122叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期O 点之间的距离遥 反射激光与被测物体的法线方向的夹角为 袁与光敏探测器表面所成夹角为遥h 为激光在被测物体上的成像点 A 与基准点 B 之间的位移袁s 为 A 点的反射点 A忆与基准点 B的反射点 B忆之间的位移遥图 2正入射激光三角法原理图根据光线反射和相似三角形原理袁位移 h 可表示为院澡越皂伊泽蚤灶灶泽蚤灶 垣曾泽蚤灶渊 垣 冤渊1冤对于线扫激光传感器袁 静止状态下可以测量到物体的 X 轴与 Z 轴的值渊x袁z冤遥传感器固定不动袁物体移动或者转动过程中袁为保持采集到的数据均匀等距即 Y 轴方向点与点之间等距袁需要设置编码器触发距离袁 根据移动距离稳定输出脉冲信号触发传感器进行轮廓信息采集袁 即可获取到一组完整的轮胎表面字符三维数据渊x袁y袁z冤遥员.3 字符识别算法部分首先利用前述线扫激光传感器扫描轮胎表面字符区域获取其三维点云数据遥 然后根据点云数据高度特征将其转换为灰度图遥 最后通过本文提出的深度学习字符检测与识别技术对轮胎侧面字符进行检测和识别遥 字符识别算法流程如图 3 所示院图 3字符识别算法流程图圆点云数据处理点云数据的 X 坐标和 Y 坐标解释了其在三维空间里的位置信息袁Z 坐标显示了字符区域与非字符区域在 Z 轴上的高度特征遥为了便于分辨字符区域与非字符区域袁于是利用了字符区域与非字符区域在 Z 轴上的高度差特征袁将其 Z 轴上的高度值特征转换为 0耀255 之间的灰度值特征遥由于像素坐标值都是整数且为正数袁 其坐标值最小为渊0袁0冤袁而点云数据中存在负的 x 值和 y 值且为浮点数遥 为了保持转换后的像素分辨率袁需要对其点云数据进行位移袁使渊0袁0冤成为 X 和 Y 的最小值袁然后点云数据的 X 坐标轴和 Y 轴坐标值乘以 100遥遍历所有点云数据找出 Zmax和 Zmin值遥之后根据公式渊2冤的定义计算即可将 Z 轴上的高度值转换为 0耀255 之间的灰度值袁再填入对应的像素坐标内袁便得到了点云转换后的灰度图像遥 经过图像增强等算法处理后袁结果如图 4 所示袁将上述方法转换后的数据集命名为 Img3D袁作为后续字符检测与识别算法的数据集遥grey=咱渊扎原扎皂蚤n冤辕渊扎皂ax-扎min冤暂鄢圆缘缘渊2冤图 4点云转灰度结果图猿字符检测算法猿.1 DBNet 字符检测网络目前袁主流的文本检测算法袁如 EAST咱5暂尧DBNet咱6暂尧PseNet咱7暂等都是基于分割的方法来实现文本检测遥 DBNet 是基于分割的文本检测网络袁先从像素层面做分类袁判别每个像素点是否属于一个文本目标袁得到文本区域的概率图袁通过后处理方式得到文本分割区域的包围区域遥 即将待数字化的图像按照不同比例输入到图像训练集中袁经过特征提取尧上采样尧Concat 等操作得到图 5 中矩形特征图 F袁 然后由特征图 F 生成概率图 P 和阈值图T遥 之后通过将二值化的操作放到网络里同时优化袁对每个像素点的阈值都进行自适应预测袁 概率图 P 和阈值图 T 进行可微二值化得到近似二值图袁可微二值化公式如式渊3冤所示院粤夷蚤袁躁越员员垣e-k渊孕蚤袁躁原栽蚤袁躁冤渊3冤其中袁粤夷表示近似的二值图袁P 和 T 分别是网络学习的概率图和阈值图袁K 是放大系数袁这里取经验值 50遥 最后对近似二值图进行后处理得到文本预测框图遥图 5DBNet 网络3.2 改进型 DBNet 网络为适应轮胎字符字体数量多尧大小不一尧结构复杂的特点袁同时为减少计算量袁本文从训练策略尧模型裁剪两个方面对传统的 DBNet 网络进行改进袁具体方法如下院1冤采用 Nadam 算法对模型训练效果进行优化袁使模型在训练过程中能够自适应调整学习率袁提高模型收敛速度和性能袁加强对不同大小字体特征的提取遥2冤针对模型中存在很多冗余的参数和通道袁冗余参数会增加模型计算量袁 降低模型的预测速度袁 增加模型部署的硬件压力遥 因此对 DBNet 网络中重要性较低的通道进行裁剪袁得到更轻量的字符检测模型袁并且使得剪枝后的模型精确度损失最小袁提高模型的计算效率遥猿.2.1 采用 Nadam 算法优化模型训练的效果传统的 DBNet 模型一般采用 SGD咱愿暂渊杂tochastic 郧radient阅escent冤或者 Adam咱怨暂渊Adaptive Moment Estimation冤优化算法袁但是 SGD 优化算法收敛速度慢袁并且在某些情况下容易困在鞍点袁 而 Adam 优化算法可能会出现错过全局最优解以及不收敛的情况遥 考虑到 Nadam 优化器的参数更新不受梯度伸缩变换影响袁能实现学习率的自动调整袁更好更快地向梯度下降的方向收敛达到全局最优解遥 因此袁本文采用 Nadam 算法对模型123进行优化遥猿.2.2 模型通道剪枝轻量化改进后的 DBNet 网络模型中真正对模型精度有影响的只有 5%耀10%遥 冗余的通