基于机器视觉的障碍物识别系统研究_韩成浩.pdf

韩成浩，等：基于机器视觉的障碍物识别系统研究收稿日期：2022-07-13基金项目：吉林省发展和改革委员会产业技术研究与开发项目（2020C019）；吉林省科技发展计划项目（20190303096SF）；长春市科技计划项目（21ZY46）作者简介：韩成浩（1972-），男，博士，教授，研究生导师，E-mail：基于机器视觉的障碍物识别系统研究韩成浩，曾繁歌（吉林建筑大学电气与计算机学院，长春130022）摘要：随着当代科技日新月异，智能机器人的自主能力快速发展，而其发展面对的挑战之一便是障碍物识别技术的提升。提出一种基于机器视觉的障碍物识别系统，目的为实现快速识别障碍物。本系统首先利用张氏平面标定法得到双目摄像头的内外参数，并将拍摄的图像灰度化且进行滤波处理以及图像锐化处理，并通过立体匹配得到双目视差图，最终利用双目视差与深度的关系，得到当前场景的深度信息，最后根据实时测距的要求，采用 YOLO 目标识别算法，通过当前场景图片数据集进行训练，对常见障碍物进行识别。关键词：机器视觉；自主避障；图像匹配；深度信息中图分类号：TN06文献标志码：A文章编号：1672-9870（2023）01-0088-06Research on Obstacle Recognition Based on Machine VisionHAN Chenghao，ZENG Fange（School of Electrical and Computer，Jilin Jianzhu University，Changchun，130022）Abstract：With the rapid development of modern science and technology，the autonomous ability of intelligent robots is de-veloping rapidly，and one of the challenges facing its development is the improvement of obstacle recognition technology.Inthis paper，an obstacle recognition system based on machine vision is proposed to realize fast obstacle recognition.This sys-tem first，Zhang plane calibration method are used to get the inner and outer parameters of binocular cameras and image ofthe gray level change and filtering processing and image sharpening processing，and binocular parallax figure is obtained bystereo matching，finally using binocular parallax and depth，the relationship between the depth of the current scene informa-tion，finally according to the requirements of real-time ranging use YOLO target recognition algorithm，Through the currentscene image data set for training，common obstacles were identified.Key words：machine vision；autonomous obstacle avoidance；image matching；depth information当前智能无人系统正在迅速的发展，但在城市路面情况复杂的背景下，对于避障技术的研究就是十分有必要的了，而障碍物的识别又是避障技术的前提，目前传统的探测方式为利用超声波传感器、激光雷达搜索以及基于单目摄像头的视觉技术等。其中超声波检测需要的检测时间过长，并且方向性差，发散角度较大；激光雷达其高昂的费用难以进行开发；另外，作为需要较高准确率的基于单目的视觉技术，则需要不断更新维护其样本数据库，且该技术无法对非标准障碍物进行判断。这些因素使得传统技术难以满足当前的实际需求，此时，基于双目的视觉技术因其系统结构简单、精度合适、效率较高、成本较低等优点引起了国内外的广泛研究1。长春理工大学学报（自然科学版）Journal of Changchun University of Science and Technology（Natural Science Edition）Vol.46No.1Feb.2023第46卷第1期2023年2月双目立体视觉工作原理与人眼类似，通过对人眼观测物体过程的仿生模拟，利用两个摄像头对目标场景进行图像采集，用上位机代替人类大脑进行图像的处理，对图像进行目标识别2。1双目相机标定根据双目立体视觉原理，为获取被测物体某点在现实空间的位置与其在图像中的对应点的数据关系，需建立以双目摄像机内外参数为基础的几何模型3，这个求解相关参数的过程就称之为相机的标定。本文结合实际要求，通过对比不同的摄像机标定方案可知，张正友标定法的平面标定模版相较于传统方法，有容易获得、操作简单、标定精 度 较 高 的 优 点，能 够 更 好 地 满 足 实 验 的 需要4，该方法标定是保持相机的内部参数不变，假定棋盘格在真实世界坐标系中Z=05，所以当拍摄不同角度的棋盘格时，仅外部参数变化。通过棋盘格上特征点之间的对应关系，对获得的图像进行处理得到双目摄像机参数的优化解。标定工作流程如图 1 所示。图 1标定过程经过对比，本文选用 CMOS 型 OV9732 摄像头组建双目系统，如图 2 所示。图 2双目相机2图像预处理为了减少处理原始采集图像的计算量，更好地响应系统实时性的要求，首先需要采用灰度化处理，即将像素点的 RGB 分量转换为灰度值，本文利用速度较快的整数移位算法对采集的原始图像进行处理6。其公式为：Gray=(76R+151G+28B)8（1）灰度化处理效果如图 3 所示。图 3灰度化处理在完成采集和传输图像的过程中，存在影响图像像素的噪声，其通过影响图像的真实灰度而造成对图像的干扰，不仅大幅度降低图像质量，且影响后续处理工作。本文采取均值滤波对采集的图像进行去噪，均值滤波的主要原理将图像中的每一点的像素值都由选定区域的均值所替代，对颗粒噪声效果明显7。其公式为：g(x,y)=1m n(i,j)sf(x,y)（2）其中，f()x,y为采集的原始图像；g(x,y)为除噪后的图像；s为以点（i，j）为中心的选定区域的集韩成浩，等：基于机器视觉的障碍物识别系统研究第1期89长春理工大学学报（自然科学版）2023年合。均值滤波处理效果如图 4 所示。图 4均值滤波处理最后为了避免改变图像某一特征可能会引起的信息丢失，本文采用拉普拉斯锐化作为以上过程的逆处理过程，可以加强处理后图像的边缘以及轮廓等细节8。拉普拉斯锐化处理效果如图 5 所示。图 5拉普拉斯锐化处理3立体匹配与深度恢复在双目立体视觉避障中，立体匹配是最为关键的核心算法9，根据采集的左右图像进行立体匹配进行一步得到目标物的左右成像点的对应关系，后根据匹配点的相对位置，利用相似三角形原理和投影原理，计算得出相关的深度信息，最后通过全局图像的立体匹配，得到目标场景的视差图以及深度图10。成像模型如图 6 所示。图 6 中P点表示被测物体在空间中的相对位置，P1和P2分别是P点在左右摄像头像平面的相对成像位置，XR与XT分别为成像点P1与P2在像平面上左边缘的相对距离，f表示焦距11。bZ=()b+XT XRZ f（3）式中，Z为被测目标的物体深度，数学推导可得：Z=b fXR XT=b fd（4）立体匹配的本质即从二维图像中获得三维信息，即寻找两组数据相关程度，并寻找最小复杂度的求解算法。高效稳定的立体匹配算法一般依靠匹配策略在左图像中提取匹配基元所相应的信息，在约束准则的相关条件下确定一定的范围，在右图像中寻找对应的目标点，最后利用相似性度量来寻找最佳匹配点12。图 6成像模型现阶段常用的匹配算法主要为全局立体匹配算法和局部立体匹配算法，两者本质区别是匹配策略的不同。全局立体匹配算法是利用图像的所有信息数据，进行相关计算后，在其中寻找能量函数最小的匹配点，可以得到精度较高的结果，但不足是运算时间过长，实时性不能满足要求。局部立体匹配算法则是仅归纳待测点周围一定范围内的数据信息，计算后得到相关结果，虽然其计算简单，运行速度快，但其准确度相对较低。本文选用 Intel（R）Core（TM）i7-10875H CPU作为双目立体视觉系统研究的主要硬件平台，利用Microsoft Visual Studio 2010软件调用OpenCV，实现基于半全局匹配的 SGBM 算法、基于全局匹配的 GC 算法以及基于局部匹配的 BM 算法。待测图片如图 7 所示，深度图像如图 8 所示。计算过程中误匹配像素比与计算时间如表 1 所示。90（a）待测图片左（b）待测图片右图 7待测图片（a）BM 算法结果（b）SGBM 算法结果（c）GC 算法结果图 8深度图像表 1OpenCV 自封装算法比较算法BMSGBMGC误匹配像素比/%24.0211.154.01计算时间/ms6.5731.28454.66为了使实验结果的可靠性更高，本文增加不同场景的图像进行实验验证，待测图像如图 9所示。（a）待测图片左（b）待测图片右图 9待测图片立体匹配结果如图 10 所示。由实验结果可知：GC 算法处理后的图片完整、清晰，效果最佳，但是该算法所需的计算过程较为复杂，所需时间过长，无法达到系统实时性的要求；BM 算法虽然是现有算法中运行速度最快的一种高效方法，但其仍存在误匹配像素比较大，匹配结果存在不完整的弊端；SGBM 在计算时间以及匹配精度方面都有不错的表现。故本文选择 SGBM 作为立体匹配算法。（a）BM 算法结果（b）SGBM 算法结果（c）GC 算法结果图 10立体匹配结果4障碍物识别在智能机器人移动的过程中，对环境的精准感知是必不可少的，通过准确且实时地识别当前场景目标障碍物来做出决策保证智能机器人的正确移动，YOLO 是一种新型的端到端目标检测算法，通过整合生成目标候选区、检测目标特征获取、验证检测目标三个步骤实现快速地目标检测目的，检测原理如图 11 所示。图 11YOLO 原理图韩成浩，等：基于机器视觉的障碍物识别系统研究第1期91长春理工大学学报（自然科学版）2023年该算法可以直接获取整幅图像的特征信息，通过比对边界框的坐标参数将目标检测问题转化为边界框的坐标参数回归问题处理13，该算法检测流程如图 12 所示。图 12检测流程同时，根据不同的使用环境可以使用不同的图片进行训练与测试，在训练过程中需要考虑边界框、置信度、网格目标类别这三方面的平衡14，所以需要设计目标损失函数，通过调整坐标定位误差、IOU 误差、分类误差三者的权重值来达到预期效果。由于 YOLO 算法本身利用网格预测的特点，如果两个物体分配给同一个网格，可能出现一个物体被保留用于预测，另一个物体被丢失，为了改进这一情况，采用增加输出特征图大小以及减少通道数目并且引入 SE 单元来加强特征，同时采用采样聚合方式来提高提取特征的能力，改进方法如图 13 所示。（a）改进前检测（b）改进后检测图 13改进方法此时算法精度更高，速度更快，实验结果如表 2 所示。表 2改进前后比较分辨率4164166088006401280改进前标签重写/%9.513.922.56改进后标签重写/ms2.790.970.595结论从实验结果可知，双目摄像头