3D机器视觉发展及其工业应用综述_马宏宾.pdf

第 4 卷第 4 期2022 年 12 月微纳电子与智能制造Micro/nano Electronics and Intelligent ManufacturingVol.4 No.4Dec.2022基金项目:面向智能博弈的非对称动态对策建模仿真与自适应学习(62076028)项目资助马宏宾(通信作者),教授,主要研究方向为计算机视觉/人工智能、自适应估计、控制与智能博弈、智能自主系统/机器人。E-mail:mathmhb 王鑫,博士,主要研究方向为目标识别与检测、3D 机器视觉检测与测量。E-mail:18737173446 边金岳,硕士,主要研究方向为 3D 位姿估计、路径规划。E-mail:jybian 金英,讲师,主要研究方向为计算机视觉、机器人控制。E-mail:jinyinghappy DOI:10.19816/ki.10-1594/tn.2022.04.0503D 机器视觉发展及其工业应用综述马宏宾1,2,王鑫1,边金岳1,金英1(1.北京理工大学自动化学院 北京 100081;2.北京理工大学自主智能无人系统全国重点实验室 北京 100081)摘要:2D 机器视觉技术快速发展,并在工业、农业、交通等领域取得大量应用。然而,其缺乏深度信息,无法准确描述物体的三维空间信息。3D 机器视觉技术凭借包含更多目标信息的优点,在工业等领域具有广泛的应用前景。本文全面研究 3D 机器视觉技术的发展及应用:首先,研究分析了机器视觉技术的发展现状,对比了 2D 和 3D 机器视觉;其次,对 3D 机器视觉的关键技术进行归纳总结,将其划分为特征提取技术、位姿估计技术和三维重建技术;然后,对 3D 机器视觉技术在工业中的应用进行总结,主要研究了缺陷检测、引导定位等应用;最后,分析了 3D 机器视觉技术存在的问题,包括软硬件兼容性、计算复杂度和适应性问题,并对未来发展进行了展望。本综述研究结果可为 3D 机器视觉的进一步发展与应用提供参考。关键词:3D 机器视觉;特征提取;位姿估计;三维重建;工业应用中图分类号:TP391.4 文献标识码:A 国家标准学科分类代码:520Review of 3D machine vision development and its industrial application MA Hongbin1,2,WANG Xin1,BIAN Jinyue1,JIN Ying1(1.School of Automation,Beijing Institute of Technology,Beijing 100081,China;2.National Key Lab of Autonomous Intelligent-Unmanned Systems,Beijing Institute of Technology,Beijing 100081,China)Abstract:The technology of 2D machine vision has developed rapidly and has been widely used in many fields,such as industry,agriculture and transportation.However,it lacks depth information and cannot accurately describe the three-dimensional spatial infor-mation of objects.With the advantage of containing more information of targets,3D machine vision technology has broad application prospects in industry and other fields.The paper comprehensively researches the development and application of 3D machine vision technology:first,we research and analyze the development of machine vision technology,and compare 2D and 3D machine vision;second,we summary the key technologies of 3D machine vision,such as feature extraction,pose estimation and 3D reconstruction tech-nology;then,the applications of 3D machine vision technology in industry is summarized,which mainly contain defect detection,guid-ance and positioning;finally,the problems existing in 3D machine vision technology are analyzed,including the compatibility of hardware and software,computational complexity and adaptability issues.Moreover,this paper indicate prospects for the future development of 3D machine vision.The results of this review can provide a reference for the further development and application of 3D machine vision.Keywords:3D machine vision;feature extraction;pose estimation;3D reconstruction;industrial application0引言在中国制造向中国智造转型的背景下,工业机器人自动化、智能化参与生产,离不开机器视觉的定位与引导。在工业制造生产过程中,严格管控产品质量是重中之重。然而,传统生产过程多采用人工抽检的方式进行质量检测,结果常常会因疲劳、个体之间的差异等产生误差与错误,并且人工成本高、效率低,难以满足降本增效的要求,也难以保证 100%的正确率。根据大量的需求调研,传统自动化设计模式存在致命的缺陷,例如大型机械装配过程中存在位置不固定、尺寸不固定等特点。传统自动化设备的短板在于缺少交互、缺少协作、缺少感知、缺少学习、缺少决策、缺少闭环,无法满足具有不确定性第 4 期马宏宾 等:3D 机器视觉发展及其工业应用综述51 的柔性制造场景的需要。机器视觉是人工智能领域的重要分支之一,利用光学硬件设备与非接触式采集传感器采集数据,经过人工智能算法处理数据,实现定位引导、检测、识别与测量,被广泛应用于 3C 电子、轨道交通、新能源锂电、汽车制造等领域,具有非接触、低成本、高可靠性、高效率及高自动化程度的特点。典型的工业机器视觉系统包含光源、镜头、图像采集接口、图像处理模块、通信模块以及具有良好交互性与可操作性的软件界面。机器视觉通常分为 2D 机器视觉和 3D 机器视觉。2D 机器视觉利用图像数据获取目标的平面信息,通常在瑕疵检测、判断目标有无等场景中应用广泛。但随着智能制造对 3D 形态、空间位姿等空间信息的需求的增高,2D 机器视觉由于缺少深度信息,难以应对相关的需求。在汽车零配件检测与汽车总装生产线上检测、识别与测量任务中,3D 机器视觉应用在不断增加,例如检测轮胎鼓包、凹陷或圆度,检测汽车涂胶过程中溢胶、漏涂等。本文主要对机器视觉发展现状、3D 机器视觉关键技术及 3D 机器视觉在工业中的应用进行总结和分析,并对 3D 机器视觉亟需解决的问题进行分析与探讨。1机器视觉技术发展现状1.1 2D 机器视觉技术 2D 机器视觉系统一般由光学系统、成像系统、控制系统和图像处理系统组成。光学系统与成像系统包含光源、镜头和成像传感器。控制系统包含图像采集卡、光源控制器、通信接口等。图像处理系统由工业电脑、可视化平台和处理软件组成。2D 机器视觉通过处理相机采集的图像,提取图像中像素间灰度特征、局部特征等,进一步对特征进行分析,实现目标检测、目标识别、目标分割等任务。2D 视觉的硬件日趋成熟。可见光场景下,图像传感器品类齐全,但是在烟雾等特殊场景下,为了得到理想的图像,红外成像1、偏振成像2、太赫兹成像3等技术在不断发展。同时,处理图像的算法也在不断迭代,传统的特征提取4、特征分类5算法逐渐被深度学习算法6取代。在不需要深度信息的应用中,例如目标表面瑕疵检测、2D 目标识别等,2D 机器视觉具有明显的优势,不仅处理速度快,而且准确度高。然而,2D 机器视觉在实际使用中存在局限性,无法满足三维形状测量和空间位姿检测的需求。同时,环境光照变化对成像质量影响严重。当目标的边缘特征模糊或成像中前景与背景差异不明显时,难以实现高准确度、高精度检测。1.2 3D 机器视觉技术 3D 视觉作为机器视觉技术的一个重要分支,在机械制造、缺陷检测、路径规划和自动装备等方面有着重要应用,如图 1(a)所示的锂电池表面划痕、凹陷等多类缺陷检测,以及图 1(b)所示的 3D 视觉引导机器人实现加油塞位姿估计与抓取。1960 年,美国麻省理工学院罗伯特首次将 2D 推向了 3D。近年来,各项技术应用于 3D 信息测量中,形成了各类 3D视觉测量系统。这些技术可以分为被动式 3D 视觉技术和主动式 3D 视觉技术。图 13D 机器视觉应用案例Fig.1Applications of 3D machine vision(1)被动式 3D 视觉技术被动式 3D 视觉技术不需要向目标表面投射结构光图案,使用单个或多个视觉传感器采集目标图像,通过对多幅图像进行特征分析,基于对应特征点计算目标的三维空间信息。被动式 3D 视觉技术常用于光照明暗变化范围低、目标表面非光滑、纹理清晰的场景,能够通过立体匹配找到匹配点。常见被动式视觉技术有双目视觉成像和多目视觉成像。双目视觉成像系统利用两个相机从两个视点对同一目标分别获取图像,再计算两图像中对应点的视差,进而计算目标的三维空间信息。经典的双目立体视觉计算过程包含图像畸变校正、立体校正、图52 微纳电子与智能制造第 4 卷像配准和视差图计算。多目视觉成像系统包含两种,一种是使用多台相机从不同视点对同一目标成像,然后利用基于特征的立体重建算法获取目标深度信息7。另一种是使用同一台参数不变的相机,在多个视点采集图像,根据图像的特征信息重建目标的三维形貌8,常用于特征点丰富的场景三维重建。被动式视觉技术需要通过特征点匹配解算空间点的三维信息,受限于被测目标的纹理强弱、环境的光照变化、目标的特征丰富程度等不确定性,难以满足高精度应用需求。被动式视觉技术通常用于大型场景的三维重建中。(2)主动式 3D 视觉技术主动式 3D 视觉技术利用光学原理,向目标表面投射格式化图案,通过视觉传感器采集经过目标调制后的结构光图像以及标定投影设备与视觉传感器的空间关系,获取目标的三维空间信息。主动式3D 视觉技术具有抗干扰能力强、精度高、重复性高和可靠性高的优点,但是相机帧率受限,难以满足高速需求。常见的主动式 3D 视觉系统包含结构光三维成像系统和线激光扫描系统。结构光三维成像系统由投影仪和相机构成,常见的结构形式有:单投影仪与单相机、单投影仪与双相机9、单投影仪与多相机、单相机与多投影仪10等结构形式。结构光三维成像系统的基本工作原理是利用投影仪向目标物体投射结构化图案,相机采集结构光图像,基于标定的相机与投影仪的空间关系和图像处理算法计算目标的