基于增强现实的智能辅助装配系统设计研究_魏巍.pdf

技术与实践152/INDUSTRIAL DESIGN 工业设计基于增强现实的智能辅助装配系统设计研究RESEARCH ON THE DESIGN OF THE INTELLIGENT AUXILIARY ASSEMBLY SYSTEM BASED ON AUGMENTED REALITY北京航空航天大学机械工程及自动化学院魏巍（通信作者）北航歌尔（潍坊）智能机器人有限公司冯蓬勃北京航空航天大学机械工程及自动化学院陈峥廷并对基于增强现实的智能装配系统进行需求分析与系统框架设计，最后开发并验证了一个基于增强现实的智能辅助装配系统。1增强现实技术增强现实（Augmented Reality，AR）技术是一种将虚拟信息叠加在真实环境中，并力求达到时间、空间、光照等方面的一致，最后通过显示设备进行显示的技术1。增强现实技术上世纪90 年代被提出，随着计算机硬件、移动端设备和相关软件的成熟，已逐步走进大众的生活，带来便利的同时也给大家带来了新奇的体验。增强现实技术如今被广泛应用于各个领域，例如，百度地图的“AR 导航”功能，通过手机应用，用户就能看到在道路上叠加的虚拟箭头进而在复杂的路口快速判断方向；在某手机购物应用软件上，用户能够使用“AR 试鞋”功能，通过手机显示屏就能看到想要购买的新鞋穿在脚上的样子，给用户带来更好的购物体验。此外，装配领域也是增强现实技术的一个重要应用领域2。2020 年湖南华菱湘钢实现了我国钢铁业首次 5G+AR 跨国远程装配，国外工程师依托 AR 的实时标注、桌面共享等技术，远程配合湘钢现场工程师的产线装配工作。2智能辅助装配系统研究现状智能辅助装配是指将装配引导信息如零件三维模型、文本指导信息、操作步骤信息等进行可视化处理，直接呈现在装配操作者的视野中，达到一个“信息找人”而不是“人找信息”的效果，从而提高操作者对装配过程的理解，辅助操作者进行装配作业。如今，国内外的企业以及研究机构都着力开发智能辅助装配系统，也有了一些相关的应用与尝试。唐健钧等3为飞机装配作业设计了一个 AR 智能引导系统，该系统主要用于飞机中小型刚性部件，能够对生产现场的场景进行识别，能够结合 XML 格式的动态 AR 装配指令对装配结果进行判断。Westerfield 等4设计了一个名为主板装配导师的增强现实装配培训系统，利用三维模型、动画、音频和文本等信息训练用户在计算机主板上组装组件。该系统能够提供操作的实时反馈，通过识别组件的位置和方向判断是否装配正确，能够显示警告信息。刘然5以汽车车门的关键零部件为装配对象设计了一个辅助装配引导原型系统，该系统主要由产品装配信息管理模块、位姿估计复杂产品的生产制造过程中，装配是一个重要且占用大量时间的环节。装配过程中面临着诸如装配步骤繁多、装配工艺执行困难、装配零件相似度高等问题，这不仅对操作工人提出了极高的要求，还容易导致装配错误，降低装配效率。传统的辅助装配方法主要依赖于纸质工艺指导文件、电子工艺说明书、虚拟现实技术等，但具有一定的局限性，目前迫切需要一套高效的智能辅助装配系统。文章首先对智能辅助装配系统研究现状进行梳理，摘要：为满足复杂产品人工装配过程中的辅助需求，针对传统辅助装配方法的局限性，文章研究装配过程中的在线智能辅助技术。为解决辅助装配系统信息来源的问题，提出一种面向辅助装配的多源信息快速建模方法。搭建基于增强现实的智能辅助装配系统，并以电脑主板装配为对象进行原型系统开发与应用验证。结果表明，移动端智能辅助装配系统对手工装配过程有很好的辅助效果，装配操作人员可直接找准装配位置与装配零件，轻松了解到各个步骤的操作规范。基于增强现实的智能辅助装配系统提高了复杂产品的装配效率及正确率，为人工装配的数字化、规范化提供了思路与方法。关键词：增强现实；智能辅助装配；装配系统；产品设计中图分类号：TB472文献标识码：A文章编号：1672-7053(2023)01-0152-03Abstract：In order to meet the auxiliary requirements in the process of artificial assembly of complex products,aiming at the limitations of traditional auxiliary assembly methods,this paper studies online intelligent auxiliary technology in the process of assembly.To solve the problem of providing data source for assistive assembly system,a fast modeling method of multi-source information for assistive assembly was proposed.An intelligent assisted assembly system based on augmented reality was built,and the prototype system was developed and verified by computer motherboard assembly.The results show that the mobile terminal intelligent auxiliary assembly system has a good auxiliary effect on the manual assembly process,assembly operators can directly locate the assembly position and assembly parts,and easily understand the operation specifications of each step.The intelligent assisted assembly system based on augmented reality improves the assembly efficiency and accuracy of complex products,and provides ideas and methods for the digitalization and standardization of manual assembly.Key Words：Augmented Reality;Intelligent Assisted Assembly;Assembly System;Product Design作者简介魏巍（通信作者）/1982 年生/男/辽宁沈阳人/博士/副教授/研究方向为产品设计（北京 100191）冯蓬勃/1968 年生/男/山东潍坊人/工程师/研究方向为产品设计（山东潍坊 261000）陈峥廷/1998 年生/女/重庆人/在读硕士研究生/研究方向为增强现实（山东潍坊 261000）技术与实践INDUSTRIAL DESIGN 工业设计 /153与零件识别判断模块、装配状态判断模块等组成。该系统利用自然特征点以及线性模型多模态等算法对装配基体和零件进行位姿估计，实现对装配步骤和装配效果的判断。3基于增强现实的智能装配系统设计分析3.1智能辅助装配系统需求分析目前，大部分装配工艺说明指导文件仍以纸质文件为主，操作人员需要花费大量时间记忆理解，认知负担较大，因此智能辅助装配系统需要结合增强现实技术，以一种更直观更易于理解的方式展示指导信息，降低操作工人的认知负担。尽管 AR 可提供虚实融合的装配指导，但其虚拟的指导信息如果仍需要由操作者主动发出指令来触发，则会降低完成任务时的专注度。因此系统需要结合已经离线建立好的装配校验信息，在利用机器视觉识别技术正确判断当前装配操作状态和当前工步的基础上，自主决策在虚实融合场景中应该显示的装配指导信息并进行信息自动推送6。为辅助装配系统添加虚实融合显示的引导信息是一个重复且耗时的工作，因此系统需要利用已有的设计文档以及三维模型等装配信息源，这样既能复用设计知识更好地指导装配，又能将信息与系统松耦合实现快速开发。在装配过程中，在众多相似的零件中查找当前所需的正确零件是一个关键且易错的步骤，因此系统也应对此进行辅助，应能够利用机器视觉技术提取零件的关键点并与该装配步骤的正确零件的模型进行对比，实现零件的辅助查找。装配质量控制是保证复杂产品最终质量的关键步骤，对装配操作的纪录使得装配过程可追溯，便于问题的排查，因此系统需要对关键步骤进行记录存档。3.2智能辅助装配系统框架根据上述对智能辅助装配系统的需求分析，提出如图 1 所示的基于增强现实的智能辅助装配系统框架，包括面向辅助装配的多源信息模型和增强现实智能辅助装配模块。面向辅助装配的多源信息快速建模模块对现有的 CAD 系统、装配工艺设计系统、产品设计系统等进行二次开发和处理，从中获取并利用已有的产品装配信息，并分为引导信息和校验信息，为后续的 AR 辅助装配系统提供数据支撑。增强现实智能辅助装配模块包含了指导信息自动推送、装配零件辅助查找、通过手势语音交互、检验点存档可追溯等功能。总体而言，智能辅助装配系统需要能够对来自不同信息源的装配信息进行组织与管理，还需要具备装配步骤自动识别、装配零件识别辅助查找功能以及关键步骤自动保存图像等功能。3.3多源信息组织与管理面对复杂产品繁多的装配步骤，每个步骤又有各自复杂多样的信息，如果依赖人工手动地为系统重新制定引导信息，将会是一件耗时耗力的事情，且容易造成疏漏或错误。当前 CAD 系统、PLM 系统以及 CAPP 系统等都已经被广泛使用，积累了大量的装配数据，为增强现实辅助装配系统提供了强有力的数据基础。对现有的多源装配信息数据源进行组织与管理并加以利用，快速构建起装配信息模型供辅助装配系统调用，这不仅能够让用户获得更全面的引导信息，同时也能够将信息与系统耦合。为新产品开发系统时只需将信息模型进行替换即可，大大缩短系统的开发周期，更敏捷地针对不同产品进行开发。增强现实辅助装配系统无论是虚实融合场景中引导信息的显示还是装配工步的判断、装配状态的检测都需要结合装配信息模型。对来自不同信息源的装配信息进行组织与管理，构建装配信息模型，能够为辅助装配系统提供数据准备与支撑，缩短辅助信息生成时间，提高用户体验7。在为辅助装配系统制定引导信息时需要考虑刚性需求原则8，既要避免引导信息过于简略导致遗漏细节，又要避免引导信息冗余遮挡操作者视野。在对辅助装配系统的功能与操作者的需求进行分析的基础上，对引导信息进行筛选与分类，可以将引导信息分为几何信息和文本信息。3.4装配步骤自动识别目前已有的许多增强现实辅助装配系统，仍然需要操作人员通过鼠标键盘或手势主动触发虚拟引导信息，极大地影响了装配操作的连贯性9。为提高增强现实辅助装配系统的自动化与智能化程度，结合上述多源信息模型，在计算机视觉识别现场环境的基础上，采用图像特征点匹配的方法判断当前装配操作所属的装配工步。首先，装配校验信息模型中已经存储了样机试装时的各个工步的标准图像，并对图像提取特征点，作为匹配时的模板图像。装配操作进行时，将移动端采集的操作现场装配对象的图像进行特征点提取，与存储的各个工步初始状态时的模板图像分别进行特征点匹配。当匹配的特征点个数高于设定阈值且匹配的描述子之间的平均欧式距离小于设定阈值时，便可判断当前操作的工步编号10。最后根据工步编号在引导信息的数据库中进行数据检索，得到当前工步下所对应的装配辅助信息，将它推送显示在移动端的虚实融合界面上。3.5装配零件识别辅助查找装配过程中会遇到零件相似度高，难以在众多零件中选取当前所需的正确零件的问题，系统应能够利用计算机视觉技术提取零件图像的特征点并与正确的模板图像进行对比，实现零件的辅助查找。首先需要利用上述装配工步判断过程取得的工