云环境下的工业机器人零件抓取实验系统设计_闫纪红.pdf

ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 41 卷 第 12 期Vol41 No122022 年 12 月Dec 2022DOI:10 19927/j cnki syyt 2022 12 018云环境下的工业机器人零件抓取实验系统设计闫纪红1，荆添一1，张宇浩2(1 哈尔滨工业大学 机电工程学院，哈尔滨 150001;2 香港科技大学 智能建造研发中心，香港 999077)摘要:设计了一种云环境下的工业机器人零件抓取实验系统。该系统基于面向工业机器人的云边端架构，应用云计算、机器视觉、网络通信，以及多机协同交互技术，实现了工业机器人对零件的动态抓取。实验系统经实验测试，结果表明，此系统能够实现对多种零件的动态抓取。通过在云环境下设计的工业机器人零件抓取系统，可以充分利用云平台的存储能力和计算优势，突破了传统的工业机器人抓取系统存在的本地数据资源和计算资源的限制，在应用层面上提高了工业机器人的智能化水平。同时，设计了零件识别与定位实验和零件动态抓取教学实验，以达到培养学生创新意识及综合能力的目的。关键词:工业机器人;抓取系统;云环境中图分类号:TP 241 2文献标志码:A文章编号:1006 7167(2022)12 0091 04Design of Industrial obot Part Grasping Experimental Systemunder Cloud EnvironmentYAN Jihong1，JING Tianyi1，ZHANG Yuhao2(1 School of Mechatronics Engineering，Harbin Institute of Technology，Harbin 150001，China;2 Hong Kong Center for Construction obotics，The Hong Kong University of Science andTechnology，Hong Kong 999077，China)Abstract:An experimental system for industrial robot under the cloud environment is designed for dynamic graspingparts，it relies on the cloud-edge-terminal framework and technologies including cloud computing，machine vision，network communication，and multi machine cooperative interaction The test results show that a variety of parts can begrasped by the proposed system，which breaks limitation of local s computation and data resources，and characterizesintelligence features of industrial robot Two teaching experiments are designed，including the part recognition andpositioning experiment and dynamic part grasping experiment，to cultivate students creative consciousness andcomprehensive abilityKey words:industrial robot;grasping system;cloud environment收稿日期:2022-04-01作者简介:闫纪红(1972 )，女，黑龙江哈尔滨人，博士，教授，主要从事大数据制造、可持续制造、智能维护理论及应用等研究。Tel:0451-86402972;E-mail:jyan hit edu cn0引言工业机器人因其高精度以及可重复性的特点，在制造业领域内得到大量使用1，用以帮助或代替人完成多种工作2-3。其中，通过设计工业机器人的抓取系统进而完成对零件的抓取任务是生产制造中一项重要的应用4。抓取系统设计的优劣程度，体现了工业机器人的智能化水平。目前许多研究人员采用了机器视觉技术设计工业机器人抓取系统5-6，但多数是面向本地零件设计的，存在着对新零件识别准确度低与定位精度差的缺点。云有着强大的存储能力和计算能力，其出现和发展加速了工业机器人的智能化进程7-8。在制造业中，大量的零件数据储存至云中9 完成了零件信息的有效存储和共享，各类智能算法也融入其中为用户提第 41 卷供云服务10，实现了存储资源和计算资源的共享。基于云中存储的大量零件数据训练机器视觉算法，可以增强算法中模型输入的丰富程度，实现对多类零件的准确识别与定位。将该算法应用于设计工业机器人抓取系统，将会有效地提高工业机器人对新零件的抓取能力。本文基于云边端架构，设计了一套云环境下的工业机器人抓取实验系统，构建了机器人、自动导引运输车(Automated guided vehicle，AGV)、工业相机和云服务器的综合交互系统，并实验进行测试，以达到工业机器人能够对多种零件实现动态抓取的目的。1面向工业机器人的云边端系统架构设计作为一种新型系统架构，面向工业机器人的云边端系统架构可以协同云服务、边缘计算和终端设备共同完成现场任务，提高机器人的智能化水平11。该架构共分为 3 层:端层、边层和云层。本系统中，端层中包含各类执行机构和感知设备，包括机器人、AGV 和工业相机，是在工业现场实际完成各项操作的层，同时可以获取零件信息;边层是一个数据处理层，是云层与端层交流的媒介，该层既需要将相机采集的零件信息做预处理后上传到云层，也要将云层下传的信息转化为机器人和 AGV 可以理解的控制命令;云层相当于整个系统的大脑，存储海量零件信息，以及基于零件信息训练的机器视觉算法，根据边层处理后的零件信息得到算法结果，并由边层解释后指导终端工作。本文实验系统结构如图 1 所示，系统以计算机为边缘节点，各层之间通过 TCP/IP 网络协议建立连接。系统工作时，AGV 承载零件移动至工业相机视野下，相机将获取到的零件视频流传输至边层;并进一步转换为图片流传至云上，采用机器视觉算法获得该零件的相关信息;而后通过网络下传至边层计算机中确定该零件的抓取策略，并实时转化为机器人和 AGV 控制命令;利用边层计算机与机器人和 AGV 的网络通信将控制命令实时传输至端层设备的控制系统，实现零件的动态抓取。为了更好地体现利用云资源设计抓取系统的优势，在边层部署了基于本地零件数据集训练的机器视觉算法，该算法因为原始数据集的限制而只能实现对本地零件的识别与定位。2实验平台构成2 1端层设备部署端层设备是完成零件抓取任务的硬件基础，对其进行有序的部署是系统设计中的重要环节。实验平台采用 Universal obots 公司生产的 U5 机器人，该机器人具有良好的灵活性，支持网络通信，可以实时地接收计算机下传的控制命令12，将U5机器人固定于空图 1实验系统结构旷位置避免与其他设备干涉。工业相机选用海康公司的 MV-CE100-31GM 相机，可通过网络接口与计算机建立连接。端层设备部署如图 2(a)所示，系统将 AGV 运行路线作为机器人和相机布置的基准，以色带作为 AGV运行导引。在导引上以一定距离间隔设置站点二维码标签作为其定位方式，由图 2(a)所示设定站点顺序为1 6，以站点1 为起始站点，U5 机器人所处位置为站点 5，相机位置为站点 3。为建立端层设备与边层计算机的通讯，需要在局域网下设定 U5 机器人、AGV 和工业相机的静态 IP 地址。(a)总体部署图(b)AGV 导引及站点标签图 2端层设备部署2 2边层控制系统部署边层是介于云层与端层之间的层，是系统中的数据处理层，包含视觉信息处理功能、本地机器视觉算法、零件抓取策略算法和终端控制命令生成。零件抓取策略算法包括零件运动到达抓取点时的工具中心点(TCP)空间位置和 TCP 姿态13，由云下传的零件信息和定位结果确定，算法流程如图 3 所示。图 3零件抓取策略算法流程29第 12 期闫纪红，等:云环境下的工业机器人零件抓取实验系统设计本文的终端控制包括机器人和 AGV 的控制，由边层计算机统一下发控制命令。AGV 由内部的欧姆龙PLC 与边层计算机建立通讯，利用 Fins 指令14 实现对AGV 的实时控制，并获取其运行速度以便在零件抓取策略中预测 TCP 位置。AGV 是零件运动的载体，其所处位置反映零件的当前位置，系统通过实时判断 AGV所处站点序号，控制系统执行各项任务。当 AGV 运行至站点 3 时，控制相机开始工作，利用本地或云层视觉算法判断当前时刻零件与机器人基座的相对位置，经过抓取策略算法生成 U5 机器人控制命令;当 AGV运行至站点 5 时，将机器人控制命令以 U_Script 脚本形式下传至 U5 机器人中，在零件运行过程中完成抓取任务。本地机器视觉算法是基于本地零件数据训练的，适用于实现对本地原有零件的识别与定位。算法构建方法如图 4 所示，在完成相机标定和获取零件图片后，算法分为两部分:识别零件类别和零件定位。零件类别采用卷积神经网络模型(Visual Geometry Group 16，VGG16)实现对零件的实时识别，模型包含 13 个卷积层和 3 个全连接层共 16 个权值层15，可以提取到零件中细微的特征。在训练模型前需要利用数据增强方法提高数据集的丰富程度，利于提升模型训练效果。零件定位是基于 OpenCV 软件库实现，采用特征矩计算的方式获取零件的外形、质心位置以及旋转角度。本地机器视觉算法的构建方法同样可用于云层机器视觉算法的设计，不同之处在于原始零件图片数据集，云层的算法具有更多的原零件始数据类别。图 4机器视觉算法构建流程2 3云层资源部署在本实验平台的云边端系统架构中，云层依靠其中的零件数据库和机器视觉算法，以软件即服务(Software as a Service，SaaS)模式为下层提供云服务。如图 5 所示，本文以本地云为例搭建实验平台，在其中部署零件数据集并训练云层机器视觉算法。以MySQL 关系型云数据库为元数据存储方式，用于接收在 Hadoop 中管理的零件数据16。为了实现所需零件信息的完备存储，设计零件信息储存表，表中包含各类零件的类型名称、高度和轮廓尺寸等零件信息，数据格式如表 1 所示。利用 TCP/IP 协议获得零件信息并下传至边层零件抓取策略算法，指导下层工作。云层机器视觉算法训练方法同边层机器视觉算法，其中原始零件数据集内含有大量不存在于边层视觉模型中的零件类型。系统整体布置如图 6 所示。图 5云服务器集群图 6系统布置表 1零件信息储存表数据结构列名称列含义存储格式ID序列号IntPosition质心位置DoubleAngle摆放角度DoubleType零件类型Varchar(20)Size零件尺寸Varchar(30)Height零件高度DoubleSpeed运行速度DoubleTime存储时间Timestamp3实验设计3 1零件识别与定位实验本实验的核心内容在于:利用本地机器视觉算法，完成对本地零件的识别与定位;采用云视觉系统对不能准确识别的、不在本地算法模型中的零件完成识别与定位。识别与定位的实验流程如图 7 所示:需要将相机连接到边层计算机中，保证相机获取到的零件信息可以实时传输到计算机中;给定不同角度摆放的零件，要求分别利用本地视觉算法完成对零件的识别与定位;对于未在本地视觉模型中的零件，本地视觉算法会出现识别错误或无法识别的情况，此时使用云层机器视觉算法，可实现对新零件的识别与