基于视觉的工业机器人码垛控制系统_刘天宋.pdf

收稿日期：基金项目：江苏高校“青蓝工程”资助项目；常州市科技局应用基础研究项目（）第一作者：刘天宋（），男，山东济宁人，研究生学历，讲师，研究方向为工业机器人技术。：基于视觉的工业机器人码垛控制系统刘天宋，张 俊，张任天，徐 晶，马中印（江苏联合职业技术学院常州刘国钧分院，江苏 常州 ）摘要：为避免工业机器人码垛过程中出现物料错位、物料摆放位置不准确等问题，基于实际问题，设计了基于视觉的工业机器人码垛控制系统。该系统利用欧姆龙视觉系统，得到了各个物料两个标记点在相机坐标下的位置信息，通过 通信，将信息传送给机器人；通过分析机器人运动学算法和坐标融合方法，得到了图像数据与机器人基坐标的关系；通过编写机器人 程序，实现了物料摆放位置修正运动。试验结果表明，物料的放置位置误差均值在基坐标的、方向分别被控制在了 和 内。所述控制方法实现了工作区域内物料的准确定位，精度高，鲁棒性好，满足了工业使用要求。关键词：工业机器人；视觉检测；位置修正；中图分类号：；文章编号：（）文献标识码：，（，）：，：；引言随着制造业的快速发展，特别是伴随着工业机器人技术的日趋成熟，码垛作业越来越趋向于自动化。工业机器人通过本体、末端执行装置等部位的协调运动，能够将物料按照规定要求码放到合适位置，效率高，安全性高，应用越来越广泛。但是，在实际生产中，由于各种因素影响，采用机器人示教编程实现码垛时，一旦工作环境发生变化，往往会出现错位、物料摆放位置不准确等问题。这就要求码垛机器人能够实时获取物料实际位置，并能够进行自动调整和修正。针对该问题，为提高码垛机器人的智能定位精度，视觉技术被逐渐引入到机器人码垛控制系统中。国内外学者开展了一些相关研究，例如，李翀针对码垛过程中，箱体容易出现的堆叠和错位导致后续生产过程不能顺利进行，进而影响生产效率的问题，提出了基于视觉的机器人码垛错位检测系统和方法。朱元丰针对表针生产过程中的自动码垛问题，设计了基于机器视觉的表针自动码垛系统。刘彩霞针对食品包装码垛机器人只能完成固定 年第 期 工业仪表与自动化装置形状物品码放，不能根据码垛对象尺寸、形状等具体情况进行相应判断等问题，设计一种基于机器视觉的食品包装码垛控制系统。该文基于实际需求，结合图像处理，通过检测物料标记点，计算坐标偏移量与角度，并结合机器人运动学算法，设计了工业机器人码垛控制系统，为生产线自动化提供一种有效方案。系统构成和需求该文所述码垛系统包含工业机器人，欧姆龙 视觉设备、触摸屏，编程计算机等设备，如图 所示，各设备间通过以太网通信。其中，为整个系统的核心，控制着系统的工作节拍。视觉单元包含图像采集设备和图像处理设备，图像采集设备是由一颗 镜头和辅助 光源组成，图像处理设备是欧姆龙的 ，最大图像分辨率为。系统通过欧姆龙视觉设备对物料进行视觉拍照和处理，得到物料的信息，通过宏程序处理后，再通过网络通信将信息发送给 机器人，最后通过控制各关节运动实现物料摆放位置修正运动从而将物料精确的摆放到指定位置。图 基于视觉的工业机器人码垛控制系统 图 所示为物料块的摆放垛形，要求三块相同的物料均匀的摆放在码垛平台上。物料摆放为单层摆放。理想状态下，物料的边缘分别与世界坐标系的 轴或 轴平行。图 码垛垛形 机器人数学模型 参数图 所示为 机器人的结构简图和简化后的各关节坐标系。表 为该机器人的 参数表。图 机器人的结构简图和简化后的各关节坐标系表 的 参数表关节夹角 （）距离 （）角度 （）长度 注：是机械臂相邻两个连杆之间的夹角；是机械臂两个连杆之间的距离；是机械臂关节 的轴线和关节 轴线的角度；是机械臂第 个连轩的长度。工业仪表与自动化装置 年第 期 运动学正解为得到机器人末端执行器相对于基坐标系的位姿，该文利用 模型建立 机器人的运动学方程。根据 算法，可以得出相邻连杆之间的坐标变换矩阵为：（，）（，）（，）（，）（）即：（）进一步的，得到工业机器人末端坐标系相对于基坐标系的位姿为：（）式中：（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）式中：和 分别代表 和 。视觉系统模型 角度、偏移距离计算为提高物料的摆放精度，该文在物料块底部的左上角和右下角设置有两个标记点，如图 所示。图 物料块 图 中，实线表示的是物料的理想摆放位置，虚线表示的是实际摆放位置。理想的物料摆放状况是物料的边与世界坐标系 的 和 坐标轴平行，如图 实线所示。实际摆放情况与理想状况摆放情况存在差异。图 物料块理想摆放位置与实际摆放位置 由于物料放置平面固定，为简化计算，假设理想情况下，、两点的 坐标不影响物料摆放，在机器人世界坐标系中的坐标值为（，），（，），均可以由视觉检测得到。则理想状态下：（）（）（）而实际状态下，角度计算如下：（）（）（）则实际角度与理想角度偏差为：（）年第 期 工业仪表与自动化装置坐标偏差为：()()（）()()（）坐标融合为了实现工业机器人通过视觉系统精准抓取物料，需要确定相机坐标系与工业机器人的工具坐标系相对于机器人基坐标的关系，即需要将图像信息与机器人坐标在视觉坐标下进行融合 。机器人坐标系与视觉坐标系之间的转换关系如下：（）其中，（，）为点在视觉坐标系中的坐标，（，）为点在机器人基坐标中的坐标，进一步的，上式可以简化为：（）求出，即可得到相机坐标系到工业机器人基坐标系的转换矩阵。实验验证 视觉系统通过计算机视觉设备，获取输入图像信息，并对图像进行前处理。利用“形状搜索”，登录模型，并设置检测区域，测量参数等，分别设置标记点 和标记点检测点，以方便后续输出各个标记点的测量坐标，测量坐标 和测量角度，如图 所示。通过“处理单元宏”流程，对数据进行处理，最后通过“串行数据输出”将数据发送给机器人。视觉检测流程图如图 所示。图 视觉测量参数设置图 视觉设备检测流程 机器人系统视觉设备的拍照指令由机器人 程序控制。视觉设备与 机器人采用以太网通信，视觉场景切换和检测的机器人部分代码如下：（）；，；：；：；：；：；：（，）；通过上述代码，机器人获取到视觉设备发送的信息，经处理后，可以得到、等参数。通过以上参数，进而计算出机器人基坐标下的坐标偏差和角度偏差。通过机器人的逆运动，可以推算出机器人六轴的偏移距离和旋转角度，实现机器人的位置修正运动。最后由 控制机器人运动，调整机器人到达正确位置和姿态。整个过程，机器人流程图如图 所示。工业仪表与自动化装置 年第 期图 机器人程序流程图 实验验证图 所示为实验中的机器人吸取物料经视觉检测的过程。根据码垛平台与机器人的相对位置关系，计算出来了物料、物料 和物料 中心点在机器人基坐标下的理论放置位置处的、坐标值，将这些坐标值与通过机器人（）函数获取的视觉修正后基坐标下物料实际摆放位置处的、坐标值进行了对比，结果如表 所示。从表中数据可以看出，各个物料放置位置偏差比较小，方向误差控制在了 以内，方向误差控制在了 内，与人工示教精度比较相差不大，可满足精度要求。图 对物料进行视觉检测表 测量数据与理论数据比较表（单位：）物料编号序号基坐标下物料理论位置视觉修正后基坐标下物料实际摆放位置误差值物料 续表 物料编号序号基坐标下物料理论位置视觉修正后基坐标下物料实际摆放位置误差值物料 物料 结语该文基于实际的码垛需求，通过利用视觉检测物料上的两个标记点，得出物料在图像坐标系中的位置和角度；再通过机器人运动学算法，得出了物料在机器人基坐标下的坐标偏移量与角度偏差；编写了机器人程序，由 程序控制机器人运动，对位置偏差和角度偏差进行修正，最终实现了物料摆放位置的精准控制。实验表明，各个物料放置 方向放置误差控制在了 以内，方向误差控制在了 内。所述控制方法避免了因环境因素变化导致的物料码垛错位、物料摆放位置不准确等问题，可实现工作区域内物料的准确定位，精度高，鲁棒性好，满足了工业使用要求。参考文献：吴萍 包装生产线用码垛机器人智能定位方法 包装工程，（）：朱洪雷，代慧，罗隆 基于自动化包装码垛技术的码垛机器人研究 包装工程，（）：李致金，武鹏，乔治，等 基于机器视觉的机器人工件定位系统 组合机床与自动化加工技术，（）：李翀，付文杰，王浩，等 基于视觉的机器人码垛错位检测系统和方法 制造业自动化，（）：姚莉娟，盛星奎 基于 机器人工作站的码垛工艺设计 科学技术创新（）：李翀，付文杰，王浩，等 基于视觉的机器人码垛错位检测系统和方法 制造业自动化，（）：朱元丰 基于机器视觉的表针自动码垛系统 机械制造，（）：刘彩霞，杨春 基于机器视觉的食品码垛机器人控制系统设计 食品工业，（）：（下转第 页）年第 期 工业仪表与自动化装置综上所述，移动式标准表法气体流量标准装置采用弹簧减震杆和气囊减震系统，可以对整体装置及装置所采用的标准表起到很好的保护作用，保证移动式标准表法气体流量标准装置整体性能稳定可靠，标准表性能稳定可靠。参考文献：计量标准考核规范：北京：中国计量出版社，标准表法流量标准装置：北京：中国计量出版社，侯学青，李斌，姚蜜，等 现场服务型标准表法气体流量标准装置的研制 计算机测控与控制，（）：黄向阳，李长武，张东飞，等 双罗茨标准表法气体流量标准装置的研究 工业计量，（）：古义明，张汉周，陈文达，等 临界流文丘里喷嘴法气体流量标准装置主要性能研究 中国计量，：闫海明 标准表法涡轮流量计误差评定方法 计量测试与技术，（）：闫海明，张文涛，李国祥 期间核查在标准表法流量标准装置的应用 工业计量，（）：国明昌，侯庆强 流量计核查技术在天然气流量计检定中的应用 计量技术，：国明昌，李锴，钱星，等 关于天然气流量标准装置期间核查方法的讨论 工业计量，（）：韩冰 音速喷嘴对气体罗茨流量计计量结果的影响 流体测量与控制，（）：张东 气体容积式流量计测量结果的不确定度分析 科技风，：（上接第 页）结语该文设计了一个基于四轴机器人的冲压上下料控制系统，采用改进 建模法，建立了四轴机器人运动学模型并对其正逆运动学进行求解，通过 软件对其进行仿真分析；在关节空间下对机器人进行轨迹规划 ，并发现关节空间的轨迹规划在上下料过程中更加适用。经过测试，在上下料过程中机器人能够快速稳定地完成动作，其中取料点与取料辅助点之间、放料点与放料辅助点之间轨迹近似直线。长时间连续运行机器人没有出现抖动、基座移位现象，符合预期目标。参考文献：王守城，王熙，段俊勇，等 基于 的冲床上下料机械手运动学分析 机械设计与制造工程，（）：胡馨予，胡毅，韩梁，等 自驱动关节臂坐标测量机轨迹规划与仿真 工具技术，（）：云善起 基于 的 机器人控制系统设计 青岛：青岛大学，王涛，潘博，付宜利，等 基于 和 的微创手术机器人 华中科技大学学报（自然科学版），（）：郑博涛 基于 的打磨轨迹拟合与仿真研究 机械工程师，（）：丁泽华，董虎，王见，等 五自由度混联机构运动学及工作空间分析 东华大学学报（自然科学版），（）：王玉梅，杨洪鑫，黄赛帅，等 双臂机器人的运动学分析与运动控制 工业控制计算机，（）：余亮，张龙，王鹏 局部闭链码垛机器人运动学分析及轨迹规划 机床与液压，（）：张剑，郑亚辉，钱红飙 大型探月机械臂运动学分析 工程机械，（）：林孟豪，张蕾，李鹏飞，等 基于复杂轨迹的分段式机械臂轨迹规划 西安工程大学学报，（）：曹阳，丁一岷 基于双目视觉的机械臂位姿估计及目标自动定位系统 电子设计工程，（）：（上接第 页），（），：李致金，武鹏，乔治，等 基于机器视觉的机器人工件定位系统 组合机床与自动化加工技术，（）：权宁，徐志鹏 基于视觉的工业机器人码垛系统设计与分析 包装工程，（）：曹阳，丁一岷 基于双目视觉的机械臂位姿估计及目标自动定位系统 电子设计工程，（）：工业仪表与自动化装置 年第 期