CNN-IRLS装配孔定位方法研究_王旭东.pdf

第 卷 第期佳 木 斯 大 学 学 报（自 然 科 学 版）年 月 （）文章编号：（）装配孔定位方法研究王旭东，黄海滨（厦门理工学院机械与汽车工程学院，福建 厦门 ）摘要：针对零件缺陷、反光或是环境光照不足不均，提出了一种通过卷积神经网络（）一次定位，再二次运用改进迭代重加权最小二乘法（，以下简称 ）进行筛选和拟合进而进行二次定位的方法。在一次定位时，训练模型的准确率和召回率分别达到 和，结合二次定位识别率为，相较于常规形态学筛选和模板匹配在复杂光照下的识别率分别提高了 和。二次定位时，圆孔的最大定位误差为 ，平均误差 。对比 法和 直接定位，最大误差分别减少了 和，平均误差分别减少了 和。关键词：卷积神经网络；迭代重加权最小二乘法；孔定位；机器人主动装配中图分类号：；文献识别标码：引言使用机器人代替人工进行轴孔装配，成为近年研究热点。而在机器人轴孔装配过程中，孔零件圆心的定位精度直接影响后续装配时长和成功率。诸多学者围绕圆孔零件视觉定位方法展开研究。朱福康等使用 深度相机对孔进行定位，根据深度图像粗略定位，再根据 变换精确定位，控制位置误差在 内。齐浪等采用 网络对圆孔直接定位，控制误差在 之间。综上，视觉寻孔问题在精确度上取得较大进展。但是在方法的鲁棒性问题上仍值得研究。因此提出了改进的 二次定位的方法，有效解决了环境复杂和零件反光、缺陷等问题。识别与定位零件图库建立常规对孔型零件识别采用形态学筛选或者模板匹配的方法。由于形态学筛选需要进行阈值分割，因金属反光导致阈值分割效果欠佳。而模板匹配在对有缺陷或相似度较高零件时往往会进行误判。基于以上种种不利因素影响，采集不同光照、不同姿态、不同图像分辨率、不同尺寸型号的键槽共计 张进行神经网络训练，为模板提供良好的鲁棒性。模型选择与评价指标软件环境：操作系统 、图像处理 、集成。选取种典型的神经网络进行小样本预训练。小样本预训练的步骤为：（）首先从以上图库中随机抽取 张，其中包含 的训练集、的验证集、的测试集。（）采用不同神 经 网络分 别 进 行 预 训 练，设 学 习 率 为 、训练周期为 。（）以低损失、高准确率和召回率为评价指标，选择最合适的神经网络为下一步的深度训练模型。训练结果如表。表预训练结果网络名称损失准确率召回率 由表可知，模型所训练的模型损失最收稿日期：基金项目：福建省自然科学基金（）。作者简介：王旭东（），男，安徽马鞍山人，硕士，研究方向：机器视觉、机器人控制。通讯作者：黄海滨（），男，福建莆田人，副教授，博士，研究方向：机器人系统开发。佳 木 斯 大 学 学 报（自 然 科 学 版）年低，准确率和召回率均为最高值故而最适用该图片集。网络模型神经网 络 的 发 展 大 大 促 进 了 图 像 处 理 技术。网络最初于 年提出，该网络模型内置个权重层。前层为卷积层用以对不同图像的特征进行提取并赋予相应权重。第、含 个神经元的全连接层用来整合特征，输出一维向量组。最后设有 路的 层，用于计算归一化概率。此外，网络将激活函数由当时主流的 和 改为 即（）（，），该函数没有饱和区且收敛较快，有效防止梯度消失。在第层和第层使用 技术，将神经元随机置零，降低了神经元之间复杂性，减少过拟合。深度训练结果及对比采用 作为训练网络模型，对 张图片进行深度训练，按照训练集、测试集、验证集 进行划分，训练周期为 ，其余参数与预训练保持一致。在训练中得到损失函数函数曲线如图所示。图损失函数曲线取验证集中 张图像分别与相应图像形态学筛选和模板匹配进行匹配和比较，其上识别率为表所示。表不同方法识别率方法识别率形态学筛选 模板匹配 卷积神经网络定位 经过卷积网络训练后的模型由于图库的多样性，所以在光照不均、光照不足、高度曝光、自然光源的场合下均有良好的识别和定位效果如图所示。改进 二次精确定位孔心自适应圆弧筛选 的训练可以对上述工件进行位置的预估，进而为筛选工作提供非常大的便利，但是由于样本的多样性对于高精度定位仍有误差，故在二次定位时进行圆弧筛选拟合。在 定位得出相应矩形框后，可根据矩形框的四个角点按顺时针坐标依次为（，），（，），（，），（，）得圆弧的一次定位半径式（）、圆心式（）。，（），（），（）（）把 区域缩减至矩形框，对上键槽做精确定位处理。首先对图像灰度化、滤波、平滑一系列预处理操作后，用 算子提取图像亚像素轮廓边缘。变换将提取出的轮廓分割成圆弧和直线，连接附近具有相似圆心和半径的点云。图不同光照下神经网络识别效果根据粗定位时 训练模型的评价指标，人为定义第一次定位的圆半径与实际圆半径之间的误差、（单位：像素），则可得实际的圆半径范围为，。同理定义可得实际的圆心横、纵坐标范围为，如图所示，由此根据这两个特征范围筛选矩形框中相应的圆弧拟合后进行筛选。当 训练指标足够好时，证明一次定位的值与真实值越接近，可以把误差设置的足够小。程序设定值为，时，测试集中的圆拟合成功率为。改进 圆拟合实际在 亚像素边缘化时由于零件反第期王旭东，等：装配孔定位方法研究光、缺陷等原因导致有多段圆弧轮廓或是有内孔干扰导致误差较大，如图。：实际圆心坐标：圆心坐标图圆弧筛选范围图 边缘化采用 可排除超差圆弧的干扰。对遮蔽、零散圆弧效果好并且可以筛选出内孔。设、分别为圆心的横纵坐标，为半径。某圆弧上点（，）到圆心距离则最小二乘误差函数如式（）：（）（）（）（）引入 权值函数对每个圆弧上的点根据半径大小赋予相应的权值如式（）、（）：（）（）（），（）.（）为每一点对应圆心的距离权值，为削波因数，圆弧上的点距离大于的点被赋予权值为，而小于被赋予，之间权值。为小的常数通常人为定义为。引入距离权值后最小二乘法误差函数平方为如式（）：（）对的各项求偏导，进行最小二乘法拟合。在第一次迭代时采用标准最小二乘法，即，按照 舍去离群点后再次赋权进行迭代。通过该方法筛除和拟合各个圆弧上的点，得到对应半径和圆心后，用一次定位时圆弧半径、圆心范围筛选。将符 合 范 围 条 件 的段 圆 弧 拟 合 的 圆 心（，）和段半径进行加权平均拟合（，）。根据每条轮廓的弧长占总弧长的比例再次赋予其相应权值。则可得圆心坐标式（）和半径式（）。：，（）（）（）在得到加权平均后的圆心坐标和半径后，分别计算未加权前每段圆弧圆心和之间的差 值、半 径和之 间 的 差 值。再 次 利 用 判断和筛除超差的圆弧后，进行迭代，得出最后的圆心和半径，流程图如图所示。图 流程图改进后的 迭代法不仅根据圆心距离赋予相应权值，还根据圆弧长度再次赋予权值进行筛选迭代，对于离群的圆弧可以有效的筛出。下图为图改进前后圆拟合情况。可从图中直观看出改进前的圆弧拟合会偏向圆弧密集的一侧，而改进后的圆拟合明显有很大改善。标定机器人手眼标定就是图像像素坐标系与机器人坐标系之间的转换关系。实验采取 （机器人和工业相机相对固定）九点标定法进行标定。九点标定法可用于二维平面 系统，相对其它标定法更加简单如式（）：（）佳 木 斯 大 学 学 报（自 然 科 学 版）年式（）中，为图片的像素坐标系。，分别对应着机器人坐标系，轴方向缩放比例。，分别，方向位移。将标定板上个点的实际位置（，）与像素点的个位置带入式（）得仿射矩阵见式（）：（）采用最小二乘法拟合仿射矩阵，即可得到两坐标之间转换关系。图改进前后圆拟合情况测量实验用 的键槽孔零件位于个不同的位置进行定位实验，分别使用常规寻孔的 变换法、一次定位法、二次定位法，记录其与实际位置之间的误差（单位），结果如表所示。表测量位置与实际位置误差位置 法一次定位二次定位（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）根据表分别采用轴、轴方向最大误差和轴、轴平均误差和来评价优化指标如表所示。表最大误差与平均误差方法最大误差最大误差平均误差 法 一次定位 二次定位 对 比 可 知，二 次 定 位 法 最 大 误 差 相 对 于 法和一次定位的误差分别减少了 和，平均误差分别减少了 和。三种方法位置误差趋势如图所示。图误差趋势图结语针对视觉定位圆孔型零件孔心的问题，提出了一种二次定位的方法。该方法相比传统视觉寻孔有以下优势：（）采用神经网络训练不同环境下的装配孔图片集，避免了使用阈值分割进行筛选，可以应用于复杂光照环境下寻孔；（）根据 定位矩形框参数对其亚像素轮廓进行自适应圆弧筛选。可以依次找到因为反光而缺损的圆弧，且自适应不同尺寸的孔型零件定位；（）改进的 拟合不仅有根据圆心赋予权值后，还根据弧长赋予权值后进行筛选，在处理小缺陷和反光的金属零件时优势明显。参考文献：朱福康，丛明，刘毅，等基于 图像的机器人无标定视觉定位计算机集成制造系统，第 卷（）：齐浪基于机器视觉的螺纹孔识别定位及装配轨迹优化方法研究西安：西安建筑科技大学，王洪雁，邱贺磊，郑佳，等光照变化下基于逆向稀疏表示的视觉跟踪方法电子与信息学报，（）：唐勇，王美林基于改进 的 皮革瑕疵检方法研究 佳木斯大学学报（自然科学版），（）：，：，（下转 页）佳 木 斯 大 学 学 报（自 然 科 学 版）年夜间灯光强度所表示出的特征贡献值在正负区域内分布情况相当，不具有显著的正相关关系，其原因在于夜间灯光来源的复杂性，除了人口聚集的家庭照明灯光外，道路灯光和景色关照灯等也会影响到夜间灯光值的分布，故其与对人口估算的贡献特征值的变化具有复杂变化的态势。图住宅用地、生活服务和夜间灯光特征值与特征贡献值之间的关系结论大数据、地理信息技术和数据融合手段的不断改进和优化，为探究随机森林算法下的人口空间化提供了新的技术手段支撑。基于随机森林算法下的特征提取改进和对人口空间误差的控制，发现模型估算的人口数值与实际数值之间相差不大，其数值多集聚在网格的左下角部分，且其拟合曲线 的决定系数（）可以解释因变量约 的变异，人口分布呈现出“中心高值聚集四周低值环绕”的空间格局。同时发现住宅用地特征数量与其特征贡献值之间呈现上升态势，其最大值为 ；生活服务点的特征贡献值在信息点核密度之前是与密集程度成正比，但在核密度为之间时，其数值基本维持在 之间；总体看来，基于随机森林算法建立的模型能较好探究人口空间分布及其影响机制，其将人口空间进行网格化处理的研究思路能较大程度上提高人口估算值算法的精确度，丰富了后续人口化研究标准。参考文献：郭子翰，陈斐，刘晓丽，等 基于土地利用类型提高人口格网数据空间精度的方法测绘通报，（）：刘正廉，桂志鹏，吴华意，等 融合建筑物与 数据的精细人口空间化研究 测绘地理信息，（）：王美玲，张和生 基于珞珈一号夜间灯光数据的人口空间化研究 地理空间信息，（）：成方龙，赵冠伟，杨木壮，等 集成地理探测器与随机森林模型的城市人口分布格网模拟 测绘通报，（）：郑茹敏，梅林，姜洪强，等基于随机森林模型的中国流动人口社会融合空间差异及影响因素 地理 科 学，（）：李昊，张和生，王美玲基于 和 夜间灯光数据的人口空间化对比研究 以北京市为例 遥感信息，（）：，（）：（上接 页），（，）：，（），（），：；