金刚线断线视觉检测系统研制_丰宗强.pdf

北大中文核心期刊国外电子测量技术 ：金刚线断线视觉检测系统研制丰宗强应一鹏章甫君凡银生姚建涛（燕山大学机械工程学院 秦皇岛 ）摘要：金刚线断线检测是金刚线生产过程中的重要环节。针对现有接触式检测方法敏感度低、断线反馈滞后等问题，提出了一种基于机器视觉检测激光下金刚线反射的光斑点的非接触式断线检测方法。设计了一个金刚线光斑点检测的嵌入式平台，并基于图像处理技术对光斑点检测方法进行了研究。首先，对原始图像进行预处理、空间滤波操作和直方图均衡化，滤除了背景中大部分的细小干扰亮斑点，突出了暗背景下的目标斑点，利用改进的局部自适应阈值算法，有效地将目标斑点和背景进行分离，减轻了斑点亮度不均对斑点分割的影响。接着，提出基于 算法的多约束目标轮廓检测算法，结合斑点的几何形态、分布和线性分布规律，对目标斑点进行轮廓检测，进一步滤除了图像中的干扰斑点，有效地识别出了所有目标光斑点，得到了较理想的光斑点分割与检测的效果。最后在金刚石产线搭建样机实验，在金刚线生产周期中，系统光斑点检测正确率达到了 以上，同时检测系统在断线反馈时间相较于现有系统快 ，同时在误报警率上，检测系统优于现有系统。实验结果表明，该检测系统能够准确稳定进行断线检测，为金刚线检测提供了一套良好的参考方案。关键词：金刚线；断线检测；机器视觉；光斑点；轮廓检测；嵌入式中图分类号：；文献标识码：国家标准学科分类代码：（，）：，：；收稿日期：基金项目：国家自然科学基金（）项目资助引言金刚线是硬脆材料的切割工具，其广泛应用于宝石、硅片、太阳能板的切割作业。在金刚线生产线上，线径为 左右的极细金刚线高速紧绷行进，会对接触的物体产生极强的切割作用，同时任何额外的接触带来国外电子测量技术北大中文核心期刊的振动或者其他不稳定因素都有可能导致线受力不均而断裂。所以在金刚线生产制程中如何能够快而有效的检测金刚线出现断裂异常和准确捕捉断线位置是金刚线生产过程中的重要课题。国内外金刚线生产厂商在金刚线断线检测中普遍在生产线线头和线尾采用拉力传感器进行检测，通过测量线的张力来判定金刚石线是否断裂，本文方案具有可靠且稳定优点，但同时存在断线反馈滞后导致增加损失且设备成本较高的缺点。由于在激光照射下金刚线网呈现明显的光斑点，故将金刚线的是否断线的状态表征为光斑点有无。通过视觉检测金刚线反射的亮斑点达到检测是否断线的目的，从而将断线检测转化为视觉光斑点目标检测的问题。斑点检测是机器视觉研究的重要内容之一，随着图像处理技术的日趋成熟，斑点检测已经应用于产品缺陷检测、医学图像检测、遥感识别等诸多领域。在传统图像处理方法中，图像处理主要根据图像像素点像素值及其分布规律做出图像处理决策。斑点检测是区域检测，在数字图像中根据像素点灰度和颜色信息找出和周围区域像素特征不同的像素点集合，该像素点集合就是检测的目标区域。斑点区域内像素点，其特征都保持相似，而与斑点区域外的像素点存在特征区别。根据这一思路，在实际应用过程中提出了不同的检测策略，赵雁等利用 算子、算子等多种算子对激光光斑进行边缘提取，并对多种算法进行了分析总结。曹潇等采用支持向量机（，）的图像阈值估计方法，利用 算法进行图像二值化阈值估计，然后基于轮廓提取对二值化图像中的目标斑点进行检测，最终实现了钢管堆垛的自动计数。等 提出基于 规则的自适应阈值估计方法对图像进行二值化，再借助轮廓提取实现了玻璃管表面斑点缺陷的检测。文献 则采用分水岭算法对细胞斑点进行检测，针对细胞斑点，采用分水岭算法，将斑点距离变换后的图像作为分水岭算法的处理对象，有效的排除了图像中冗余的纹理等细节信息。基于阈值的斑点检测方法还被应用于 芯片定位、皮蛋斑点 和布匹疵点 的检测。王颖等、孟庆琳等 则采用（）法和（）法来进行图像斑点检测。本文针对金刚线在线扫激光照射下形成的光斑点的工作特性开发的检测系统，用于检测金刚线在生产过程中的工作状态，判断金刚线是否出现断裂。研究并提出一个可以应用在分布式嵌入式平台的实时斑点检测算法，并开发了一套完整的嵌入式工业视觉检测系统。检测系统方案设计金刚线断线检测是金刚石生产线上的重要环节。任何额外的接触带来的振动都有可能导致线受力不均而断裂。本文采取非接触式的检测手段进行断线检测，采用激光反射的检测方法。检测原理该系统的基本工作原理如图所示，以线扫激光光源向生产线上的金刚石线投射激光，激光照射在金刚石线网上形成一排光斑点，将识别金刚石线的运动状态表征为金刚石线上漫反射形成的亮斑状态，并通过 摄像头对亮斑状态进行图像采集并进行视觉检测，从而判定金刚石线状态。图金刚线断线视觉检测原理系统对金刚线线网进行实时扫描，图像采集端的从控制器接受控制器指令调整光源角度和人机交互模组提供良好的图像识别环境，摄像头动态捕捉图像帧并视频数据流送至控制器端，控制器端应用先进的图像处理算法，实现对产线上线网状态进行过程监测；同时通过建立与产线主控 系统间的数据传输机制，实现线网状态的动态更新，形成完善的线网在线监测目的。系统结构光斑点视觉检测系统的系统组成如图所示，样机如图所示，分为图像采集端和控制器端两部分。图像采集端主要由图像采集和辅助功能组成，辅助功能包括光源以及 交 互 灯 组 的 控 制，图 像 采 集 和 传 输 主 要 依 靠图金刚线断线视觉检测硬件组成图金刚石断线视觉检测系统样机北大中文核心期刊国外电子测量技术个 工业相机模组和有源 模组。图像采集端以 最小系统板作为控制器接收控制器端的控制信号并控制舵机、灯组和激光笔等从设备。控制器端主要由 嵌入式模组和外围电路组成，控制器端的 模组通过 线缆直接接收相机模组的视频流数据并进行目标检测。检测流程检测系统的工作流程如图所示，检测过程简便智能，以降低检测人员的工作强度。图检测系统流程检测员打开系统电源，并登录检测软件，在调试模式中进行参数调试，调试成功并将模式切换成工作模式并进行检测工作。系统将会保存参数调试，故每条产线只需在刚启动检测系统时进行参数调试后便可进行检测工作。检测软件系统设计 软件设计视觉软件系统运行在 操作系统中，采用 开源视觉库进行图像处理，结合 的引脚外设，运用开发工具实现了多任务、多线程的应用程序。应用程序采用模块化设计，主要分为用户登录模块、网络通信模块、图像传输和处理模块、下位机串口通信模块、信息交互模块。为保证设备能够及时得到系统的响应及检测系统的流畅性，在程序设计时采用多线程设计，其中主线程为 界面线程，该主线程下设有图像传输和检测线程、网络通信线程、命令响应线程和状态监测及显示线程个子线程，软件系统整体框架如图所示。图检测系统软件框架图软件系统主要分为上位机界面和下位机端，用户通过登录模块进入 上位机界面。图像传输和检测线程负责图像传输和处理模块，负责接收工业相机模组传输的图像数据并进行实时的斑点检测，将标注有检测结果的图像输出到人机交互界面中并更新目标的参数数据。网络通信线程负责网络通信模块，负责与生产线主控 进行信息交互。命令响应线程负责下位机串口通信模块，负责执行上位机界面操作指令，采用或 串口通信协议向下位机传输命令信号并且负责接收外部中断信号并触发相应的命令动作。状态监测和显示线程负责信息交互模块，负责对目标数据的实时监测，负责数码管等报警装置的命令动作。检测系统在生产线上工作时的软件界面如图所示，其中界面左上角窗口为原始图像显示窗口，能够显示个摄像头采集到的实时图像，界面右上角窗口为图像经过斑点检测的结果图像，通过结果图像可以观察到实时的亮斑点检测结果。通过摄像头原始图像和检测结果图像的对比，可以得知亮斑点检测过程中是否存在漏检或误检的现国外电子测量技术北大中文核心期刊象。界面左下角是软件日志输出窗口，窗口能够实时滚动输出系统信息，能够用于直观显示目标亮斑点的检测结果，输出当前的检测状态及其他的系统信息。界面右下角是系统参数配置窗口，界面操作的系统参数输入都在该窗口完成，其中截取区域参数栏中能够选定图像中执行目标检测的区域，提高检测任务的灵活度，默认为全图检测。配置参数栏中能够调整图像采集端的光源角度及配置 通信参数。图检测系统软件检测界面为避免出现由于外界光照影响或其他不稳定因素导致误报警的问题出现，程序设定在工作模式下若其中一个相机视野下出现帧图像光斑点点数小于金刚线该有在线数量，则此相机将连续捕获后两帧图像，只有在连续帧图像均出现斑点识别数量少于金刚线该有的在线数量时判定为金刚线网出现断线并发出报警信号，若后两帧图像斑点识别正常，其他情况均不视为出现断线。图中，正常金刚线在线数量为。通信搭建生产线的现场主控系统需要实时检测各生产线的运行状况，并在中央显示屏上显示各条生产线上检测目标的数量信息并进行生产状态监测及报警，故视觉软件系统需要实时传输生产线检测目标信息。在视觉软件系统中采用 协议与生产线现场主控 搭建通信，将视觉软件系统端设置为客户端，生产线主控 设置为服务端进行连接。生产线现场主控系统的 采用三菱系列 ，在 服务端采用协议接收客户端发送的 数据，协议通过向外部设备开放可编程控制器内部的特定位置的寄存器来与外部设备进行数据交互。本文的设计方案采用 和二进制的通信数据格式。协议通信报文格式如图所示。图协议通信报文格式 图像实时传输策略在图像检测和显示线程中，库函数实现了对 接口函数的封装，库函数中利用 （）函数捕获视频设备节点，并利用 （）函数读取视频数据流中的每一帧图像。在针对视频帧的斑点检测任务中，设计 子线程，图像检测和显示线程负责进行斑点检测并将原始图像和完成检测的图像显示在界面窗口中，子线程为图像检测和显示主线程提供待检测的视频帧，在子线程中开辟全局的栈空间用于存储 （）函数实时读取到的摄像头图像帧，若栈空间满则清空栈，主线程的每次斑点检测循环中从全局栈空间的栈顶弹出视频帧，由此来保证斑点检测的视频帧的实时性。由于全局栈空间能够被主线程和 子线程访问，故添加锁机制，防止两者线程的资源冲突，当某个线程将要访问共享栈空间时，先查询栈空间是否上锁，若上锁则阻塞线程等待栈空间解锁，若栈空间未上锁则申请栈空间上锁，操作完毕之后再将栈空间解锁。视频帧栈的设计保证了主线程得到的视频帧始终为实时的视频帧，保证了检测的实时性，避免了检测的延迟。视频帧斑点检测的程序流程如图所示。检测系统的关键算法 图像预处理图像滤波可以抑制图像噪声，使图像变得平滑、锐化、边界增强。在该图像处理任务中，对图像执行滤波操作以滤去黑色背景上细小亮斑点，减小其对后续检测造成的干扰，同时还需避免对目标亮斑点造成影响。从实验结果得出中值滤波的效果最佳。北大中文核心期刊国外电子测量技术图图像实时传输策略流程在实际采样的图像中目标斑点的明亮程度并不相同。斑点距离线激光光源的距离越远，目标斑点越暗。由于线激光光源在图像视野正上方，图像中两侧的斑点暗，中间的斑点亮，在目标检测和分割过程中为了达到较好的斑点检测效果，需要对采集图像进行图像增强 操作，增加两侧斑点亮度，增强图像的对比度。针对图像中亮度不均的问题采用灰度变换和直方图均衡化操作进行处理。其中 滤波是图像灰度变换的一种有效方法。如图所示，滤波和直方图均衡化后亮斑点和黑色背景之间的对比度都得到了不同程度的增强。从直方图中可以看出图像增强操作后的图像中 区间的像素点分布都增多，说明斑点区域的像素都得到增多，斑点面积增大即斑点变得更加明显和明亮。光斑点阈值目标分割算法由于采样图像中斑点的亮度高，背景的亮度低，根据斑点和背景灰度值的差异及两者之间的像素灰度的不连续性进而将斑点进行分割和识别。阈值分割 是目标分割的一种策略。阈值分割中的阈值主要有人工经验选择、全局自适应、局部自适应种方法进行确定。阈值取值的恰当与否直接决定目标分割效果的好坏。人工选取阈值对目标进行分割的方法在目标灰度特征较明显，目标较易分割的场合，效率高且效果好，但在该亮斑点分割场景中，斑点亮度不均，大小不同，阈值的确定较为困难，人工选取阈值效果并不理想，且随着环境的变化最佳阈值也会随之变化。同时 阈值分割全局自适应阈值偏小，阈值分割法确定的全局自适应阈值偏小，其二值化效果与人工选取