基于机器视觉的大面积触控屏...etal_Mesh缺陷检测_李奇楠.pdf

第 43卷 第 3期 高 师 理 科 学 刊 Vol.43 No.3 2023 年 3 月 Journal of Science of Teachers College and University Mar.2023 文章编号：1007-9831（2023）03-0038-05 基于机器视觉的大面积触控屏Metal Mesh缺陷检测 李奇楠，向万贵，丁状，罗小洁（齐齐哈尔大学 理学院，黑龙江 齐齐哈尔 161006）摘要：由于在大面积触控屏 Metal Mesh 的生产过程中，曝光机在长时间运行时会出现运行轨迹偏离，造成金属网断线和毛刺等问题对此，设计了一种用于检测金属网缺陷的机器视觉检测系统，该机器视觉系统能通过工业摄像机采集图像，然后进行图像增强算法祛除环境干扰，Canny 边缘检测算法划定图像边界，能快速检测出缺陷和其坐标位置 关键词：机器视觉；触控屏 Metal Mesh；缺陷检测 中图分类号：O59 文献标识码：A doi：10.3969/j.issn.1007-9831.2023.03.008 Metal Mesh defect detection for large area touch screen based on machine vision LI Qinan，XIANG Wangui，DING Zhuang，LUO Xiaojie（School of Science，Qiqihar University，Qiqihar 161006，China）AbstractAbstract：Because in the production process of large-area Metal Mesh touch screen，the operating track of the ex-posure machine will deviate when it runs for a long time，resulting in wire breakage，burr and other problems of the metal mesh.Therefore，designs a machine vision detection system for detecting metal mesh defects.This machine vision system can collect images through industrial camera，then perform image enhancement algorithm to remove environmental interference，Canny edge detection algorithm to delimit image boundaries，and can quickly detect defects and their coordinate positions.Key wordsKey words：machine vision；Metal Mesh touch screen；defect detection 机器视觉就是用机器替代人眼来完成观测和判断，常用于大批量生产过程中的产品质量检测，及不适合人工作业的危险环境和人眼视觉难以满足的场合机器视觉可以大大提高检测精度和速度，从而提高生产效率，并且可以避免人眼视觉检测所带来的偏差和误差1-4机器视觉是通过摄取的图像信息转化成图像信号，传送给专门的图像处理系统，根据像素分布、亮度、颜色、纹理、边缘、形状、角点等多种特征来识别不同物体 而在图像的传输、储存和读取过程中，图像信息可能会出现失真、扭曲和噪声干扰等问题 因此，需要使用机器视觉算法来修复或增强图像信息，从而为机器视觉技术提供良好的识别环境通过机器视觉检测 Metal Mesh 缺陷，可以达到全程无人为接触材料，可以减少人为对材料的损伤，而且识别和检测速度很快，检测精度和效率也有大幅度提高5 1 机器视觉介绍 机器视觉系统检测构件主要包括镜头、CCD 摄像机、光源、图像采集卡、图像处理软件等6由于检测材料的线宽很小，大约为5m左右，因此采用f=6 mm的镜头ANB842NL以及4M黑白相机ANPVC1470，收稿日期：2022-10-11 作者简介：李奇楠（1975-），男，黑龙江齐齐哈尔人，教授，博士，从事激光光谱研究E-mail： 第 3 期 李奇楠，等：基于机器视觉的大面积触控屏 Metal Mesh 缺陷检测 39 像元尺寸 3.45 m 3.45 m，能清晰采集到需要检测的图像 图像采集卡则主要对采集的信息进行数字化，然后压缩存储在电脑中，同时也可存储于它本身这样既能降低电脑存储的压力，也能提高其处理能力 机器视觉的图像处理软件在市场上运用的有很多，如 Opencv，Matlab，PVWIN200 等其中 Opencv 软件具有开源以及免费的计算机视觉库，适用于大多数理论研究领域而 Matlab 自带了很多图像处理函数，处理图片则更加方便 2 图像处理算法 2.1 图像增强 当 CCD 摄像机采集到的图像被电脑重新读取时，需要进行图像滤波处理，防止出现噪声导致识别错误滤波函数在图像处理领域中应用极为广泛，主要用来增强图像的特征信息，削弱和减少图像中的无关信息，从而改善图像的视觉效果7，降低机器检测过程中发生识别错误的概率机器视觉设备 PV200 自带的图像处理软件常用的滤波算法有膨胀、中央值、平滑化等在图像进行二值化以后，根据不同背景色和噪声采用不同的方法可以极大地减少干扰以及祛除噪声 图像处理前后对比见图 1有噪声的原图（见图 1a）为电脑从图像采集卡中读取到的图像，经过膨胀处理（见图 1b）以后，干扰噪声基本祛除，但是由于该算法是对黑色区域收缩，将导致图像本身受到一些损伤相对于膨胀而言，平滑化（见图 1c）则进一步保证了图像的完整性，进而淡化噪声的干扰8效果最好的莫过于中央值处理（见图 1d），可以清晰地看到杂色噪声干扰基本祛除 图 1 图像处理前后对比 2.2 阈值分割 当样品经过 CCD 摄像机时，不可避免地会发生倾斜、角度偏移等问题这时需要校正目标对象的位置以及旋转角度，可以分为二值化边缘和灰度边缘进行寻找，当检测到的位置存在角度偏移时，可以调整摄像机的位置或者软件自动修正偏移位置量 机器视觉的任务是将图像中某些包含特殊信息的区域进行识别9-10，而对于不需要识别的区域，可以设置遮罩将其掩盖这样不仅可以提高计算速度，还能降低非必要区域的干扰而当需要识别的图像太大时，往往需要将图片进行分块处理 阈值分割是依据灰度值分布（由于图像中包含的信息不同，因此其灰度值会有较大的差异），利用设定一个阈值将图像分割成多个区域的方法通过二值化处理，生成灰度图像，把该图像中各个像素值大于阈值的分为一部分，小于阈值的分为另一部分，将此 2 个部分设置为只有 0 和 1 两个灰度的图像阈值的数值决定了图像分割的效果，如果阈值设置偏小，那么分割的图像就会很暗因此，阈值的选择很关键，既要保证得到图像的具体信息，又要避免外界对其产生的干扰11 2.3 区域形态学 在机器视觉的图像处理中，各种金属的表面缺陷的图像处理结果有很大区别12因此，需要运用到区40 高 师 理 科 学 刊 第 43 卷 域形态学常用的区域形态学有膨胀、腐蚀等运算算法13膨胀的原理是对图像黑色的区域进行收缩，对白色区域进行膨胀因此，会使得图像的边缘得到延伸，亮区域会扩大膨胀是个结构元相加而得到所有点的集合，通过其中一个结构元中的点来平移到另一个结构元区域，并对全部区域取并集，从而达到消除暗色噪声的目的通常膨胀的尺寸有 33，55，77 等，它们通过 33 的结构元矩阵，对该区域寻找并集由于对称性，可以在个结构元中相互寻找公共点，然后将其复制输出，以达到膨胀效果 2.4 边缘提取 边缘是图像中灰度变化非常明显的一些区域，在进行实验时需要将采样图案的边缘找到，以减少其它因素的干扰通常检测边缘是从水平或者垂直方向进行多个灰度值的平均，平均后的灰度值通过与其它相邻区域进行对比，即可得到灰度梯度值 关于边缘提取理想化，Canny 提出了 3 个问题：（1）算法应该能极大地解决对边缘点的错检和漏检问题；（2）边缘检测应该尽可能逼近真实的边缘；（3）边缘检测应该避免多重响应14为了解决这 3 个问题，Canny 通过高斯滤波器的一阶导数来近似，使得边缘处灰度差更加明显，很容易就能找到边缘Canny的双阈值算法通过阈值来检测突变的边缘，当图像的响应度大于阈值，就能判断为边缘 经过降噪处理的 Metal Mesh 原图及经过 Canny 算法、Laplacian 算法、Roberts 算法处理的图像见图 2 在Matlab 的环境下实现了对 3 种算法的边缘检测比较，由于图像经过增强处理，噪声和弱光区域已经得到较好处理，所以 Canny 算子和 Laplacian 算子处理结果基本相同，Roberts 算子处理的轮廓则更为明亮但是对于复杂图像而言，Canny 算子的低错检率使得其更具有优越性（见图 3）a 原图 b 经 Canny 算子处理 c 经Laplacian算子处理 图 3 复杂图像经过算法处理边缘后的轮廓图像 a Metal Mesh 原图 b 经过 Canny 算子处理 c 经过 Laplacian 算子处理 d 经过 Roberts 算子处理 图 2 经过算法处理边缘轮廓图像 第 3 期 李奇楠，等：基于机器视觉的大面积触控屏 Metal Mesh 缺陷检测 41 3 实验与分析 实验通过机器视觉设备 PV200 及其软件 PVWIN200 进行，通过采集拍摄各种存在缺陷的断线、毛刺、裂痕以及非正常连通的图像进行仿真实验 机器视觉软件可以检测多种类型的缺陷问题，其可以进行直线、面、圆弧等检查此实验采集到的图像多为网格形，因此，只需要使用面走查（在一个区域内从始点到终点进行水平或垂直走查，并计算检测对象的像素数和个数）即可检测出整幅图像中存在的缺陷检测原理为通过将二值化的整幅图像分为若干个任意尺寸的小单元区域，这些小单元区域的灰度值范围为 0255 这时计算出单个小单元的平均灰度值（平均灰度值=小单元内各个像素点灰度值之和/小单元总像素点），然后在水平或垂直方向上将相邻小单元之间的灰度值相互作差由于缺陷的存在，导致图像中的灰度值有较大差异，这时通过设定合适的阈值，即可分析出图像中出现的缺陷区域 通过灰度处理以及图像增强，然后使用机器视觉软件进行检测（见图 4），图 3a 中存在的 6 处缺陷均被找到标出同时给出了各缺陷的坐标位置（见表 1），检测结果较为准确 表 1 伤痕检出坐标 序号 x 坐标/mm y 坐标/mm 尺寸（px）1 34.500 8.780 7 2 33.250 16.110 5 3 44.997 16.110 2 4 46.849 16.110 2 5 29.561 19.599 5 6 35.118 23.199 5 7 34.501 26.977 6 机器视觉技术既能检测 Metal Mesh 简单的断线和交联等问题，还能检测电路板的虚焊、短路等问题 缺陷检测图见图 5，经过图像增强处理的缺陷图见图 5ac，经过区域形态学和边缘处理后的缺陷检测结果见图 5df从图像中可以看到，图 5a 中是一些金属铜材料由于曝光过度产生的毛刺问题通过检测，在图 5d 中有缺陷部分被粉红色叉和橙黄色叉标出因为触控屏的金属网格正面是横线，背面是纵线，而且材料 PET（聚对苯二甲酸乙二醇酯）膜比较薄，因此，在显微镜下就看到一个个的小格子图 5b 为常见的断线问题，通过检测，断线处被标出（见图 5e）机器视觉技术还能用于检测一些 LED 阵列断线的问题，LED 连接错误的电路见图 5c，图 5c 的检测结果见图 5 f，从图中可以看到缺陷位置被粉红色叉标出 使用机器视觉检测后，线路上铜量少的缺陷也被检测出，检测准确度达到实验需求 a 缺陷图 b 缺陷检出位置 图 4 机