基于Blob分析的手机屏幕缺陷检测方法_李颖.pdf

2022年第46卷第10期76器 件 与 应 用arts and ApplicationsP文献引用格式：李颖，姜红，肖莉莉，等.基于 Blob 分析的手机屏幕缺陷检测方法 J.电声技术，2022，46（10）：76-79.LI Y，JIANG H，XIAO L L，et al.Mobile phone screen defect detection method based on Blob analysisJ.Audio Engineering，2022，46（10）：76-79.中图分类号：TP751 文献标识码：A DOI：10.16311/j.audioe.2022.10.022基于 Blob 分析的手机屏幕缺陷检测方法李 颖，姜 红，肖莉莉，王兆森，李春辉（信阳学院 教育学院，河南 信阳 464000）摘要：针对手机屏幕缺陷检测的高效率、高精度的要求，提出一种基于 Blob 分析的手机屏幕缺陷检测方法。首先使用基于PatMax 算法的模板定位技术对图像进行定位，其次使用基于仿射变换的图像校正技术实现模板图像与测试图像的逐像素对齐，最后采用 Blob 分析算法获取缺陷特征的位置、面积、方向等信息。采用文中所提出的方法、差影法对 200 幅手机屏幕图像进行缺陷检测，实验结果显示，所提方法的准确率为 98%，误检率为 1.5%，漏检率为 0.5%，每张图像的平均检测时间为52.19 ms。相较于差影法，所提出的方法具有更高的准确率和检测速度。关键词：Blob 分析；手机屏幕；缺陷检测；差影法Mobile Phone Screen Defect Detection Method Based on Blob AnalysisLI Ying,JIANG Hong,XIAO Lili,WANG Zhaosen,LI Chunhui(College of Education,Xinyang University,Xinyang 464000,China)Abstract:This paper proposes a defect detection method for mobile phone screen based on Blob analysis to meet the high efficiency and high precision requirements of mobile phone screen defects.Firstly,the template localization technology based on PatMax algorithm is used to locate the image,and the image-correction technique based on affine transformation is used to realize the pixel-by-pixel alignment of the template image and the test image.Finally,the Blob analysis algorithm is used to obtain the location,area,direction and other information of defect features.The defects of 200 mobile phone screen images were detected by the proposed method and the difference image method.The experimental results show that the accuracy of the proposed method is 98%,the false detection rate is 1.5%,and the missed detection rate is 0.5%.The average detection time of each image is 52.19 ms.Compared with the difference image method,the proposed method has higher accuracy and detection speed.Keywords:Blob analysis;mobile phone screen;defect detection;the difference image method0 引 言智能手机作为全球智能移动终端的核心，其市场化竞争日趋激烈。手机屏幕作为手机外观的重要组成要素，在出厂前对其进行外观缺陷检测具有重要意义。目前，人工目测或传统图像处理方法是最常见的手机屏幕缺陷检测方法，但是人工目测方式效率低，传统的图像处理方法漏检率和错误率较高，不能满足工业化生产高效率和高精度的检测要求。近年来，机器视觉由于其非接触、稳定性强、响应快等特点，在缺陷检测中得到了广泛应用，如水果、浮法玻璃、磁瓦、纺织品等物品的缺陷检测已被很多研究者所研究。目前，也有许多学者对手机屏幕缺陷检测进行了研究。CHUANXIA J 等 1 提出了一种基于轮廓的配准方法，采用图像减法和灰度投影的方法对手机屏幕图像进行缺陷识别，消除了光照波动的影响；彭赶等 2 提出一种基于机器视觉的手机屏幕缺陷自动检测系统，利用局部阈值分割图像初步提取缺陷区域，然后结合局部区域对比度分析，筛选出缺陷产品；DI L 等 3 提出了用主成分分析法找出五种典型的盖板玻璃缺陷；袁续凯等 4 采作者简介：李 颖（1993）女，硕士，研究方向为机器视觉。2022年第46卷第10期77Parts and ApplicationS器 件 与 应 用用同态滤波对图像进行处理，解决图像光照不均匀的影响，再利用图像减影法来分割缺陷像素和背景像素。现有的检测方法多采用复杂的算法对手机屏幕缺陷进行检测，耗时较长，且识别率有待提高。针对现有方法的不足，本文提出基于 Blob 分析法来检测手机屏幕缺陷。该方法易于实现，且检测速度快、精度高。1 缺陷检测系统结构设计手机屏幕缺陷检测系统如图 1 所示。该系统主要由图像采集模块和图像处理模块构成。手机屏幕图像获取平台如图 1（a）所示，为了得到高质量的手机屏幕图像，图像采集硬件部件选择 LED 面光源、图像采集卡、德国 Basler 工业相机 acA2500-14gm、日本 Computer 百万像素工业镜头。缺陷检测系统的结构布局如图 1（b）所示，首先通过图像采集系统对待检测目标进行数据采集，并通过图像采集卡将采集到的手机屏幕图像传输到计算机，然后设计算法对缺陷进行检测；最后对检测到的缺陷进行分析并将检查结果显示出来，从而实现手机屏幕缺陷的检测。（a）实验平台相机镜头手机光源图像采集卡（b）检测系统结构布局图 1 手机屏幕缺陷检测系统2 算法描述2.1 基于 PatMax 算法的图像定位在图像采集过程中，如果目标测试样本与训练样本没有逐像素对齐，很容易在后续缺陷检测中产生错误检测。因此，必须在检测目标上找一个基准训练样本以供测试样本进行模板匹配，实现定位。PatMax 算法采用模板定位技术。在模板训练和定位过程中，PatMax 基于特征来分析图像，利用图像特征间的空间位置和几何特征信息进行模板训练和图像匹配，可以快速定位发生平移、缩放、旋转，甚至拉伸形变的物体。利用模板定位技术得到的定位图像具有很高定位精度且图像具有较强的抗干扰性 5，而基于像素栅格的算法在一些旋转和尺寸变化的情况时达不到有效的精度。在本研究中，通过实验对比了 PatQuick、PatMax、PatFlex 3种算法对于手机屏幕图像的定位效果，其结果如表1 所示。可以看出，PatMax 算法的定位分数最高，拟合误差数值最小且耗时较短，所以本文选择采用PatMax 算法对手机屏幕测试样本与训练样本进行定位。表 1 定位结果方法分数拟合误差杂斑耗时/msPatMax0.996 0.049 0.008 28.95PatQuick0.939-1.000-1.000 26.11patFlex0.795-1.000-1.0002 033.122.2 基于仿射变换的图像校正在实际成像过程中，受多种综合因素影响，目标在不同图像中的位置存在差异或畸变，如平移、旋转、比例变化及噪声引起的畸变等。测试样本和训练样本位姿的差别在一定程度上影响手机屏幕缺陷检测的效果。在两者一致性比较高的情况下，会得到比较高的识别率；但是如果姿态差别过大，很有可能造成误检。对此，本文提出基于仿射变换 6 的图像配准方法，对图像中仿射矩形内的区域进行变换，产生一个矩形的输出图像，从而消除仿射矩形的旋转和倾斜的影响，提高测试样本与训练样本的一致性。通过仿射变换，将仿射矩形内的图像区域转换成直角矩形，实现图像的校正。图 2（a）所示的手机屏幕原始图像通过仿射变换后的校正结果如图 2（b）所示。同时，仿射变换对图像有剪裁作用，会对仿射矩形上超出图像边界的区域进行裁剪，减少后续图像处理的操作区域，有利于提高缺陷检测的效率。2.3 Blob 分析Blob 分 析 通 过 VisionPro 视 觉 工 具 包 中 的2022年第46卷第10期78器 件 与 应 用arts and ApplicationsPCogBlobTool 工具实现。通过 Blob 分析可以得到图像的某一特征是否存在，以及特征的位置、面积、方向等信息。Blob 分析算法流程如图 3 所示。（a）手机屏幕原始图像 （b）仿射变换后的图像图 2 图像校正图像分割应用联通行规则形态学操作计算测量得出结果图 3 Blob 分析算法流程2.3.1 图像分割Blob 分析的图像分割模式分为硬阈值（相对阈值）、软阈值（固定阈值）、软阈值（相对阈值）三种。根据手机屏幕缺陷的特点，本文选择软阈值（固定阈值）分割模式。软阈值的概念最早是 DONOHO D L 等 7 提出的，其定义如下：()()()S,sgn+=（1）式中：为变量，为阈值（非负值），符号(|-)+表示当(|-)0 时则等于|-，当(|-)0时则等于 0。分三种情况对其进行讨论：S-0-+=，（2）与硬阈值分割不同的是，软阈值分割点是一个像素区间，大于此区间内像素最大值的像素为物体像素，小于此区间内像素最小值的像素为背景像素，像素值在区间内的是边界像素。在对手机屏幕图像进行定位和图像校正后，从感兴趣的区域的灰度级出发选取高低阈值对图 2的图像进行分割，从而区分缺陷像素和背景像素。2.3.2 形态学处理在进行手机屏幕图像分割时，分割区域会存在灰粒或者未超出容忍偏差的缺陷，需要对分割图像进行形态调整操作，去除这些不必要的干扰。首先采用侵蚀正方形的操作，即通过目标像素中心 9 个正方形像素面积的最小值更换目标像素来侵蚀斑点，以去除图像中的干扰部分得到缺陷目标像素；然后执行扩大正方形的操作，即通过目标像素中心9 个正方形像素面积的最大值更换目标像素来扩大斑点，以此填补缺陷目标区域中断开的部分，保证缺陷目标区域的完整性。3 实验结果和分析本系统将基于 PatMax 算法的模板定位技术、基于仿射变换的图像校正技术和 Blob 分析算法应用于手机屏幕缺陷检测中。实验数据包含 200 张通过图像采集系统采集的手机屏幕测试图像。这200 张照片是大小为 2 5921 944 的 BMP 格式的8 位灰度图像，其中包括 60 张缺陷图像和 140 张非缺陷图像。为验证本文方法的性能，将其与文献 8 所提出的差影方法做了比较。利用章节 2.1 所提到的PatMax 算法对图像进行定位，用章节 2.2 所提到的仿射变换的方法对图像进行校正。在这一系列的图像预处理后，用章节 2.3.1 所提出的软阈值分割方法，将图像分割为目标像素和背景像素，用章节2.3.2 所提到的形态学处理消除不必要的干扰。图4 给出了 Blob 分析法和差影法对图 2（a）中四种缺