基于PCA-NCC的经编鞋面数量统计和质量检测算法_刘智.pdf

【132】第45卷 第02期 2023-02收稿日期：2021-04-21基金项目：国家重点研发计划（2018YFB1308800）作者简介：刘智（1996-），男，湖北黄冈人，硕士研究生，研究方向为机器视觉及深度学习。通讯作者：徐洋（1977-），女，黑龙江虎林人，教授，博士，研究方向为大型复杂机械耦合系统动力学建模及参数识别。基于PCA-NCC的经编鞋面数量统计和质量检测算法Algorithm of quantity statistics and quality detection of warp knitted vamp based on PCA-NCC刘 智，徐 洋*，余智祺，解国升，孙以泽LIU Zhi，XU Yang*，YU Zhi-qi，XIE Guo-sheng，SUN Yi-ze(东华大学 机械工程学院，上海 201620)摘 要：针对目前经编鞋面数量统计和质量检测过程中人工成本高、效率低等问题，提出一种基于主成分分析（PCA）和归一化互相关匹配（NCC）相结合的机器视觉方法。首先采用主成分分析方法，生成不同款型鞋面的模板库PCA模型；然后，求解PCA模型与待检测鞋面特征向量最小欧氏距离，选取与待检测鞋面布匹对应的鞋面模板；随后，引入奇异值分解，提高PCA模型的检测速度和适用范围；最后，应用归一化相关匹配法，检测鞋面是否存在质量问题，并统计合格经编鞋面的数量。为验证该方法的可行性，搭建鞋面布匹检测平台，构建100种不同款型的标准鞋面模板库，对3种不同款型的鞋面进行数量统计实验。将实验结果与人工结果进行比对，结果表明：合格经编鞋面的数量统计平均正确率达96.7%，检测速度较人工提高34倍，满足工业生产中的实际需求。关键词：经编鞋面；主成分分析；模板匹配；奇异值分解中图分类号：TS101 文献标志码：A 文章编号：1009-0134(2023)02-0132-040 引言目前，我国制鞋自动化程度较低，许多工艺依赖人工操作和人眼视觉判断。在经编鞋面布匹的数量统计环节中，鞋面布匹在验布机上运动，工人需要实时观察每个鞋面是否存在质量问题，并对合格鞋面进行人工计数，对存有质量问题鞋面进行人工打叉标记。此外，布匹每运动一段距离，工人需要暂停验布机，选择对应的标准鞋面模板随机抽检鞋面，进行人工比对验证鞋面是否合格。同时工人需要计算统计合格的鞋面数量。这一环节存在工人劳动强度大、检测效率低的问题，降低了企业的市场竞争力。近年来，在纺织品的生产检测流程中，利用机器视觉代替人工视觉，是一种提升产品品质和提高生产自动化水平的重要途径1,2。因此，提出利用机器视觉的方法，自动完成鞋面的数量统计和质量检测，具有一定的实际意义和应用价值。利用机器视觉方法完成经编鞋面的数量统计和质量检测，主要分为鞋面模板识别和鞋面模板匹配两个阶段完成。由于鞋面的轮廓款型众多，须先识别标准模板库中与待检测鞋面对应的模板，然后利用识别的模板进行待检测鞋面布匹的模板匹配，检测鞋面是否存有质量问题，并统计合格的鞋面数量。在模板识别方面，传统算法主要包括尺度不变特征变换算法（SIFT）3、加速稳健特征算法（SURF）4和对象请求代理算法（ORB）5三种特征匹配算法，SIFT算法匹配精度高但速度较慢，SURF算法提取特征向量严重依赖主方向，容易造成匹配误差，ORB算法的匹配效果较差6。这三种特征匹配算法无法准确有效进行鞋面模板识别。主成分分析（PCA）是一种常用的数据降维方法，其目标是将高维数据投影到低维空间，从而大幅提高数据处理效率，通常应用于人脸识别7，在复杂情况下的实时人脸识别中，识别成功率高达91%，可将主成分分析法引入鞋面的模板识别阶段。在模板匹配方面，常用方法有绝对误差和（SAD）算法8、误差平方和（SSD）算法9与归一化互相关匹配（NCC）算法10，SAD算法和SSD算法匹配精度不高，鲁棒性较差，NCC算法匹配精度有所提高，鲁棒性较好。因此本文采用NCC算法进行鞋面的模板匹配。本文提出一种主成分分析和归一化互相关匹配相结合的机器视觉方法，在线实时完成经编鞋面的数量统计和质量检测。为验证本文算法的可靠性，搭建了鞋面布匹检测平台进行实验验证，结果表明本文算法满足工业生产需求，具有实用性。1 鞋面布匹检测系统组成鞋面布匹在线检测系统主要由线阵工业相机、隧道光源、检测台、编码器、图像采集卡和计算机组成，如图1所示，其中相机分辨率为8192pixl1pixl。将待检测鞋面布匹放置于检测平台上，检测平台上方安装条形光源，启动检测系统，鞋面布匹随滚筒运动，脉冲编码器控制工业相机的触发，实时采集鞋面图像，传入计算机中进行算法处理，判别鞋面是否存在质量问题并标记，统计合格鞋面的数量。第45卷 第02期 2023-02【133】(a)检测系统实物图 隧道光源检测平台计算机编码器工业相机图像采集卡(b)检测系统示意图图1 鞋面布匹检测系统实物图和示意图2 经编鞋面数量统计和质量检测算法设计经编鞋面数量统计和质量检测算法主要包括鞋面模板识别和鞋面模板匹配两个阶段，首先，将采集到的经编鞋面输入到鞋面模板库中，利用主成分分析法识别相对应的鞋面模板。然后，将识别的鞋面模板输入到基于归一化互相关的鞋面模板匹配算法中，检测鞋面是否存在质量问题，最后统计并输出合格的鞋面数量。2.1 基于主成分分析的模板识别算法基于主成分分析的模板识别算法流程图如图2所示。读取模板库图像信息去中心化计算协方差矩阵求解最小欧氏距离计算协方差矩阵的特征值和特征向量生成新特征向量空间选择主成分选择对应目标模板 奇异值分解PCA降维图2 主成分分析法流程图基本步骤如下：1）读取模板库图像信息。假设鞋面模板库由n张标准模板图像组成，本实验中n为100。每一张图像可以表征为一个长宽为ij的像素矩阵，即一个二维数组，可以通过将其像素逐行连接起来看作一个一维数组。创建一个新的二维数组Rnm用于保存模板库中所有的图像数据，其中m=ij。该数组中每一行表征一个图像的所有像素信息，每一列表征不同图像同一位置的图像信息。2）去中心化。由于模板库中图像可能非常之多，n值可能非常大，为了减少计算量，需对二维数组R进行去中心化处理，即沿着R的每行计算经验均值，并将经验均值从R的每列中减掉，得到规范化数据X。3）计算X的协方差矩阵C。根据协方差的定义，两个随机变量(X,Y)的协方差cov(X,Y)可按下式计算：(1)规范化矩阵X由R经过去中心化处理，其协方差矩阵C可按下式计算：(2)4）计算协方差矩阵C的特征值和特征向量。特征值分解只针对于方阵，奇异值分解可对任意矩阵进行分解。根据奇异值分解的定义，对于任意实矩阵ARnm,都可分解为以下形式：(3)其中，U为n阶方阵，是满足UUT=I的酉矩阵，U中的列向量ui称为左奇异向量；V为m阶方阵，是满足VVT=I的酉矩阵，V中的列向量vi称为右奇异向量。是nm阶矩阵，除主对角线元素外，其余位置元素均为0，且主对角线元素值i由大到小排列。由公式：(4)(5)可知，U和V分别是AAT=ATA和的特征向量，2对角线元素是AAT和ATA的特征值。由公式：(6)(7)可求解左奇异向量ui、右奇异向量vi，同时可求解AAT和ATA的特征值i。由公式：(8)可解得奇异值i。至此，矩阵A的奇异值和奇异向量求解完毕。计算协方差矩阵C的奇异值和奇异向量同理可得，将所得奇异值作为C的特征值，将所得右奇异向量作为C的特征向量。5）选择主成分。协方差矩阵C中对应的特征值大小决定了特征向量的重要性。将特征值按降序排列，在多数情况下，前10%的特征值之和可占全部特征值之和的99%，可以选择感兴趣的前k个特征值所对应的特征向量用于描述协方差矩阵C，对应较大特征值的特征向量称为主成分。6）生成新特征向量空间。原始的鞋面图像数据R是一个nm的矩阵，只包含主成分的特征向量构成一个mk的矩阵，将两个矩阵相乘，即把原始样本点分别往特征向量对应的轴上做投影，可获得PCA降维后生成的新特征向量空间nk。新特征向量空间中的任意一个行向量对应一幅标准鞋面模板图像。7）求解最小欧氏距离。采集待检测的鞋面布匹图像，并将其按像素逐行连接起来看作待测一维向量，逐行计算该向量与新特征向量空间中每一个行向量的欧氏距离，并按升序排列，求解最小欧氏距离。【134】第45卷 第02期 2023-028）选择对应目标模板。待测一维向量表征为待检测的鞋面布匹图像，新特征空间中的行向量表征为一幅模板图像，若待测一维向量与特征行向量的欧式距离最小，则表明待检测的鞋面布匹图像与该特征行向量对应的模板图像最为接近，两者最为匹配，于是选择该模板图像作为目标模板。2.2 基于归一化互相关模板匹配算法模板匹配算法通过遍历待匹配图像中的每一个可能的位置，比较各处与模板图像是否相似，当相似度达到设定阈值时，即认定匹配成功。如图3所示，归一化相关匹配法的过程如下：模板图像T通过逐像素在待匹配鞋面图片I的每一个位置进行一次度量计算，并将度量值保存到匹配结果图像矩阵R中，通过设定匹配成功分界线，使用函数minMaxLoc定位并输出矩阵R中不低于R0的位置坐标，并统计其数量。归一化互相关匹配法采用模板图像和待匹配图像间的像素乘法操作，匹配结果R越大，表明匹配程度越好。待匹配图片像素坐标位置为I(x,y)处的匹配结果R(x,y)按下式计算：(9)其中，T(x,y)表示模型图像的像素位置坐标，I(x+x,y+y)表示待匹配图片的像素位置坐标。当R(x,y)不低于阈值R0,表明鞋面匹配成功，统计合格鞋面数量；当R(x,y)低于阈值R0，表明鞋面匹配不成功，鞋面存有质量问题。(a)待匹配鞋面图片I (b)模板图像T图3 模板匹配图鞋面布匹检测系统通过脉冲编码器来控制线阵工业相机的触发，通过调整编码器的脉冲倍频和脉冲丢弃个数，使相机能够完整地采集经编鞋面布匹图片，并且保证图片不会出现丢帧、变形、重复的情况。线阵相机逐行连续扫描采集的各行像素拼接成一张图片，设定相机参数使得每2048行拼接成一张图片，一张图片尺寸为8192pixl2048pixl，对应的空间尺寸为1000mm250mm。实验中待检测的一幅鞋面真实高度是335mm，超出了一张图片对应的真实高度，因此一张图片无法包括一幅完整的鞋面图像。一般而言，相机采集到的一张图片如图4所示。这种情况会导致鞋面模板图像无法在采集到的待检测鞋面图片中匹配成功，解决办法是将采集的前后两张鞋面布匹图片按行进行拼接。每两张图片拼接而成的图片尺寸为8192pixl4096pixl，对应空间尺寸为1000mm500mm，必然包含一幅完整的鞋面图像，然后利用拼接后的图片进行模板匹配。(a)相机采集图a(b)相机采集图b(c)拼接图图4 鞋面图片模板匹配算法流程如图5所示。首先采集两张鞋面布匹图片并进行拼接，对拼接后的图片进行模板匹配。然后根据匹配结果判断鞋面合格或者存在质量问题，并对存在质量问题的鞋面进行打叉标记；同时，为了避免重复匹配，舍弃前一张鞋面布匹图片，将后一张鞋面布匹图片与采集的下一张鞋面布匹图片进行拼接，再进行模板匹配，循环该过程。最后统计合格鞋面的数量。前后两张图片拼接模板匹配鞋面合格统计合格鞋面数量结束匹配结果RR0Y鞋面存有质量问题N采集下一张鞋面布匹图片舍弃前一张鞋面布匹图片开始采集一张鞋面布匹图片打叉标记图5 模板匹配流程图第45卷 第02期 2023-02【135】3 实验结果与分析为验证本文提出算法的可行性和有效性，本文采用100幅不同轮廓不同款式的鞋面模板作为模板库。实验环境为Windows10系统，Intel（R）Core（TM）i5-8300H 2.3Ghz处理器，16G内存，GPU型号为NVIDIA GeForce GTX 1050。3.1 特征向量空间可视化通过PCA训练鞋面模板库，选择保留95%的特征信息量，生成的新特征向量空间可视化如图6所示。经过PCA降维后，生成了44个新特征向量，这些特征包含了鞋面的轮廓、纹理等用于识别的主要信息，可用于描述原始100个鞋面模板。图6 新特征向量空间可视化图图7展示了降维后的特