基于图像处理和深度学习的膜片缺陷检测_杨硕.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-08-29基金项目:科学技术部,高端外国专家引进计划(No.G2021025006L)作者简介:杨硕(1996-),男,硕士研究生,主要研究方向:计算机视觉。E-mail:1916904884 通讯作者:孙林(1975-),男,博士,教授,博士生导师,主要研究方向:定量遥感。E-mail:sunlin6 基于图像处理和深度学习的膜片缺陷检测杨 硕,孙 林山东科技大学测绘与空间信息学院,山东 青岛 266000摘 要:针对膜片在生产的过程中,由于原材料和工艺的问题总会产生表面缺陷,而通过人为检测的效率低、成本较高的问题,提出传统图像处理和深度学习相结合的方式进行缺陷检测。首先通过图像处理使缺陷特征更为突出,得到去除复杂背景、特征更加明显的新样本,然后将图像和标签送入深度学习网络中进行训练,同时依据缺陷特征修改模型参数得到收敛模型,最后得出检测结果。实验结果表明,提出的检测方法能够有效分割出各种情况下的缺陷,准确率达到 98.13%,且在检测速度上有所提升。关键词:膜片;图像处理;深度学习;缺陷检测中图分类号:TN911 文献标识码:A doi:10.14016/ki.jgzz.2023.04.103Diaphragm defect detection based on image processing and deep learningYANG Shuo,SUN LinCollege of Geodesy and Geomatics,Shandong University of Science and Technology,Qingdao Shandong 266000,ChinaAbstract:In view of the fact that the surface defects will always occur due to raw materials and process problems in the production process of diaphragms,and the low efficiency and high cost of human inspection,the combination of traditional image processing and deep learning is proposed for defect detection.First of all,the defect features are more prominent through image processing,and a new sample with more obvious features is removed,and then the images and labels are sent to the deep learning network for training,and the convergence model is obtained by modifying the model parameters according to the defect characteristics,and finally the detection results are obtained.Experimental re-sults show that the proposed detection method can effectively split the defects in various situations,the accuracy rate reaches 98.13%,and the detection speed is improved.Key words:diaphragm;image processing;deep learning;defect detection1 引言在污水处理,水资源再利用领域,MBR 又称膜生物反应器(Membrane Bio-Reactor),是一种由膜分离单元与生物处理单元相结合的新型水处理技术1,针对反渗透膜片的缺陷检测。在缺陷检测领域,于海涛等提出了一种基于双重多尺度注意力机制的表面缺陷检测方法 DMSA-YOLOv3,实现型钢表面多尺度缺陷快速精确检测2。沈希忠等提出了一种基于 YO-LO-v5 的多尺度物体表面缺陷检测模型3。穆莉莉等提出了一种基于 Faster R-CNN 算法的 PCB 缺陷检测方法4。于志斌等提出了一种基于 YOLO 算法与机器视觉的晶圆缺陷检测方法。针对氧化层不规则缺陷,根据凸缺陷的最远点到凸包的距离判断是否有该缺陷5。李一鸣等提出基于机器视觉和深度神经网络的目标检测方法。利用训练好的 YOLOv5s 模型实现轧钢表面缺陷类别的识别与定位6。除了应用在缺陷检测领域外,深度学习还广泛地应用于目标检测7-9、OCR 识别10-12、目标追踪13-16等领域。检测的缺陷相对于整幅图像来说极其微小,再加上复杂背景的影响,单一地使用深度学习进行检测准确率比较低。现根据特征采用背光的方式获取图像,利用特殊的光源使其特征在图像上更为突出。对采集后的图像采用传统的图像处理方式,将图像处理后的图像作为新样本,制作数据集后送入深度学习网络训练,同时依据缺陷特征修改模型参数得到收敛模型,最终检测结果表明有很高的准确率。2基于图像处理和深度学习的膜片缺陷检测2.1 图像处理进行的图像处理包括图像梯度计算、图像二值http /化、图像开闭运算以及图像相乘,通过上述图像处理得到了新样本。图 1 待检测膜片缺陷图2.1.1 图像梯度计算图像梯度是指图像中某像素与其相邻像素比较,在 x 和 y 两个方向上的变化率,是一个二维向量,由 2个分量组成 X 轴的变化、Y 轴的变化。X 轴的变化是指当前像素右侧的像素值减去当前像素左侧的像素值。Y 轴的变化是当前像素下方的像素值减去当前像素上方的像素值。利用缺陷存在区域内外像素值的差异,得到梯度图。计算公式为:f(x,y)x=f(x+1,y)-f(x,y)(1)f(x,y)y=f(x,y+1)-f(x,y)(2)计算梯度的效果图如下图所示:图 2 图像梯度2.1.2 图像二值化图像二值化就是将图像上的像素点的灰度值设置为 0 或 255,将整个图像呈现出明显的黑白效果的过程。在数字图像处理中,二值图像占有非常重要的地位,图像的二值化使图像中数据量大为减少,从而能凸显出目标的轮廓。图像梯度化之后会有很多干扰存在,不利于寻找轮廓,首先需要通过二值,大于阈值的取最大值 255,小于阈值的取最小值去除干扰,得到膜片的外轮廓二值图像。在原图像上进行反二值化,去除图像干扰用于寻找图像内轮廓。梯度二值化和原图像二值化的效果图如下图所示:图 3 梯度图像二值化图 4 原图像二值化2.1.3 图像闭运算图像闭运算是图像先进行膨胀,后进行腐蚀,用来填充物体内的小空洞,将邻近物体连接起来,使断开的轮廓线封闭,平滑其边界的同时不改变面积。图 5 闭运算原理通过图像闭运算可以将轮廓上断掉的部分链接起来,得到一个完整的轮廓。图像闭运算的效果图如下图所示:图 6 图像闭运算2.1.4 寻找内外轮廓轮廓简单地理解为连接所有连续点(沿着边界)的曲线,具有相同的颜色或强度。通过上述处理操作后找到内外轮廓,效果图如下:图 7 图像外轮廓图 8 图像内轮廓2.1.5 图像相乘图像的乘法运算主要用于实现图像的掩膜处理,即屏蔽掉图像中的某些部分。通过处理将图像中干扰区域全部去除。根据图像的内外轮廓图像,先进行掩膜,之后将掩膜图像与原图像相乘,得到新的样本401杨硕,等:基于图像处理和深度学习的膜片缺陷检测http /图像。新样本图如下:图 9 新样本结果图2.2 深度学习网络U2-net 是一种以显著目标检测为基础建立的两级嵌套 U 结构,其特殊性表现为不需要其他任何预先训练骨干的支持。它可以根据自己的需求从头开始训练,以获得有竞争力的表现。这种特殊性表现和结构其优点就是通过残差 U 型模块(RSU)所设置的不同的尺度去学习野的混合,能够精确地获取不同尺度上更多的上下文信息,同时采用 RSU 中的池化操作,U2-Net 在计算的复杂程度不会增加的基础上,进而提升了整个模型架构的深度。由三部分组成:(1)编码(2)解码,(3)连接解码器级和最后编码级的显著图融合模块。图 10 U2-net 体系结构的图示2.2.1 编码器在编码器阶段 EN1、EN2、EN3 和 EN4 中,分别使用残差 U 型块 RSU-7、RSU-6、RSU-5 和 RSU-4,RSU 其实就是用 U-Net 代替了原来普通的单流卷积,并且使用一个权重层组成的局部特征替代了原有的特征。残差 U 型块 RSU 由三部分构成:采集局部特征并转换通道的输入层、提取和编码多尺度上下文信息的 U 型结构、融合输入层和中间层的输出层17。如前所述,“7”、“6”、“5”和“4”表示 RSU 块所使用的高度(L)。L 通常根据所输入特征图的特有空间分辨率进行配置。对于高度较高和宽度较大的要素地图,通常使用更大的 L 来捕捉更多的大比例尺信息。在编码器的第五第六阶段其特征映射的分辨率相对其他来讲较低,进一步针对这些特征映射进行下采样会造成有用信息的丢失。因此,在编码的第五第六阶段,使用残差 U 型块的扩展版本 RSU-4F,在该版本中,使用扩展卷积替换合并和上采样操作。这代表着残差 U 型块的扩展版本的所有中间特征图与其输入特征图具有相同的分辨率。2.2.2 解码器编码之后对应的就是解码,其结构与其对称编码级的结构相似,作用就是根据其结构对特征进行解码还原为需要的信息。每个解码器级将其上一级的上采样特征映射与其对称编码级的上采样特征映射的级联作为输入。2.2.3 显著性图融合模块显著性图融合模块,主要作用是将经过 33 卷积分别得到 6 个解码器的侧边输出显著性图经过融合得到的新的显著性图。U2-net 网络首先经过 33 卷积层和一个 S 型函数从编码器的阶段 6 到阶段 1 依次产生六个侧输出显著性概率图,然后将这些显著图上采样到输入图像大小,并利用紧接着 11 卷积层和Sigmoid 函数的级联操作将它们融合,以生成最终的显著概率图。3 实验对比分析由于膜片表面的缺陷微小,自然光状态下难以清晰地拍摄样本图片,故需要在外部光照的辅助下进行。实验选用的是海康 2 000 万彩色相机和 8 mm 的海康工业镜头,针对缺陷的特征采用面光源,从背面打光的方式进行采集图像,共拍摄 1 103 张样本图片。经过上述图像处理后,生成新的样本图片,然后进行标签标注,制作缺陷样本数据集,送入 U2-net 网络中进行训练,并依据缺陷特征修改模型参数,最后得到收敛的检测模型。首先根据需要检测膜片的有无缺陷(normal和 defect)和检测结果(normal 和 de-fect)的不同,可以将缺陷识别的结果分为 4 种情况,NN、DN、ND 和 DD。NN、DN、ND 和 DD 的含义为:NN(normal normal):需要检测的膜片为 normal,检测结果为 normal,正确检出。DN(defect normal):被检测工件为 defect,检测结果为 normal,漏检。ND(normal de-fect):被检测工件为 normal,检测结果为 defect,误检。DD(defect defect):被检测工件为 defect,检测结果为defect,正确检出。漏检率、误检率和准确率的含义和计算方式为:3.1 漏检率漏检率是指在检测过程中未曾检测的不合格品数量占实际不合格品总量的百分比。漏检率的计算公式为漏检率=DNDD+DN100%(3)501杨硕,等:基于图像处理和深度学习的膜片缺陷检测http /3.2 误检率误检率是