基于深度学习的磁芯表面缺陷检测研究_吴显德.pdf

计算机测量与控制 （）测试与故障诊断 收稿日期：；修回日期：。基金项目：浙江省科技计划项目（）；浙江省基础公益研究计划项目（）。作者简介：吴显德（），男，贵州遵义人，硕士，高级工程师，主要从事缺陷检测，自动导航、交通信息化、大数据及人工智能等方向的研究。通讯作者：王宪保（），男，山东菏泽人，博士，副教授，高级会员（），计算机应用专委会委员，主要从事神经网络、机器学习等方向的研究。引用格式：吴显德，陈科宇，周宝，等 基于深度学习的磁芯表面缺陷检测研究 计算机测量与控制，（）：文章编号：（）：中图分类号：文献标识码：基于深度学习的磁芯表面缺陷检测研究吴显德，陈科宇，周宝，雷雅彧，翁扬凯，王宪保（浙江华是科技股份有限公司，杭州 ；浙江工业大学 信息工程学院，杭州 ）摘要：磁芯表面缺陷检测，是磁芯流水线上的关键一环；当前多种机器视觉检测方法已经被应用，但这些方法的准确性都依赖于提取的缺陷特征，有很强的专家性；而且针对不同的产品要重新设定特征，复用性低；基于深度学习的缺陷检测方法很好地克服上述问题，深度学习的准确性和训练数据的质量数量强相关；但在实际产品表面缺陷智能检测过程中，存在缺陷样本收集困难、样本不平衡、目标尺寸小和难以定位等问题；针对存在的这些问题进行了研究，提出了一种基于深度学习的图像增强和检测方法，首先利用结合高斯混合模型的深度卷积生成对抗网络生成磁芯缺陷图像，然后结合泊松融合方法产生增强的数据集，最后基于 网络，实现了磁芯表面缺陷的智能检测；实验表明，该方法能够生成质量更高、缺陷更明显的图像，检测准确度提升了 。关键词：磁芯；缺陷检测；深度卷积生成对抗网络；图像融合；深度学习 ，（，；，）：，：；引言磁芯是电子设备中变压器和线圈的重要组成部分，其质量的好坏不仅影响磁芯的外观，而且对磁芯的磁导率磁通密度等重要性能参数也有很大影响。传统的磁芯缺陷检测大多采用人工肉眼的方式进行，但由于磁芯体积小且种类繁多，导致检测工作量大、效率低，而且易受到检测人员的经验、情感、视觉疲劳等因素的影响，检测的质量难以保证，不适于大规模的工业生产。近年来，使用机器视觉方法进行外观缺陷检测已取得重大进展，广泛应用于钢板、零件、玻璃、印刷、焊缝、纺织品、瓷砖、钢轨等多个行业。王猛等人为了检测网络变压器模块缺陷，对图像进行中值滤波，采用阈值分割、分析的办法对图像缺陷特征进行形态学特征识别和提取。郭良等为了检测汽车涂胶缺陷提出了基于方投稿网址：第期吴显德，等：基于深度学习的磁芯表面缺陷检测研究 向梯度直方图与 特征结合的特征提取算法。姚明海等将 算法应用于太阳能电池片的缺陷检测，使太阳能电池片的检测精度达到 。这些传统的基于机器视觉的缺陷检测虽然取得了不错的效果，但是由于自动化产业发展迅猛，产品数量日益猛增，远不能满足工业自动化生产对于缺陷检测精度、速度和泛化能力的需求。随着卷积神经网络在计算机视觉领域的巨大成功，深度学习在工业产品的缺陷检测研究领域得到了广泛应用和发展。余永维 等提出一种基于深度学习特征匹配的铸件缺陷三维定位方法，模拟选择注意机制的中央周边查算法，提出以视觉显著为尺度，从射线图像复杂背景中检测缺陷及其区域。等人根据 模型提出了由编码器和解码器组成的对称卷积神经网络，产生与原始图像相同大小的语义分割，以提高玻璃的检测准确率。虽然各种深度学习的方法在工业生产的目标定位，目标检测等环节有不错的应用。但是缺陷检测领域还存在诸多的问题，主要集中在两方面。首先是深度学习的良好性基于大量数据，充足的数据可以增强网络的性能，从而提高缺陷的检测效果。但是在实际的工业生产中，大数据集的缺陷库很难获得，且缺陷种类数据量不平衡，使得检测准确率不能达到满意效果。其次是小目标缺陷的检测效率不高，检测时间不迅速，不能满足日益快速的工 业化 的要求。针对第一个数据量不足的问题，目前有效的方法是进行数据增强。浙江大学 提出一种基于小批量数据集和深度学习算法的晶圆缺陷检测方法，利用微距定焦镜头对图像进行全局扫描；然后将彩色图像进行数据增强，包括添加噪声、裁剪和翻转等，进而扩增数据集；最后将 原始算法与迁移学习相结合，并优化了网络模型参数。李翌昕 等针对文档区块图像设计了一组有效的特征，提取了几何、灰度、区域、纹理和内容五方面在内的 种特征，以增强特征针对区块类别的分辨能力。问题二是小目标检测问题，由于小目标物体的像素占比少，难以提取到充分的特征信息，相较于大目标物体的检测，精度难以保障。研究人员对此从多尺度融合、主干网络、特征分辨率等角度进行了研究。其中 等人提出了基于 的方法来增强底层特征的语义信息。分为两条支路，一条自下而上的支路，可以逐层提取丰富的高层语义信息。另一条自上而下的支路，可以将上层的语义信息融合到底层特征中。通过对小目标的多尺度检测，提高了小目标物体的检测精度。本文提出了一种基于深度学习的图像增强和检测方法，算法首先 基 于 深 度 卷 积 对 抗 生 成 网 络（，）和图像融合的方法，进行磁芯缺陷图片数据集扩充，提高了生成图片的质量，解决了数据量小的问题。然后使用含有多尺度特征融合结构的 算法，提高了对小目标的检测精度和速度。本文提出的模型整体框架如图所示。图算法整体框架方法 原始 生 成 对 抗 网 络（，）由多层感知器作为基础结构，并由多个全连接层组成，其网络结构如上图所示由生成网络（）和判别网络（）两个部分构成。图 模型生成网络通过对输入噪声的映射，得到尽可能拟合真实样本的分布的输出图像。判别网络用来判断输入图片的真伪性，即该图片是真实图片还是生成器生成的图片。利用生成对抗互相博弈的思想，对生成网络判别网络交替迭代训练，最终使得生成网络有强大的学习生成能力，能过生成以假乱真的图像。但是，生成对抗网络存在训练不稳定、梯度消失的问题。生成网络和判别网络的目标函数如下所示：（：）（）（）（）（）其中：是输入噪声，是生成网络，是判别网络。（）是由生成网络生成的图像数据，是（）所对应的真实图像数据。随着近 些 年 来 卷 积 神 经 网 络 的 巨 大 发 展，年，等人 在生成对抗网络的基础上，又与卷积神经网络相结合，提出了 模型，并对其结构做了改进：）去掉所有的池化层。在判别器中，使用步幅卷积替代最大池化层进行下采样，在生成器中，采用转置卷积实投稿网址：计算机测量与控制第 卷 现上采样，将输入的随机噪声向量转化为二维矩阵，提升图像的尺寸大小。池化层的作用有两方面，一方面是减小特征图，降低网络计算复杂度；另一方面是提取主要特征，抛弃不重要的特征，进行特征压缩，而使用具有较大步长的卷积层来替换池化层可以实现同样的功能并且加快了收敛速度。）尽可能的减少全连接层的使用，除去在生成器的第一层和判别器的最后一层，其余地方使用卷积层代替全连接层。在生成器的第一层和判别器的最后一层使用全连接层其目的都是为了维度的转换，在生成器中是为了将输入的随机噪声变量进行维度转换，而在判别器中是为了将前面卷积层的输出转换为一维向量作为 函数的输入。此操作可以使维持模型的稳定，还可以降低网络训练参数规模。图优化后的深度卷积对抗生成网络模型）批量归一化（，）。操作将输入都归一化为均值和单位方差，解决训练过程中间层数据分布发生改变的问题，避免网络训练学习新的数据分布，帮助梯度顺利的向下传播，避免生成器将所有的样本都收敛到一个点。但如果在生成器和判别器的所有网络中都应用 操作会导致样本震荡和模型不稳定，故在生成器的输出层和判别器的输入层不采用 操作，以防止上述问题的产生。）激活函数的变化。在生成器网络中均采用 作为激活函数，而在判别器网络中使用 和 作为激活函数，其中，仅使用在输出层，函数运用在其余各层。优化 的生成网络接收一个表示为的噪声矢量，并将其映射到最后的输出（）中。为了提高对抗生成网络对有限训练样本的学习能力，在对抗生成网络的原有结构上，引入高斯混合模型，相比于单高斯分布拥有更好的表征能力。以磁芯为例，磁芯缺陷有不同的形状、颜色、面积等，是多个分布的组合。因此我们潜空间的分布也采用多个高斯分布的组合，使得从潜空间分布更好地映射到真实空间分布。高斯混合模型由多个高斯分布组成，其概率密度函数如下：（）（，）（）其中：（，）为第个高斯模型的概率密度函数，为高斯分布的均值向量，为协方差矩阵，自变量的维数，为第个高斯模型的权重，且满足。由于对磁芯而言，每一类缺陷都会影响磁芯的质量，对于个高斯分布，其权重均为，所以其概率密度函数可以转换如下：（）（，）（）先随机生成均匀噪声，得到噪声各维均值，和噪声间协方差对角矩阵，通过均值和协方差对角矩阵构建高斯混合模型，并将该高斯混合模型作为生成器的输入部分：（；，）（）（）（，）（）结合高斯混合模型的深度卷积生成对抗结构如图所示，在生成网络部分，将均匀噪声复杂化，重构为高斯混合模型，增强输入隐空间的语义性和可操作性。生成网络在每次进行迭代生成图像时，随机选取一组高斯混合模型，使模型能够在训练样本数据量有限时更好地学习到真实样本的分布情况，提升生成图像的质量。在生成网络上的全连接层，使用全局平局池化来代替，提升模型的稳定性。并使用层反卷积替代原生成网络中的池化层，使模型能够学习自己的空间下采样；使用 激活函数，输出层使用有界激活函数 ，使用有界激活函数可以使模型更快收敛。并且都使用批处理 ，有利于更深层次网络的训练。在判别网络部分，同样使用全局平均池化来代替全连接层，各层均采用 激活函数和批处理 ，并使用层步幅卷积取代原判别网络中的池化层。将生成网络生成的样本数据输入到判别网络中，将判别网络得到的损失误差反向传播到生成网络和判别网络，不断优化性能。扩增图像生成利用 生成的磁芯缺陷需要与合格的完整磁芯图像进行融合，才能构建最终的扩充样本集，以便于后续目标检测的使用。首先选取原始数据集中合格的磁芯图像作为融合图像的背景，并且在图像上选取合适的待融合点，以保证 生成的磁芯缺陷完整的融合在磁芯上，而不是落于周围导致融合不完整或者无效。其次，从 生成的缺陷数据集中获取带融合的生成缺陷。最后将生成缺陷在图像上进行融合，从而达到磁芯缺陷特征不丢失、融合边界平滑、效果真实的目的，从而构建完整的扩充数据集。投稿网址：第期吴显德，等：基于深度学习的磁芯表面缺陷检测研究 尽管生成的缺陷数据与真实数据相似，但不能保证其像素与背景图像带融合点周围的像素强度一致，仅仅将生成图像在融合点进行放置会导致生成图像与融合点周围位置不平滑，与原数据集中缺陷图像存在出缺陷不同以外的差异，导致对最终的缺陷检测造成不必要的影响。因此，采用基于泊松方程的融合方法进行生成图像和背景图像间的融合，避免此类问题的产生。图像融合是消除图像拼接痕迹的关键技术，图像融合技术要满足色彩、亮度一致，融合边界平滑等要求。基于泊松方程的图像融合原理如图所示。表示待融合的背景图像，为的像素表示函数，表示融合后背景图像中被目标图像所覆盖的区域，是的边界，为的像素表示函数，为目标图像，为的梯度场。为了保证融合区域内像素表示函数相等，需要（）。同时为了确保融合区域的变化也具有平滑性，要使融合区域内梯度变换平缓，需要寻找在融合区域内的解满足一定边界下的泊松方程：（）（）其中：为拉普拉斯算子。图基于泊松方程的图像融合原理图为了让目标图像覆盖背景图像待融合区域并最终形成无缝拼接，泊松方程引入了由目标图像决定的梯度场。（）（）同时，为了保障目标图像能够平滑过渡并且背景图像融合区域与目标图像有相同的轮廓，需要满足融合后图像与原始背景图像有着最相近的梯度信息，即：（珝）（）（）（）其中：（珝），对于待融合目标图像，有：（珝）（）即求解方程：（）（）基于泊松方程的图像融合方法伪代码如下：基于泊松方程的图像融合方法输入：生成的磁芯缺陷数据集；原始磁芯数据集合格磁芯图片数据集；输出：带有缺陷的磁芯图片数据集。计算数据集 中的图片数量 ：从数据集中顺序读取一张背景图像；抽取出个来自生成缺陷数据集 的目标图像（），（）；设置目标图像的掩膜区域；通过式（）至（）将掩膜区域的目标图像融入背景图像；图图像融合流程 基于深度学习的缺陷检测 算