基于深度学习的PCB芯片极性检测算法_王猛.pdf

第 卷 第 期 年 月电 子 器 件 .项目来源：福建省自然基金面上项目（）；闽江学院计算机科学与技术应用型学科开放课题资助（）收稿日期：修改日期：，（，；，）：，：；：；：基于深度学习的 芯片极性检测算法王 猛，陈 健，万佳泽，林 丽，何栋炜，刘丽桑，曹新容（福建理工大学电子电气与物理学院，福建 福州；福建省信息处理与智能控制重点实验室，计算机与控制工程学院，闽江学院，福建 福州）摘 要：印刷电路板芯片极性检测是印刷电路板缺陷检测的重要组成部分。针对传统印刷电路板芯片尤其是小型芯片的极性检测算法准确性的不足，提出一种基于深度学习的电路板芯片极性检测方法。该方法首先使用模板匹配对不同电路板上不同型号芯片进行识别定位；其次，对电路板参考图像与待测图像进行配准、灰度化、二值化，并对两幅图像进行差分处理得到差分图；最后，结合芯片识别定位结果提取差分图中的芯片区域，并采用提出的卷积神经网络实现对芯片的极性检测。实验表明，所提方法比传统方法具有更高的检测准确率，准确率可达，满足工业检测精度需求。关键词：电路板；极性检测；深度学习；卷积神经网络中图分类号：文献标识码：文章编号：（）印刷电路板（，）作为电子产品中的重要组成部分在当今生产生活中发挥着不可代替的作用。然而，在生产过程中由于不同因素的影响导致生产出的电路板出现各种缺陷，轻则使产品报废，造成资源浪费和经济损失，重则危害使用者人身安全。对于电路板缺陷的检测，传统的方法有人工目检法和电气检测法。此类方法易造成误检以及电路板损坏，并且效率有待提高。基于机器视觉的检测技术是以图像处理、模式识别为基础实现对目标的检测。由于无需人工参与且具有非接触式的特点，基于机器视觉的检测技术摆脱了传统检测方法主观性强、效率低、易损坏电路板等缺点，极大地提高了电路板缺陷检测的精度及效率。近年来，学者们针对 缺陷检测提出不同的方法。在裸板走线和焊点缺陷检测方面，结合传统方法，李云峰等提出根据邻域梯度方向信息熵描述子进行缺陷的提取和特征向量的构造，最后利用支持向量机实现焊点和走线缺陷的分类识别；刘美菊等针对 焊点缺陷检测存在准确性不足的问题，提出一种改进的 近邻算法，利用焊点面积、周长以及矩等特征对焊点缺陷进行识别分类，结果表明该算法准确率高达，较其他算法具有较高的准确率。结合深度学习方法，等利用 对电路板的走线和焊点缺陷进行检第 期王 猛，陈 健等：基于深度学习的 芯片极性检测算法 测，选择带有特征金字塔的 作为主干网络进行特征提取，为了能更好地检测 细小焊点和走线的缺陷，使用 模块来更加准确地预测，该方法具有较高的准确率；王永利等提出一种基于深度学习的方法针对 焊盘和走线的断路、毛刺、余铜等 类缺陷识别分类；等为了解决卷积神经网络在 走线和焊点缺陷检测中因数据分布不均而导致检测准确率不高的问题，提出 模型，在标准的 中加入代价敏感调节层，实验结果表明该网络的缺陷检测准确率比其他方法有较大的提升；伍济钢等针对电路板焊点和走线缺陷检测，提出一种改进的 网络，该方法中首先利用改进 算法和交并比损失函数确定预选框，随后分别使用 和 网络分别进行特征的提取和检测，实验结果表明该方法具有较高的精确度和检测速度。在器件板缺件检测方面，学者们更多 地采用传统图像处理方法实现，等采用形态学图像分割算法并结合图像处理实现对 元件丢失等缺陷的检测；朱寒等将改进的模板匹配算法与图像差分相结合实现对 漏件检测。在 芯片极性检测方面，吴晖辉等提出边缘积分投影和颜色特征统计相结合的算法实现对芯片极性的检测；赵翔宇等将形态学与种子填充算法相结合提出一种分层提取匹配算法实现对 元件的漏检和极性检测；陈健等提出一种结合先验知识的感兴趣区域提取、改进模板匹配及像素相加法的芯片极性二级检测方法，实现对芯片极性的检测。虽然众多学者针对电路板缺陷检测提出不同方法，但是针对 芯片极性检测问题提出的方法较少并且效率有待提高。近年来，随着深度学习相关理论的进一步完善及计算机性能大幅度提高，深度学习尤其是卷积神经网络得到了快速发展，并逐渐应用于语音、图像等相关领域。同时在缺陷检测领域，相对于传统方法，基于深度学习的方法已经体现出一定的优越性。基于此，本文搭建一个基于卷积神经网络（，）的框架，实现对 芯片极性检测。实验表明本文方法相较于传统方法具有更高的准确率。基于深度学习的芯片极性检测算法本文方法具体实现流程如图 所示。首先利用模板匹配对 芯片进行识别定位；同时，将参考图像和待测图像进行配准，然后将配准后的图像进行预处理得到二值化图像；接着，对二值化图像进行差分运算并结合芯片定位结果找到芯片区域，生成感兴趣区域（，），随后将该区域从差分图中提取出来，并利用提出的 网络实现对图像中芯片的极性检测。图 本文方法流程图 基于模板匹配的 芯片识别定位模板匹配是图像识别中经典的目标检测方法，因其算法简单而被广泛应用。模板匹配是通过计算模板图和待测图中模板覆盖区域的相似度来确定模板图在待测图中的位置。本文使用不同型号的芯片图像作为模板，以 图像为待检测图，进行模板匹配，从而确定 中芯片的具体位置。公式如下：（，）（，）（，）（）（，）（，）（，）（，）（，）（）式中：为待测图被模板覆盖的区域，为模板图，、分别为模板图像的宽与高，、为待测图的宽与高，与 为模板左上顶点在待测图中的坐标，且，。（，）为相似性度量，模板与待测图匹配得越好，其值越低。（，）为相关系数，当模板与其覆盖的待测图区域完全一致时，（，），（，）最小。图像配准在 图像采集过程中，由于摆放问题会导致待测 与参考 之间产生位置偏移，因此，可以引入图像配准实现不同图像的位置矫正，以保证后续差分法的准确性。本文采用加速鲁棒特征（，）算法进行图像配准。是在尺度不变特征变换（，）的基础上进行的改进，相对电 子 器 件第 卷于 有更快的运算速度。算法原理如下：第一步，利用海森矩阵和高斯函数构造 的尺度空间，并计算出不受尺度和旋转影响的特征点，公式（）为在构建尺度空间过程中将图像每个像素值转换成该像素点值的行列式，从而将整个图像转换成海森行列式图；第二步，采用三维线性插值法求出亚像素级特征点，删除极值小于阈值的特征点，以突出特征最强的点；第三步，统计特征点邻域内 小波特征，从而确定特征点的主方向；第四步，在特征点邻域计算出选定矩形区域的 小波特征值，构造特征点特征向量；最后，对两幅图像关键点特征向量进行相似运算并通过变换矩阵对图像进行位置和角度的调整。（）|（）式中：为像素点坐标为（，）处的像素值函数。配准过程如图 所示，其中图（）为参考图像，图（）为待配准图像，图（）为特征点的检测与匹配，图（）为图像配准结果。图 图像配准 图像差分由于芯片表面字符的存在，若 芯片极性出现错误，经过对二值化图像差分处理后，芯片区域将出现较多的白色像素点，而芯片极性正确则该区域出现少量白色像素点甚至没有。基于此原理，引入图像差分法，首先对配准后的待测图像进行灰度化和二值化，随即将参考图和待测图的二值图进行差分处理，最后对差分图进行形态学滤波。图像差分的流程如图 所示。图 图像差分流程图由于彩色图像干扰信息较多不易进行比较，故将 图像进行灰度化、二值化。原始图像、灰度图像和二值图像如图 所示。二值化公式如下：（，）（，）（，）（）式中：（，）为输入的灰度图像，（，）为输出的二值图，为阈值，经过大量实验测试，本文阈值设为。图 图像二值化图像差分法是缺陷检测领域中常用方法。该方法是将两幅图对应的像素值作减法运算，得到与原始图像对应的差分图像，如图（）所示。可看出差分后的图像存在许多噪点，在芯片表面字符不清楚或者芯片很小的情况下会影响本文方法对芯片极性的判断。因此，本文对差分后的图像运用先腐蚀后膨胀进行滤波，以去除干扰信息，如图（）所示。最后根据芯片的位置信息及尺寸生成。图 差分图像及滤波图像 基于深度学习的缺陷检测卷积神经网络是一种前馈式深度学习网络，利用反向传播算法不断优化网络参数，使损失函数值达到最小，以满足实际应用精度和速度的需求。克服了传统缺陷检测方法需要人工提取特征的缺点，可以从输入图像中利用卷积层中的卷积核自动地提取图像特征进行学习，是一个具有强大学习能力的端到端神经网络。由输入层、卷积层、池化层、全连接层构成。卷积层利用卷积核对来自上一层的图像进行特征提取，一个卷积层一般有多个卷积核，一个卷积核提取一种特征，经过激活函数映射得到一个特征图。具体公式如式（）所示：()（）式中：（）为激活函数，本文选用 函数。表示第 个卷积层的第 个特征图，表示第 卷积层的卷积核，表示偏置。池化层（）又称下采样层，在保留必要数据第 期王 猛，陈 健等：基于深度学习的 芯片极性检测算法 的前提下，减少网络的参数，加快训练速度，防止过拟合，提高模型的泛化能力。具体公式如式（）所示：（）（）式中：（）表示下采样函数，表示乘性偏置，表示加性偏置。在 结构中，在一系列卷积层和池化层后，一般连接几个全连接层。全连接层将卷积层提取到的特征信息进行整理。全连接层的每个神经元与前一层的所有神经元进行全连接，本文使用 逻辑回归进行分类。本文搭建的 结构如图 所示，包括 个卷积层，个池化层以及 个全连接层。原始图像大小为，经过第一个卷积层（包含 个 大小的卷积核）卷积，得到 个 大小的特征图。接着经过第一个池化层，使用 最大池化，得到 个 大小的特征图。随后经过第二个卷积层（包含 个 大小的卷积核）产生 个大小为 的特征图，随后经过第二个池化层，使用 最大池化，得到 个 大小的特征图。全连接层分别含有、和 个神经元。全连接层最后一层为 层，用于特征分类。本文使用交叉熵损失函数作为目标函数，交叉熵损失函数如下：（，）（）式中：为样本标签也就是期望输出。为网络的实际输出，即网络的预测值，为分类的数目。图 本文提出的 结构 实验过程与结果分析 实验平台及数据集的形成本文使用深度学习框架 进行 的搭建和训练。所使用的编译器为，第三方函数库为 ，操作系统为。采用 。数据采集部分采用型号为 的海康威视彩色 千兆以太网工业相机和中联科创 镜头，采集系统如图 所示。图 图像采集硬件平台由于本文提出的方法是基于深度学习实现，因此，需要制作相应的数据集。实验中首先利用模板匹配对 芯片进行识别和定位，以此来确定芯片在 图像中的位置，结合参考图像对待测图像进行配准实现待测图像位置的矫正。随后将参考图像与待测图像进行差分操作获得差分图。最后，根据模板匹配得到的芯片在 中的位置和大小将芯片区域从差分图裁剪出来，并统一整理为 大小图像，形成数据集。将此数据集划分为极性正确和错误两类，极性正确的数据为 个，贴上标签，极性错误的数据为 个，贴上标签。随后将这些数据送入本文提出的 网络进行训练，另外 张用于测试。图 展示了部分训练样本。图 部分训练样本 超参数调整本文对比在不同批量大小（）以及学习率下网络训练过程的损失曲线以确定 最 终 的 和学习率。分别选取 为、，学习率根据经验初步选为 、和 进行实验对比，如图 所示。电 子 器 件第 卷图 不同 的 曲线图（）和图（）分别为 选择 和 时的 曲线。由于 过小引入的随机性变大，网络难以收敛。图 （）和图 （）分别为 设为、时的 曲线图，当 为 或 时 波动较小，这是由于 越大时梯度下降的方向越准确，引起的训练震荡越小，但最终的收敛情况却相差无几，由于过大的 会导致达到相同的训练精度耗费的时间变长，并且会占用大量内存资源。因此，本文最终将 设为。图 不同学习率下的 曲线图 为当 设为 时，选取不同的学习率所得到的一系列 曲线。如图（）所示，当学习率设为 时，当训练到 步 还未收敛，这是由于学习率设得过小，网络收敛慢。当学习率过大时，出现了陷入局部极值的情况，导致 在最优值附近波动，如图（）（）所示。可以看出当学习率设为 时 曲线收敛情况最好。本文提出的 最终选择 为，学习率设为 。训练过程准确率和损失曲线如图 所示。当训练到 步左右 开始逐渐收敛，最终保持在 左右。准确率在 步后开始收敛并最终保持在 左右。图 训练准确率和损失曲线 芯片极