基于图像处理技术的集成电路焊接质量监测系统研究_张立立.pdf

第 46 卷 第 1 期2023 年 2 月电 子 器 件Chinese Journal of Electron DevicesVol.46No.1Feb 2023项目来源:国家自然科学基金资助项目(61671141，61501038)收稿日期:20211220修改日期:20220214esearch on Integrated Circuit Welding Quality Monitoring SystemBased on Image Processing Technology*ZHANG Lili，BAO Xirong*，WANG Tong，GUO Jialin，YANG Jinzhu(National Computer Experimental Teaching Demonstration Center，School of Computer Science and Engineering，Northeastern University，Shenyang Liaoning 110819，China)Abstract:With the development of computer technology，the application of digital image processing provides new conditions for the in-spection of circuit board welding quality The image registration algorithm of reference image and image to be detected is emphaticallystudied，The image registration method based on gray level information is adopted PV interpolation method is used to direct update thejoint histogram and calculate the mutual information value of reference image and floating image Then improved Powell algorithm isused to search the optimal registration parameters，and the registration image is obtained through interpolating according to the registra-tion parameters In the aspect of defect detection，color recognition is used to find the difference parts between the registered image andthe reference image，and histogram matching and edge detection are used to filter out the false defects and noise parts to get the defectpart Finally the defect position is calibrated Experimental results show that the proposed method can achieve fast and high-precisiondetection of welding defects，thus further reducing labor costs and improving detection efficiencyKey words:image processing;image registration;powell algorithm;defect detection;welding qualityEEACC:6135doi:103969/jissn10059490202301010基于图像处理技术的集成电路焊接质量监测系统研究*张立立，鲍喜荣*，王彤，郭嘉林，杨金柱(东北大学计算机科学与工程学院，国家级计算机实验教学示范中心，辽宁 沈阳 110819)摘要:随着计算机的发展，数字图像处理的应用为电路板焊接质量的检测提供了新的条件。重点研究了参考图像和待检测图像的图像配准算法。采用基于灰度信息的图像配准方法，使用 PV 插值法直接更新联合直方图并由此计算出参考图像和浮动图像的互信息值。然后采用改进的鲍威尔算法搜索最优配准参数，根据配准参数进行插值从而得到配准图像。在缺陷检测方面，通过颜色识别寻找配准图像和参考图像的差异部分，再通过直方图匹配和边缘检测滤去伪缺陷和噪声部分得到缺陷部分，最后标定缺陷位置。实验结果表明，采用所设计的方法可以实现焊接缺陷的快速并且高精度的检测，从而进一步降低人工成本，提高检测效率。关键词:图像处理;图像配准;鲍威尔算法;缺陷检测;焊接质量中图分类号:TP393文献标识码:A文章编号:10059490(2023)01005705伴随信息化社会的进步，电子产品进入了一个新的高速发展的时期。电子器件在电路板上的集成度越来越高，焊接的缺陷检测1 是电路板生产环节中是非常重要的一环。在传统工业生产中，人们惯用肉眼和放大镜检查电路板。弊端主要有:其一，检测质量不稳定，细微的缺陷和隐蔽的焊点往往无法被发现，其二，人工的工作效率不够高，人的眼睛会有视觉疲劳感，人在工作一段时间后效率会下降而且准确度无法保证。其三，人工检测依赖于工作人员的经验水平，不同工人检测的结果也是不一致的。其四，人工劳动的成本较高，在信息化时代的高速发展下，科技必将把人类从这种重复性的劳动中解放出来。自动光学检测(Automatic Optical Inspection，AOI)技术2 是一项新式检测技术，它发展迅速，国内外很多公司都有生产 AOI 设备的能力。在制造业蓬勃发展的背景下，AOI 算法的研究3 对电路板的焊接质量检测有着十分重大的意义。自动光学检测技术在国外研究4 的相对较早，技术比国内来说要成熟的多，设备能够检测大多数电路板中存在的焊接缺陷。市场占有率比较高的是电子器件第 46 卷Ormon 公司生产的 AOI 设备，他们的设备同时采用彩色光源、彩色 CCD 摄像头和彩色图像处理技术，能够做到更加精确的缺陷检测5。国内第一台 AOI检测系统为品牌 Aleader 的 ALDH350，于 2004 年5 月在广东省东莞市研发成功，并投入生产使用，但是检测水平比国外相对较差。此外，国内有些公司也在 AOI 方面进行了研究，如深圳的郑华兴科技有限公司、台湾凌华科技有限公司等6。但是严峻的事实是，国内对 AOI 技术研发机构还是相对较少，并且国外的产品在市场上占有率比较高，加之他们对核心技术进行了保密。所以 AOI 算法技术的研究在我国仍就处于起步的阶段，和发达国家相比仍然有相当的差距，有着十分广阔的发展前景。本文重点研究图像配准技术，采用基于灰度信息的配准算法。在无约束优化问题的求解上，实现了坐标轮换法、改进的鲍威尔算法对图像配准参数的求解。利用 PV 插值法计算联合直方图数据，并由此计算出图像经过几何变化后的互信息值。在PV 插值的基础上加以改进，将原来的 2 阶 PV 算法改为 4 阶。避免了原有插值算法容易陷入局部极大值的情况。最后根据配准图像与模板图像的差异特性，再进行降噪和边缘提取。最终通过逻辑运算提取出焊点信息。1图像配准的原理图像配准就是将不同时间、不同传感器或者在其他不同条件下获取的两幅图像进行匹配7。配准的主要任务就是寻求最佳空间变换参数能够使得浮动图像和参考图像达到最佳的对准。图像配准主要有四个主要的方面。其一，特征选取部分指的是选取能够将两幅图像用于图像配准的特征指标，常用的方法有基于图像灰度信息的、基于变换域的和基于特征法的。其二，是搜索空间，这部分指的是在配准过程中图像变换的范围和图像变换的方式。图像变换的范围可以是局部的，也可以是全局的。变换的方式可以分为线性的或是非线性的。其三，相似性度量准则。图像每次变换后，需要进行对配准程度的好坏做一个评估。如果没有达到最佳的配准精度，那就需要继续优化参数。其四，搜索策略。搜索策略就是寻找配准参数的一种方法，它的作用就是对最佳参数的求解。2基于灰度信息的配准算法21改进的鲍威尔搜索算法鲍威尔算法8 第一轮先用坐标轮换法进行迭代，然后用计算所得到的迭代最小值与初始点相连，构成一个新的方向，并以此方向为最末一个方向，去掉第一个方向，从而得到第二轮迭代的 n 个方向，形成新的搜索方向组。从这一轮的搜索终点出发沿着新的搜索方向进行一维搜索，进而得到极小值点，作为下一轮迭代的起始点。因为在这个基本算法中，对这 n 个搜索方向没有进行过衡量，一旦搜索方向变成线性相关的就无法进行下去。导致之后的迭代计算是在降维的空间中进行，可能无法求出极值。为了解决这个问题，提出了改进算法。在鲍威尔基本算法中，每一次迭代都用连结初始点和终点所产生的搜索方向去替换原搜索方向组的第一个搜索方向，而不去管这样的替换是否符合线性相关，这是鲍威尔基本算法的根本缺陷。改进的鲍威尔算法在每一轮产生新的搜索方向后，先判断原向量组是否可以用于下一轮的迭代。如果可以，那就直接使用。否则，进一步判断原搜索方向组哪一个方向上的函数值下降量最大，然后用新的搜索方向去替换这个下降量最大的搜索方向，以保证每一轮迭代的搜索方向都是线性无关的。22PV 插值法PV(Partial Volume)插值法是一种针对两幅图像的联合直方图更新的一种插值技术9。它不同于之前所说的灰度插值技术，因为通过 PV 插值法并不能计算出后向映射对应的灰度值。它的作用在于图像配准的过程中，待配准图像经过几何变换后，不需要对图像进行灰度重采样，就直接可以计算几何变换后图像与参考图像的联合直方图的值，并由此计算它们的互信息值。计算过程如下，设 x0是待配准图像上的一点，x1为 x0通过后向映射得到的参考图像上的一个非整数坐标点。设 Dm是 x1的4 个领域点(m=1，2，3，4)。每一个点对应有一个权重 km，计算公式为:km=f(dmx)f(dmy)(1)式中:dmx，dmy 分别是点 Dm与点 x1在 x 轴，y 轴方向上的距离。设待配准图像为 F，参考图像为。则 PV 插值的计算联合直方图的公式如下，:hab=(F(x0)，(Dm)+=km，m=1，2，3，4(2)式(2)是二阶的 PV 插值计算式，参与运算的只有 4 个点。可以在此基础上增加计算的点数，扩展到 16 个点参加运算。那么类似的就会有:hab=F(x0)，(Dm)+=km，m=1，2，3，4，16(3)式中:“+=”表示自加操作。可以由式(3)看出，点数增加到了 16 个点。85第 1 期张立立，鲍喜荣等:基于图像处理技术的集成电路焊接质量监测系统研究23互信息计算互信息是信息理论中的一个基本概念，通常用于描述两个系统之间的统计相关性10。所以可以将两幅图像的互信息值作为配准程度的一个评估指标。如果两幅图像的互信息达到最大值，那么就可以认为此时达到了最佳配准。互信息可用熵来描述。公式如下:I(A，B)=H(A)+H(B)H(A，B)(4)式中:H(A)，H(B)分别为系统 A 和系统 B 的熵，H(A，B)是它们的联合熵。根据香农信息公式可计算:H(A)=aPA(a)log2PA(a)(5)H(B)=bPB(b)log2PB(b)(6)H(A，B)=a，bPAB(a，b)log2PAB(a，b)(7)那么就有:I(A，B)=aPA(a)log2PA(a)bPB(b)log2PB(b)+a，bPAB(a，b)log2PAB(a，b)(8)图 1配准流程图24配准流程本文采用了基于灰度信