基于视觉感知的表面缺陷检测综述_苏虎.pdf

第 卷第期计算机集成制造系统 年月 ：收稿日期：；修订日期：。；基金项目：国家重点研发计划资助项目（）；国家自然科学基金资助项目（，）；山东省自然科学基金重大基础研究资助项目（）。：，（），（，），（）基于视觉感知的表面缺陷检测综述苏虎，张家斌，张博豪，邹伟，（中国科学院 自动化研究所，北京 ；中国科学院大学 人工智能学院，北京 ）摘要：基于视觉感知的表面缺陷检测，具有高效、可防止二次损伤等优点，被广泛应用于各种工业场景中。近年来深度学习技术的快速发展进一步推动了视觉缺陷检测的进步与应用。以特征的显式提取与自动提取为思路，对基于视觉感知的缺陷检测方法进行综述和分析。首先，简要描述了视觉缺陷检测系统的基本构成，将缺陷检测中的视觉感知归为分类、目标检测和分割个层次。然后，将现有的视觉检测方法分为基于显式特征提取的（传统方法）和基于自动特征提取的（深度学习方法）。进一步，将基于显式特征提取的方法分为统计法、谱方法和模型法类，将基于自动特征提取的方法分为整图分类的、目标检测的和像素分割的方法。对每一类方法的特点和适用场景进行了归纳总结与分析。同时，针对工业应用中数据获取成本高的问题，介绍了近年来出现的弱监督缺陷检测方法与异常检测方法，并介绍了具有较大影响力的工业表面缺陷数据集。最后，针对如何减少对大量标注数据的依赖和如何提高检测方法在工业现场的适用性两个关键问题展开讨论，展望了该领域下一步的研究方向。关键词：视觉感知；缺陷检测；显式特征提取；自动特征提取；深层神经网络中图分类号：文献标识码：，（，；，）：，计算机集成制造系统第 卷 ，：；问题的描述表面缺陷检测常见于各种工业质检过程，是控制产品品质的关键，如图所示。基于视觉感知的表面缺陷检测，具有精度和执行效率高、可防止二次损伤等优点，能够充分满足工业现场需求，是实现表面缺陷自动化检测的理想解决方案，在很多行业得到了应用，如道路、桥梁、玻璃、钢铁、光学元器件等。现有的关于表面缺陷检测方法的研究，大 体可分为基 于显 式 特征 提 取的（传 统 方法）和基于自动特征提取的（深度学习方法）两类。显式特征提取方法是通过分析纹理特性，如同向性、同质性等，提取图像特征，识别缺陷纹理，从而区分缺陷产品图像和正常产品图像。此类方法的研究起步早，可追溯至上世纪八十年代，研究成果也十分丰富。深度学习方法是 年深层神经网络成功应用于大规模图像分类以后，逐渐发展起来的。与显式特征提取方法相比，自动特征提取方法不需要专门进行图像特征的手工设计和提取，对目标识别能力强。研究人员尝试将深度学习技术应用于表面缺陷检测，获得了超过传统方法的准确率。基于深度学习的缺陷检测方法越来越广泛地应用于各种工业场景，成为当前缺陷检测的主流方法。一些公司开发出多种基于深度学习 的 商用工 业 缺 陷 检 测 软 件，如 、等。同时，弱监督学习、无监督学习等方法的出现，缓解了工业场景中数据获取成本高的问题，让深度学习在工业质检领域的规模化应用变得可行。目前，在国家政策的支持下，深度学习正与制造业深度融合，成为实现工业检测自动化的重要推动力。表面缺陷检测是一个系统性问题，除检测方法外，照明成像也十分重要。合理的照明成像方式是有效呈现缺陷特征的关键，也是后续图像处理和质量判断的基础。本文从问题描述、检测流程和检测方法等方面对表面缺陷检测进行系统性阐述。在此基础上，重点综述了检测方法的研究进度，对现有检测方法进行归类和对比分析，并对每一类方法的特点和适用场景进行总结。通过对该领域代表性文献的归纳梳理，本文对表面缺陷检测进行了系统性、全面性的介绍，使研究人员能够快速了解该领域的进展、相关方法和技术，为有关从业人员在算法设计和系统搭建时提供借鉴。目前已有一些关于表面缺陷检测方法的高水平文献综述，例如：文献 和文献 综述了应用于钢铁表面的缺陷检测方法；文献 是综述纺织物表面缺陷检测方法的早期文献，文中还介绍了纺织物在线检测的硬件系统；文献 首先对不同的表面缺陷进行归类，然后综述了应用于多种表面的缺陷检测方法。考虑到应用于不同场景的检测方法的共通性，笔者认为，针对特定应用场景的综述文献文献 可能无法充分阐述该领域的进展。近几年，深度学习方法的出现极大促进了工业检测的进展，基于深度学习的缺陷检测方法不断涌现。文献、文献 和文献 对该类方法论述不足。尤其是，对应用于表面缺陷检测的分类、检测和分割网络并没有详尽的归纳总结，对弱监督、无 监 督 等 方 法 没 有 展 开 介 绍。另 外，文 献、文献 和文献 仅对缺陷检测方法进行综述，没有涉及缺陷检测系统的介绍。第期苏虎 等：基于视觉感知的表面缺陷检测综述基于视觉感知的表面缺陷检测概述 表面缺陷检测技术的发展表面缺陷检测方法的发展里程碑如图所示。图中时间轴表示该类方法首先应用于表面缺陷检测，以 年为分界线，将现有缺陷检测方法分为传统方法和深度学习方法。基于传统方法的缺陷检测研究始于 世纪 年代，研究成果丰富，进一步分为统计法、滤波法和模型法。年以来，随着以卷积神经网络为代表的深度学习技术在诸多计算机视觉任务中取得成功应用，人们尝试将其应用于表面缺陷检测。目前，基于深度学习的缺陷检测方法研究十分活跃，各种创新方法不断涌现，根据获取的缺陷信息的不同，具体可分为分类、目标检测和分割种方法。在下文中，将对这些方法展开详细阐述。视觉缺陷检测问题定义在已有文献中，获取的缺陷信息分为类别标签、外接矩形和像素掩码种形式，对应方法分别是分类、目标检测和分割。如图所示，以玻璃盖板表面的崩边缺陷为例对类缺陷信息进行说明。类别标签包括图像标签和缺陷类型标签，分别表征当前图像是否是有缺陷的和缺陷类别；外接矩形除了给出缺陷的类型外，还要确定缺陷在原图中的位置；像素掩码需要逐像素判断是否属于缺陷及缺陷的类型。以上类缺陷信息的信息量逐步递增。例如，由外接矩形和像素掩码可以直接获得类别标签，由像素掩码通常可以获取缺陷的外接矩形。本文将从分类、目标检测和分割个角度出发，对缺陷检测方法展开综述。在计算机视觉中，检测任务通常指确定前景物体的外接矩形。在下文中，将该任务称为目标检测，以与本文中表面缺陷检测的统称加以区分。在工业应用中，缺陷的类型、尺寸和数量均需要作为产品质量判断的依据。事实上，有时由外接矩形获得的粗略尺寸信息还不足以充分判断产品质量，需要获得像素的逐像素标签，以获取缺陷的精确尺寸信息。本文关于缺陷信息的划分充分体现了检测过程中获取的缺陷信息的差异，而且和计算机视觉中分类、检测和分割任务的定义保持一致，可为实际应用场景中不同需求的缺陷检测任务提供参考。视觉缺陷检测系统基于视觉感知的表面缺陷检测系统的基本构成包括个主要模块，依次完成图像获取、图像处理和图像反馈功能。在图像获取模块中，需要根据当前待检测表面属性及缺陷特征，构建照明和成像系统，通过机械装置、光源和相机的协同配置与操作，获得缺陷特征明显的待检物表面图像。在图像处理模块中，利用图像处理算法，检测图像中的缺陷目标，识别缺陷类型。在图像反馈模块中，根据检测标准判断当前样品是否合格，并将判断结果传输至执行机构。同时，也可以对图像的缺陷类型、位置、形状、大小等进行可视化显示，对图像及缺陷信息进行存储，便于后续的查询与统计等。一些缺陷特征十分微弱、在原图中的占比低，利用合理的照明成像方法实现缺陷的有效成像是整个缺陷检测系统的关键，也是后续图像处理和质量判断的基础。由于待检产品表面材质、纹理及缺陷和种类形态的不同，采用的照明成像方式会有较大差计算机集成制造系统第 卷异。在常见应用场景中，通常采用的相机包括线阵相机、面阵相机和线阵面阵相机的组合，采用的光源包括同轴平行光、激光光源、多光源组合等。相机光源组合模式没有固定范式，需要结合实际检测场景的需求，包括检测对象属性、检测指标要求等进行针对性设计。例如，浙江大学 等利用面阵 相机和 光源研制了大口径精密光学元件表面缺陷评估系统。该系统采用一个三维高精度运动平台，可以实现图像采集模块在竖直平面内小范围的运动及光学校准，实现了最大口径为 的超光滑光学元件表面缺陷的自动化检测。等 设计了应用于印刷电路板检测的多光源成像系统。该系统同时采用垂直与倾斜的照明光源，通过多角度入射光线提取表面不同层次的信息。简川霞等 研制了手机玻璃盖板的表面缺陷检测系统。该系统采用了同轴平行光源和面阵 相机，相机具有竖直平面内的两个运动自由度，可有效调整工作距离，完成光源的校准。北京科技大学的徐科等 在检测热轧板带表面缺陷时，采用绿色激光线光源和面阵 相机解决了图像采集 中 的 远 距 离 均 匀 照 明 问 题。系统 是德国 公司研制的带钢表面缺陷检测系统。该系统采用面阵相机和线阵相机相结合的复合成像模式。美国 公司研制的钢铁表面缺陷检测系统：系统，采用 阵列平行光光源和高速线阵 。选择合理的照明成像方式不仅能够提升成像质量、提高检测准确率，还能够控制系统成本，有利于自动化检测系统在工业中的推广应用。基于显式特征提取的表面缺陷检测算法关于此类方法的研究开展较早，相关成果非常多。限于篇幅，本章将仅针对其中具有代表性的典型算法展开综述。本章将此类方法分为统计法、谱方法和模型法 类方法分别进行阐述；然后，介绍缺陷分类中使用的机器学习方法；最后，对各种方法的特点及适用性进行总结分析。统计法该类方法根据图像的统计分布特征分析纹理，识别缺陷。该类方法又可进一步细分为灰度统计法、梯度统计法和模式统计法。灰度统计法图像像素灰度的均值、方差、直方图等均为常用的灰度统计特征。文献 文献 分别利用待检图像、无缺陷图像与子图的像素灰度均值与方差，设定自适应阈值，检测过暗或过亮的缺陷。等 在像素邻域内建立加权方差矩阵，根据方差矩阵两个特征值的差异识别缺陷像素。该方法使用单一特征，避免了复杂分类器的设计，在多个不同的表面检测任务中获得较好效果，并且具有较高的实时性，检 测 大 小 的 图 像 仅 需 。等 利用颜色直方图对瓷砖表面图像进行分类，提出并验证了多种直方图对比方法，包括、范数、线性相关系数、巴氏距离等。等 将单幅图像分割为互不重叠的多个区域，分别进行灰度直方图统计，提升纹理表征的准确率。等 利用熵差的直方图特征检测钢铁表面的水滴、汽泡缺陷、划伤等低对比度缺陷。该方法计算待检图与背景图的局部熵（在邻域内），计算两幅图的熵差，根据熵差的直方图特征识别缺陷像素。该方法在钢铁表面缺陷检测中取得了优于自适应灰度阈值的准确率。直方图特征计算简单，具有平移和旋转不变性，但是在计算过程中需要占用较多的内存空间，同时，直方图特征对于复杂纹理区分度较低。模式统计法灰度共生矩阵（，）和局部二值模式（，）是常用的模式统计特征。是对图像上保持特定距离、角度的两个像素具有的灰度模式的统计。通过表征图像灰度的空间相关特性来描述纹理。由 等 首次提出，同时设计了 种 特征用于纹理图像的分类。文献 和文献 提出了基于 特征的缺陷检测算法，并分别用于检测木材和地毯的表面纹理缺陷。文献 提出的缺陷检测方法可分为两个步骤：首先，利用全局灰度特征区分正常图像与缺陷图像；然后，针对缺陷图像，利用 特征进一步识别缺陷类型。特征对于缺陷通常具有更高的区分度，但是检测效果对像素点的相对位置、角度、特征维度等参数变化敏感。目前还没有一种通用的方法确定这些参数。由 等 提出，并被用于纹理图像分类。以中心像素灰度为阈值，将相邻像素与之对比产生的二进制数即为该中心像素点对应的 。对比了 和 两种特征，验证两种特第期苏虎 等：基于视觉感知的表面缺陷检测综述征有效性的同时指出，特征在计算效率上优于 特征。文献 和文献 验证了 特征在钢铁、木材表面缺陷检测中的有效性。等 采用 （）特征检测钢铁表面缺陷。在特征计算过程中，将单个相邻像素点的灰度替换为邻域内像素灰度均值，降低噪声干扰的影响。该方法在钢铁表面缺陷检测中获得了超过 的分类准确率。近期，等 提出一种新的基于 的特征提取方法。与 特征不同的是，该特征可同时分析水平、竖直与两个对角线方向 上 的 邻 域 像 素 灰 度 分 布，以 增 加 辨 识 度。等 设计了基于位置、面