基于机器视觉的嵌入式铝合金激光除漆检测系统_李宇彬.pdf

：基于机器视觉的嵌入式铝合金激光除漆检测系统李宇彬，王涛，杨紫幡，李道齐，王书文（河北工业大学 机械工程学院，天津 ）摘要：针对自动化激光除漆领域铝合金表面除漆质 量 无 法 快 速 检 测 这 一 问 题，设 计 了 基 于 机 器 视觉的嵌入式铝合金激光除漆检 测 系 统，嵌 入 式 系 统 采 用 工 业 相 机 实 时 采 集 工 作 画 面；基 于 （）无线模块，通过 （）和 （）协议实现了工作画面的实时传输，通过 （）协 议 实 现 了 指 令 与 检 测数据的可靠传输；利用机器视觉算 法 实 现 了 除 漆 不 合 格 区 域 的 准 确 检 测，实 际 测 试 表 明，嵌 入 式激光除漆检测系统能够稳定地传 输 工 作 画 面、指 令 与 检 测 数 据，可 快 速、高 效 地 识 别 除 漆 不 合 格区域，检测准确率 以上。关键词：机器视觉；嵌入式；无线传输；激光除漆中图分类号：文献标识码：文章编号：（），（，）：，（），（）（），（），：；引言随着科技的进步，激光除漆技术 由 人 工操 作朝着自动化与智能化方向发展，其应 用 领 域也 越来越多样化，。在机器人激光除漆系统工作时，由于表面漆层喷涂不均匀等原因，无法保证漆 层激光清洗的质量。因此急需一套与机器人激光除漆系统配合工作的实时检测系统，以提高清洗 效率，保证清洗质量。目前，国内外众多学者对机器视觉应用于激光加工检测行业进行了大量的研究。刘伟军等搭建了一套激光清洗检测系统，并基于加速鲁棒特 征（，）算 法 和 （，）色 彩 空 间 转 换 方法，实现了对钢材表面大面积锈蚀的激 光清洗检测。史天意等通过运动控制系统控制激光清洗器的移动，基于 的去 光照算法、最 大类间方差法（大律法，光 电 子 激 光第 卷 第期 年月 ：收稿日期：修订日期：基金项目：国家自然科学基金（）资助项目）与 边缘 检 测 等 算 法，实 现 对 铝 合 金 表面氧化膜激光清洗质量的实时检测。胡志强针对激光切割中传统质量检测方法成本高、精度 低等问题，实现了基于机器视觉的激光 切 割 质量 检测与评价。田培运针对激光加工中人工检测工件质量效率低、准确率低等问题，基于机器视觉算法设计了一套激光加工在线检测系统，实 现了 对加工工 件 尺 寸 的 高 精 度 在 线 测 量。等提出了一种基于机器视觉的焊缝质量检测算法，可精确地测量焊缝的几何尺寸，测量精度可达 。研究表明，由于机器视觉具有非接触、高效率等特点，将其应用于激光加工在线检测，可有效实现加工质量的实时检测。本文针对自动化激光除漆领域，急 需 实现 铝合金表面除漆质量的快速检测的需求，提 出一 种基于机器视觉的嵌入式激光除漆检测系统，该系统以 架构的 处理器为核心，采用 系统作为操作系统，实现了图像的采集与实时传输、指令与检测数据 的 传 输等 基本功能，通过对除漆图像进行中值滤波与图像锐化预处理操作，消除图像中的噪声干扰，增强图像细节，对预处理后的除漆图像进行图像分割，提取图像中残余的油漆，用于判断清洗是否合格，对除漆不合格的图像的分割结果进行形态学闭运算与连通域查找等操作，实现激光除漆不 合 格 区域 的标记与定位。系统方案 系统总体设计方案嵌入式铝合金激光除漆检测系统总体设计方案框图如图所示。嵌入式检测终端可挂载到机器人激光清洗系统，并通过无线 （）模块与用户终端设备进行通讯。系统工作流程：用户终端与嵌入式终端建立 （）连接；用户终端通过 协议发送开始采集指令到嵌入式终端，嵌 入 式终 端接收指令后通过视频采集线程进行工作画面的实时采集，由 视 频 传 输 线 程 将 视 频 数 据 通 过 （）实时传输协议传输到用户终端，用户终端接收数据后解码显示；在一次清洗完成后，用户终端可通过 协议发送检测指令到嵌入式终端，其接收指令后由 视 频 采集 线程截取一帧图像交由检测线程，检测 线 程 对图 像进行图像预处理、图像分割、形态学闭运算与连通域查找等运算，实现激光除漆效果判 断 和 不合 格区域的标记与定位，并将检测数据通过 通讯线程传输到用户终端，用户终端对数据进行保存，以便于用户后续查看。图系统总体设计方案框图 系统硬件设计嵌入式铝合金激光除漆检测系统硬件设计框图如图所示，主要由嵌入式主板、无线模块、工业相机等器件组成。嵌入式主板采用 架构的 处理器，主频可达 ，外扩 的 芯 片 型 号 ，存 储 芯 片 使 用 的芯 片，型 号 ，并配有多种外设接口。无线模块使用 网卡，支持 标准，数据传输速率可达 。相机使用 万像素彩色 相机，支持 （）驱动，支持与 输出，搭配 变焦镜头。图硬件设计框图 系统软件设计嵌入式铝合金激光除漆检测系统软件部分以 系统作为嵌入式操作系统，由 通讯线程、图像采集线程、图像传输线程与检测线程完成与用第期李宇彬等：基于机器视觉的嵌入式铝合金激光除漆检测系统户终端的通讯和图像的采集、处理、检测与传输等工作。软件系统构建的主要工作包括移植 软件 ，用于初始化硬件设备，引导系统启动；移植 内核，对内核进行配置、编译、移植，并编写修改相关驱动；使用 构建 根 文 件 系 统；移 植 等 依 赖 库；移 植 计算机视觉软件库；完成嵌入式采集端与用户终端的软件程序与用户界面的编写。用户终端软件界面如图所示。图用户终端软件界面 视频的采集与传输 视频采集 是 中关于视频设备的内核驱动框架，为内核驱动和应用层程序提供了统一的 接口。系统采用 实现工作画面的采集，图像采集流程如图所示，在 中万物皆文件，调用 函数打开摄像头所对应的设备文件 ，并返回一个文件描述符用于后续操作，通过 函数搭配不同的 指令对摄像头进行控制，通过 、等指令完成相机采集格式的获取与设置、内核帧缓存区的申请以及帧缓存从内核缓存队列入队与出队等操作，通过 函数将内核中的帧缓存映射到用户空间，用于程序读取。图视频采集流程图 本 系 统 相 机 实 际 工 作 区 域 大 小 为 ，设置相机采集视频分辨为 、帧率 、输出视频格式 （）。视频传输嵌入式铝合金激光除漆检测系统基于 （）协议与 模块实现了工作画面的实时传输。由于一帧图像数据大于底层网络最大数据包长，需对一帧图像进行分包发送。协议传输速度较快，但其无连接的、非可靠的传输方式，无法保证图像数据能及时、按序到达，因此需对数据进行 封装，将 数据包封装于 报文中，通过 模块发送。视频传输流程如图所示。由视频采集线程获取一帧 格式的图像数据，对 图像进行解析，获取分片所需的信息，按照 规范中定义的 数据帧格式对一帧图像数据进行分片打包，通过 模块将 数据包发送到用户端，用户端接收到 数据包后，根据数据包中标志位和顺序号等标记，对 包进行重组，获取一帧完整的 图像，对其解码后在用户终端显示。图视频传输流程图 指令与检测数据传输系统同时使用 和 两种协议进行数据的收发，针对不同的数据类型，选择合适的协议进行数据发送。对于视频监控数据，其传输量较大，对可靠性要求不高，使用 协议完成发送；对于指令和检测数据，其数据量较小，对可靠性要求较高，使用 协议进行传输。协议是一种面向连接的、可靠的、基于字节流的传输协议，其发送应答机制和超时重传机制可有效地保证数据的可靠传输。指令与检测数据发送时，由软件程序在应用层将其按照规定的报文格式进行打包，然后由 协议进行封装，通过 模块进行发送，应用层报文格式如图所示。报文由首部与数据区域组成，报光 电 子 激 光 年第 卷文前 位为首部，首部前位用于区分指令类型和检测数据类型，如果是指令类型，则首部后 位表示指令内容，无数据区域；如果是检测数据类型，则首部 后 位 用 于 表 示 检 测 数 据 长 度，后 附 检 测数据。图应用层报文格式 嵌入式检测端作为服务器端，用户端作为客户端，系统启动时两者建立 连接。用户端根据规定报文格式向嵌入式检测端发送视频采集、结果检测等指令，嵌入式检测端解析报文并执行相应的动作；检测完成后，嵌入式检测端根据规定报文格式将检测数据打包发送到用户端，用户端解析报文获取数据长度进行后续的接收。不合格区域检测利用 开源视觉库对采集到的图像进行处理，实现了对激光除漆效果的判断和不合格区域的标识与定位。图像处理流程如所示，通过对截取 的一帧图像进行滤波、图像分割、形态学闭运算、连通域查找等操作，完成不合格区域的检测。在进行图像处理前，需将获取的 图像数据解码为像 素 数 据，并 转 换 为 格 式，将 格式的图像数据保存在 的 类中用于后续计算。图像预处理用于降低图像中的噪声和增强图像。图像在采集与传输过程中由于受到系统内部与外部因素的影响，容易造成边缘模糊和受到噪声污染，从而降低图像质量，降低检测准确度。待检测图像中噪声的主要来源为激光除漆产生附着在工件表面的油漆颗粒以及图像反光，因此噪声干扰主要表现为椒盐噪声。本系统采用滤除椒盐噪声较为有效的中值滤波算法去除图像噪声，选取 滤 波 模 板 进 行 滤 波。使 用 基 于 拉 普 拉 斯（）算子的锐化滤波器对图像进行锐化处理，选取 四邻域模板锐化图像边缘，增强图像细节。图像预处理结果如图所示。图图像处理流程图 对预处理后的图像进行图像分割，将不合格区域从整体图像中提取出来，以提高后续判断除漆是否合格以及获取不合格区域的信息等操作的效率与准确性。选用基于 颜色空间的阈值分割方法完成图像分割，这种方法计算简单，运算效率高，适合在嵌入式硬件上实现。颜色模型中、分别代表色调、饱和度和亮度，这种颜色模型相较于 模型更符合人眼观察颜色的方式。根据铝合金表面颜色和表面的反光现象，选取 分量阈值区间，和分量阈值区间，分割图像，使用色彩空间转换算法将图像由 颜色空间转换到 颜色空间，根据 阈值区间提取除漆不合 格 区 域，将位 于 阈值区间内的像素赋值为 ，将阈值区间外的像素赋值为，生成二值图像。图为图像分割后结果，图中黑色部分即通过阈值分割提取出的未清洗干净的油漆区域。计算阈值分割后图像中黑色像素点占全部像素点的比例，以获取不合格区域的占比面积，当不合格区域面积小于总检测面积的时，认定清洗合格，反之则认定清洗不合格，如认定不合格，则对分割后的图像进行形态学闭运算和连通域查找以标记和定位除漆不合格区域。形态学闭运算是基于膨胀与腐蚀两种数学形态学基本运算的高级形态学运算，其中膨胀算法可描述为：，（）式中，表示结构元素，表示图像，表示图像中第期李宇彬等：基于机器视觉的嵌入式铝合金激光除漆检测系统的像素。在中定义一个参考点，将中的参考点移动到中点时，如果与中值为的元素对应的元素中，至少有一个值为，则将图像中点像素赋值为，否则赋值为，腐蚀运算则与膨胀算法相反，可描述为：。（）图图像预处理结果：（）源图；（）源图预处理后结果；（）源图；（）源图预处理后结果 ：（）；（）；（）；（）图图像分割结果：（）源图分割结果；（）源图分割结果 ：（）；（）形态学闭运算即先膨胀后腐蚀，选取方形结构元素对分割后图像进行闭运算，迭代次数一次，以弥补不合格区域中的裂缝和小孔，平滑不合格区域边缘，优化后续连通域查找结果。对闭运算得到的图像进行连通域查找，将连通域查找结果中面积小于 的区域进行排除，简化后续清洗路径的规划。图像分割结果图（）和图（）中黑色像素点个数分别为 和 个，单幅图像总像素点 个，即两幅图中不合格区域占比分别为 和 ，均大于，认定两次清洗结果均不合格，对分割图像进行形态学闭运算与连通域查找。将检测结果在源图中绘制用于判断检测是否正确，检测结果如图 所示，算法所识别的不合格区域与源图中不合格区域的位置基本一致。图 检测结果：（）源图检测结果；（）源图检测结果 ：（）；（）系统测试对嵌入式激光除漆检测系统的视频采集与网络传输 系 统 进 行 测 试，分 别 测 试 传 输 时 间 、时的视频延迟。在用户终端显示界面开启 级计时器，通过嵌入式检测端相机拍摄，拍摄画面在用户终端显示，截取一帧画面，计算两个计时器之间的时间差，即可测试系统的视频延光 电 子 激 光 年第 卷迟效果。视频延迟测试结果如表所示，由表计算可知