废旧机械零部件三维彩色模型重建方法_张泽琳.pdf

北大中文核心期刊国外电子测量技术 ：废旧机械零部件三维彩色模型重建方法张泽琳，许辉，王蕾，夏绪辉，（武汉科技大学冶金装备及其控制教育部重点实验室 武汉 ；武汉科技大学机械传动与制造工程湖北省重点实验室 武汉 ）摘要：为了提高废旧机械零部件再制造效率，并对废旧机械零部件的失效状态进行实时监测，提出了一种低成本、高效率的废旧机械零部件三维彩色模型重建方法。采用运动的深度相机获取深度数据流，经过数据预处理、位姿估计以及表面几何重建后，利用纹理映射算法对相机姿态以及图片质量进行联合优化，构建废旧机械零部件三维彩色模型，同时提出主客观两种评价体系以及综合评价参数方案。实验表明，重建方法误差较小、细节清晰，并可获得最佳参数设置方案，对于实际生产过程具有指导意义。关键词：废旧机械零部件；三维彩色重建；纹理映射；综合评价中图分类号：文献标识码：国家标准学科分类代码：，（，；，）：，：；收稿日期：基金项目：国家自然科学面上基金（）、襄阳市重点研发计划项目（）、湖北省支持企业技术创新发展项目（）资助引言我国废旧机械产品及其零部件量大面广，目前已进入报废高峰期，对其进行再制造是实现节能、环保、可持续发展的重要途经。在废旧机械产品及其零部件批量再制造过程中，其三维失效状态可视化必不可少，而三维彩色模型重建技术是解决这一难题的重要环节。近年来，随着机器视觉的快速发展，利用三维重建技术获取目标物体的三维模型在文物建模、打印、机械零件尺寸测量等领域拥有广泛的研究应用前景。但是，要想实现机械零部件的精确三维模型重建，就必须使用价格昂贵的高精度激光扫描仪或者 相机，该类型仪器应用成本过高，亟需一种低成本且高精度的三维扫描技术出现。国外电子测量技术北大中文核心期刊消费级深度相机的出现可以为废旧机械零件三维重建的研究提供一种新的思路。其价格合理，使用环境要求低，适合进行日常场景下的三维重建。英特尔于 年推出的 深度相机，可以获得较高分辨率的深度图像，在三维重建领域具有一定优势。等和 等提出了 算法，利用 算法进行相机位姿估计，同时引入截断的符号距离场（），构建了一个实时的三维重建系统，但其采用固定分辨率的网格 限制了重建场景的大小，同时重建效率较低。为了解决这一问题，等 提出了一种基于哈希的网格算法，利用哈希体素算法可以提高三维重建的效率，并且可以随意调整重建场景的大小。早期三维重建仅仅对目标物体表面进行几何曲面重建，无法满足人们对更精准物体表面信息的需求，要想得到物体表面更为完整的特征信息，就需要与计算机图形结合，视觉上真实的重建还必须包含物体表面每一个点的颜色信息。等 利用不同的数据项和平滑项构建马尔科夫随机场来为模型上的每个面选择最优的纹理。在此基础上，等 和 等 优化了相机位姿，同时提出了一种方法对齐模型与所有纹理图像，减轻了纹理的模糊与扭曲。等 采用基于 的图像融合方法来生成一个完全对齐的目标纹理图像，从而避免纹理结果的模糊和重影。等 利用梯度域（）处理的方式对纹理之间的缝隙进行缝合，从而提升了三维彩色模型的质量。以上方法皆针对大场景下的三维彩色重建，对于体积较小的物体重建效果较差。由于废旧机械零件表面一般存在破裂、磨损、锈蚀等复杂纹理，相较于其他领域的三维彩色重建需要更高的几何精度以及纹理质量，导致鲜有废旧机械零部件三维彩色模型重建相关研究。本文针对废旧机械零部件，提出了一种三维彩色模型重建算法。该算法在传统三维重建算法的基础上引入了纹理映射优化算法，联合优化相机位姿以及图片质量，可以高效、准确的获取废旧机械零部件三维彩色模型。提出了主客观两种评价体系，结合综合评价方法，比较由不同参数与指标组成的重建方案，得到一种三维彩色模型重建最佳方案的获取方法。废旧机械零部件三维模型重建方法利用经过对齐后的彩色图和深度图生成的 图像进行三维重建，主要步骤如图所示。图三维重建算法流程 数据预处理由于拍摄设备或者拍摄环境的影响，得到的深度图存在一定噪声，对三维彩色重建产生不利影响，因此需要对深度图进行降噪。此处本文利用双边滤波的方法，对深度图像降噪。，（），（，）（，）（）式中：，（）是滤波噪声后的图像；为像素（，）的领域；（，）为双边滤波器在（，）处的权值；是唯一化参数；（，）是原始深度图像。（）（）（）（）（，）（，）（）（）式中：为空间域权值，为图像灰度域权值，一起组成双边滤波权值系数，即；、是标准差，决定双边滤波后的质量。相机位姿估计利用 算法直接计算连续两帧图像点与平面之间的极小化距离来估计位姿，如图所示。图点与平面距离计算示意图极小化距离计算位姿目标函数如下：（）（）（）式中：是待求解的位姿，由于每两帧之间位姿变化小，所以通常很小；和分别是初始点与目标点；为单位法向量；由于两帧之间变换小，做线性化处理，和分别为旋转和平移矩阵。表面几何重建结合相机位姿，利用 方法将当前帧的点云融合到现有模型中。为从时刻输入一帧初始深度图，深度图像素对应的深度为（），将像素点转换到相机坐标：（）（）（）然后各像素对应的空间点（）法向量（），如下式：（）（，）（，）（，）（，）（）将当前深度信息融合进重建的 模型，（）为该模型到最近平面的距离（截断距离），（）为该点北大中文核心期刊国外电子测量技术的权重，表示这两个值。计算深度图的（）、（），然后将他们融合进 模型。本文定义融合偏差函数为：（，）（）（，（）（）（）（）利用相机位姿，以及，将当前帧的深度信息融合到前一帧的全局模型中，不断的更新重建的模型。三维模型纹理映射方法联合优化相机姿态以及每一帧图片，将表面颜色信息映射到三维模型中，得到三维彩色模型，步骤如图所示。图纹理映射步骤 纹理映射算法传统纹理映射方法利用不同视角的相机位姿，将表面颜色信息直接映射到三维模型，受相机位姿偏差影响，映射误差较大。本文提出了一种纹理映射优化算法，可以较为明显的提高三维彩色模型纹理质量。）目标函数图像集就是由关键帧选取过程中确定的彩色图像集合，顶点集即与图像集有关的顶点集。对于每一个图像集，优化外部矩阵，该将顶点从三维模型的全局映射到纹理图片的局部。利用齐次坐标进行计算，故。本文利用与每个顶点相关联图像的颜色一致性。：是一组和有关的图像，设（，）是点在图像对应投影点的颜色值，为给定的一个外参矩阵。对于每一个顶点，希望最大限度的实现（，），此处引入变量（）代表对应顶点的颜色。使用灰度图像进行优化运算，（）与（，）是标量。设（），利用变量（）优化相机交换集，得到如下目标函数：（，）（），（）（）（）联合优化算法常用的高斯牛顿法计算复杂程度很高，因此提出了一种联合优化算法。每次迭代交替优化和。当达到最优时，保持不变，反之当达到最优时，保持不变。因此在这种方案中，每一次迭代过程中，所有参数和都会得到优化，每一个阶段之中，一部分变量是固定的，但是整体的目标是全局优化，因此算法的收敛性可以得到很好的保证。如果固定不变，非线性最小化二乘问题转化成具有闭式解的最小二乘问题如下所示：（）（，）（）式中：，为与顶点相关图像的数量。如果固定不变，目标函数式（）分解为许多独立的函数，存在每一个与之对应：（），（）接下来，对每张图像进行优化，校正由于不精准的网格结构和光学镜头畸变等导致的误差。对于每张图像，非刚性校正用变形函数表示，为网格上的形变，同时进行连续域插值替换。设控制点集，表示形变的控制范围，是对，的修正，因此表示为：（，），（）式中：，是一个二维向量。形变是点在图像平面的投影校正为：（）（），（）式中：为双线性插值的基函数，对于图像平面中的每一个点，校正（）是（，），修正的线性组合。只有少量的系数（）在任何点处是非零的，在实际过程中，是一个正交网格。设，（，）是所有图像的非刚性校正函数的参数集，现在可以重新表述光度一致性函数纳入非刚性校正的结果为：（，），（）因此残差为：，（）（，）（）为了防止校正函数出现偏移，在偏移量上添加了一个简单的正则化矩阵：（），（）最终得到完整的目标函数为：（，）（，）（）（）式中：是平衡两项强度的系数，与网格单元中的投影点（，）的密度有关，因为正则化项数随着网格顶点的函数而增长，本文实验令 。纹理映射方法分析）评价指标纹理映射质量通过融合方程残差体现，如下所示：，（）（，）（）式中：，为残差项；（）为对应点的颜色；为点在图像对应投影点的颜色值。，的数值越小代表映射结果越好。本文增加迭代时间来验证该方法的优越性，增加一个国外电子测量技术北大中文核心期刊计时单元来记录整个三维彩色模型重建时间，比较传统优化算法以及联合优化算法的耗时以及映射质量。在三维模型中随机选取两点之间的距离，然后测量实际物体的尺寸进行比较，以此评价重建的尺寸精度。）方案分析为了研究出高效，高精度三维彩色模型重建方案，本文利用多项参数以及指标进行综合评价。希望通过对各项指标进行综合评价以此得到重建质量最优，同时重建成本最低的方案，所以在此引入综合评价方法中常用的 方法对重建评价指标进行准确的计算，以此来反映各方案之间的差距。是一种距离综合评价分析方法，是一种逼近理想排序解法的方法，根据被评价对象和最佳目标之间的接近程度来进行排序的方法，步骤如下。（）正向以及标准化指标。极大型指标正向化时不变，极小型指标正向化用最大值减去当前值来进行极小型数据正向化。（）（）由于极大型指标不变，直接用来计算会使极大型指标所占的权重过大，所以数据正向化后还需将数据量纲统一，标准化处理所有数据，方法如下：（）（）确定正向最优解以及负向最劣解。正向最优解指样本中各项指标中最好的值，负向最劣解指样本中各项指标中最差的值。（）计算正向最优解与负向最劣解之间的距离。（）计算每一个方案的评分。（）（）（）（）式中：表示到最优解的距离；表示到最劣解的距离。其中是每一项指标所占整体评价体系的权重，可以根据需求进行设置最终评价指标用表示：（）如果越接近 则表示该方案越优，反之该方案越劣。案例分析本文以废旧差速器为对象，进行废旧机械零部件三维彩色模型重建实验。差速器一般由行星齿轮、差速器壳、半轴齿轮及其他零件组成，如图（）所示。数据获取本文使用基于结构光原理的 深度相机获取深度图像和彩色图像。计算机处理器为 ，显卡为 显卡。相机如图（）所示。由于人手持相机拍摄会增加很多不必要的抖动，在此利用六自由度机器臂代替人手抓取相机进行拍摄，通过控制器调整机器臂的摆动实现连续拍摄任务。机器臂如图（）所示。图实验对象与设备控制相机，让相机的彩色图像流和深度图像流共用一个时间戳，利用时间戳将彩色图和深度图相匹配，彩色图与深度图的像素为 ，从而获取彩色图与深度图对齐的 图像如图所示。图对齐的 图像 实验评价）主观评价在此分别展示纹理映射初始网格模型，经过联合优化后的网格模型以及最终得到的废旧差速器三维彩色模型，模型是三维的，不同角度映射结果如图所示。初始网格模型整体模糊程度较大，经过优化后得到的网格模型有明显的改善，得到的三维失效信息模型纹理清晰。图纹理映射结果对比）客观评价为了对每一步优化后得到的网格模型进行定量的评价，在这里使用残余误差和迭代时间如图所示。北大中文核心期刊国外电子测量技术图残值和迭代时间与迭代次数关系将最终得到的废旧差速器三维失效信息模型与实际废旧差速器尺寸进行比较，从而评价重建尺寸精度，如表所示，本文所选取实际尺寸如图所示。图实际尺寸示意图 方案获取由图可知，经过优化后模型的残差相对未进行优化有显著的减少，表明联合优化后模型的重建质量有较大的提升。）数据评估从图和表选取评价指标以及数据，由于图是比较优化前后的效果，在这里直接选取优化后的最终结果用来评价，表中选取重建精度误差最大的（孔洞的尺寸）进行评价，制作如下 原始数据如表所示。）数据处理本文将残差、时间以及尺寸误差个极小型指标进行数据正向化，标准化处理，结果如表所示。）数据评分计算每个方案的评分（），构建评分指标，如表所示。本文所有指标程度相同，故所有指标权重都为。经过计算，从表可知，当迭代次数为 次时，值最接近，故迭代次数为 的时候，综合迭代时间、残余误差、尺寸误差以及尺寸精度等指标，得到该方法获取废表三维失效信息模型尺寸精度