基于窗口匹配的对称条纹投影测量方法_冷志博.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0212002-1研究论文基于窗口匹配的对称条纹投影测量方法冷志博1，2，金鑫2*1中国科学技术大学生命科学与医学部生物医学工程学院，江苏 苏州 215000；2中国科学院苏州生物医学工程技术研究所，江苏 苏州 215000摘要 条纹投影三维测量技术因高精度、高鲁棒性、低成本等优点而被众多学者广泛研究和应用。然而，传统的方法大多需要投影多张条纹才能获取物体的三维形貌。因此提出一种快速条纹投影三维测量方法。设计一个对称相位用于相位解包，可以有效减少投影条纹的数量；将投影仪看作逆相机，把系统构建为一个立体视觉系统，利用立体视觉的极线约束对对称相位设计一种窗口匹配方式，增强相位解包的鲁棒性。相比传统的倍频法、多频外差法等，所提方法的条纹数量可以减少 50%，同时保证高的精度和鲁棒性。关键词 三维测量；条纹投影；对称条纹；窗口匹配；精度和鲁棒性中图分类号 O439 文献标志码 A DOI：10.3788/LOP212862Symmetrical Fringe Projection Measurement Method Based on Window MatchingLeng Zhibo1,2,Jin Xin2*1School of Biomedical Engineering,Division of Life Sciences and Medicine,University of Science and Technology of China,Suzhou 215000,Jiangsu,China;2Suzhou Institute of Biomedical Engineering and Technology,Chinese Academy of Sciences,Suzhou 215000,Jiangsu,ChinaAbstract The fringe projection three-dimensional measurement technology has been extensively investigated and used by numerous scholars owing to its high precision,high robustness,low cost,and other benefits.However,most traditional approaches require projecting numerous fringes to generate the objects three-dimensional shape.This study provides a fast fringe projection three-dimensional measurement approach,designing a symmetrical phase for phase unwrapping,which can efficiently decrease the number of projected fringes.In this approach,the projector is regarded as an inverse camera,the system is built as a stereo vision system,and a window matching approach is developed to improve the robustness of phase unwrapping using the epipolar limitation of stereo vision for the symmetrical phase information.Compared with the traditional frequency doubling approach and multi-frequency heterodyne approach,the number of fringes of the proposed approach can be reduced by 50%while assuring high accuracy and robustness.Key words three-dimensional measurement;fringe projection;symmetrical fringe;window matching;accuracy and robustness1引 言光学非接触三维测量一直以来在工业生产、质量控制、视觉导航、逆向工程、生物医学、虚拟现实等众多领域具有广泛应用1-2。随着计算机和数字技术的发展，光学非接触三维测量也一直快速发展，包括双目视觉法3、结构光法4、时间飞行法5等，其中基于条纹投影的结构光技术因精度高、速度快和点云密集等优势成为研究热点之一6-9。条纹投影三维测量方法主要分为傅里叶变换轮廓术10和相移变换轮廓术11。由于傅里叶变换轮廓术难以对复杂和孤立的物体进行测量，因此相移轮廓术更常被采用。相移法通过投影N张相互相移的条纹到测量物体表面，然后通过最小二乘法求取包裹相位。包收稿日期：2021-11-03；修回日期：2021-11-16；录用日期：2021-11-22；网络首发日期：2021-12-03基金项目：中国科学院战略性先导科技专项（XDC07040000）通信作者：*0212002-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展裹相位的取值范围通常为 0，2)，并且伴随着2的间断。为了消除2的包裹获取绝对相位，研究者发展了许多相位展开算法，包括格雷码法12、多频外差法13、倍频法14等一系列流行的算法。格雷码法通过将条纹阶次编码到格雷码图案中，从采集的格雷码图像中求取条纹阶次15。多频外差法与倍频法类似，额外投影不同频率的条纹，获取不同频率的包裹相位，然后通过外差原理或者倍频原理求取条纹阶次，再进一步获取绝对相位。为了获取稳定的条纹阶次，多频外差法与倍频法通常采用多组不同频率的条纹，“三频外差”和“三频法”是常用的绝对相位计算方法，这样求取最后的绝对相位时往往需要3N（N 3）张条纹投影。随着工业自动化的发展，对三维测量速度有着越来越严格的要求。因此传统的测量方法渐渐地难以满足生产的需要。为了提升三维测量速度同时保证精度不下降，本文提出了一种基于窗口匹配的对称条纹投影测量方法，该方法只需要投影N+2幅条纹就可以完成三维点云重建。为了完成绝对相位的展开，提出窗口匹配的思路来求取条纹阶次。所提方法首先将投影仪看作一个逆相机，与另一个相机构成一个双目系统，引进极线约束的思路将匹配从二维搜索降为一维搜索；然后借助包裹相位的性质减少匹配数量；最后设计了一组对称条纹并使用窗口匹配的思路确定唯一的匹配点，最终求取条纹阶次。2相位解包裹2.1相移法相移法通常向物体投射N张相移差为2/N的条纹，本文以四步相移为例说明相移法的原理。四步相移的数学表达式为In(x，y)=a(x，y)+b(x，y)cos (x，y)+2n4，n=0，1，2，3，（1）式中：(x，y)为像素点坐标；n为相移图的索引；a(x，y)和b(x，y)分别为背景强度和调制强度；(x，y)为包裹相位。(x，y)可以通过最小二乘法求解得到：(x，y)=arctann=03In(x，y)sin(2n/4)n=03In(x，y)cos(2n/4)。（2）求解得到的包裹相位形式如图 1 的实线所示，是一个 0到2的周期性信号。因为周期性的包裹相位是一个多对一的映射函数，无法直接获取绝对深度信息，因此需要移除2的周期性获取绝对相位。经过多年的研究，学者们提出了众多相位展开算法，例如格雷码方法、多频外差方法、倍频方法等。倍频法相对其他两种方法在速度和鲁棒性上略有优势16，对所提方法与倍频法进行对比。2.2倍频法倍频法通常采用几组频率相差整数倍的条纹求解条纹序号，然后再利用条纹序列对包裹相位进行展开，获取绝对相位。2.2.1双倍频法假设包裹相位的频率为f1，双倍频法通过额外投射一组频率为f1/Nf=1的条纹，然后通过式（2）求解出一组频率为f1/Nf=1 的包裹相位，其形式如图 1 所示。的频率为的Nf倍，然后利用两组包裹相位可以求解条纹序号k，具体的方式为k(x，y)=Round Nf(x，y)-(x，y)2，（3）式中：Round 为取整函数。得到的条纹阶次形式如图 1 中的密虚线所示。得到图 2 双虚线所示的绝对相位的表达式为(x，y)=(x，y)+2 k(x，y)。（4）在数字条纹投影三维测量中，为了获取高精度的相位信息，投影的条纹频率通常被设置得比较高。在双倍频法中，频率差Nf往往会很大。受到环境噪声和电子硬件噪声影响等，式（3）会转变为k(x，y)=Round Nf(x，y)+1(x，y)-(x，y)+2()x，y2 ，（5）式中：1(x，y)和2(x，y)为引入相位中的噪声。当Nf变大，噪声Nf1(x，y)同样会被放大，当这个误差超越时就会引起条纹阶次k的错误。因此双倍频法在高精度测量中难以有鲁棒的绝对相位，通常采用的方式是再增加一组条纹，形成三倍频法，将Nf分解为Nf1和Nf2两个频率。图 1双频法Fig.1Dual-frequency method0212002-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展2.2.2三倍频法三倍频法的原理如图 2 所示，三组频率不同的条纹分别通过最小二乘法获取不同频率的包裹相位，然后使用和通过式（3）首先获取第一级条纹阶次k1，再通过和获取第二级条纹阶次k2。获取最后条纹阶次k的表达式为k(x，y)=Nf1k2(x，y)+k1(x，y)，（6）然后和双倍频原理类似，通过式（4）获取解包裹后的绝对相位。三倍频法因高精度和高鲁棒性的优势被广泛地应用在工业测量领域，但是多张图的投影往往使得测量效率低下，以四步相移为例，完成一次三倍频的测量需要投影 12张条纹图像。3基于窗口匹配的对称条纹投影为了有效提升条纹的测量效率，本文设计了一种对称条纹的投影测量方式，通过 N+2 张条纹投影（其中 N 代表相移条纹数量，2 代表两张对称条纹），条纹数量比传统三倍频法减少 50%左右，同时测量精度保持不变。3.1对称条纹设计一组对称条纹来完成对包裹相位的解包，获取绝对相位信息，对称条纹的编码方式为 S(x，y)=a(x，y)+b(x，y)sin1(x，y)C(x，y)=a(x，y)+b(x，y)cos1(x，y)，（7）式中：1为对称相位。1的解算公式为1(x，y)=arctanS(x，y)-a(x，y)C(x，y)-a(x，y)。（8）其中背景强度a(x，y)可以通过之前的相移条纹获取，具体如下：a(x，y)=i=0NIi(x，y)4。（9）获取的对称相位1的形式如图 3 所示，变化范围从 0到2，然后再从2到 0。相对于双频相位，单频相位有以下优点：对称相位的频率更高，这样与包裹相位的频率差会降低，从而降低噪声的影响；仅仅通过两张图就可以获取对称相位，效率更快；对称相位呈现对称形式，左侧相位斜率为正，右侧相位斜率为负，这样容易被区分。但是，相比三倍频方法，对称条纹方法的频率差还是相对较大，鲁棒性也会相对较低。为了进一步提升鲁棒性，继续设计了一个基于窗口配准的条纹序列确定方法。3.2基于窗口匹配的条纹序列确定通过式（7）可以获得一个全场双频的对称相位，为了进一步提升解包的鲁棒性，使用一个窗口匹配的方式，并借助极线辅助相位展开。将投影仪看作一个相机，与成像相机形成一个双目视觉结构。在双目视觉结构中，存在一个重要的对极几何关系，即一个视觉的一条极线对应在另一个视觉的一条极线，或者说，对于一个视觉的某一点，在另一个视觉中存在一条极线与该点对应，它们来源于空间中的同一个位置。如图 4所示，对于相机成像平面的某点