基于深度学习的水下条纹投影三维测量方法_徐馨雅.pdf

86航空制造技术2023年第66卷第7期FORUM论坛*基金项目：国家自然科学基金（61727802，62201261）；江苏省重点研发计划（BE2022391）；江苏省卓越博士后计划（2022ZB256）。引文格式：徐馨雅,吕嫩晴,于浩天,等.基于深度学习的水下条纹投影三维测量方法J.航空制造技术,2023,66(7):8695.XUXinya,LNenqing,YUHaotian,etal.Underwater3-Dmeasurementusingfringeprojectionprofilometrybasedondeep learning J.Aeronautical Manufacturing Technology,2023,66(7):8695.基于深度学习的水下条纹投影三维测量方法*徐馨雅，吕嫩晴，于浩天，郑东亮，韩 静（南京理工大学，南京 210094）摘要 水下加工制造在航空、船舶等领域发挥着重要作用，制造过程的原位在线三维检测成为水下制造质量保障的迫切需求。条纹投影轮廓术（FPP）作为经典的光学三维测量技术之一，具备无接触、快速以及高精度等优势。然而，在浑浊水体中，由于光的吸收和散射作用，相机捕获的条纹光强衰减、对比度降低、图像细节模糊、引入大量噪声，导致条纹图质量不佳。根据低质量条纹计算出的相位具有不可忽视的相位误差，造成三维测量精度下降。为减小水下吸收与散射的影响，提出了一种基于深度学习的端到端的条纹图像增强算法，运用条纹图像增强卷积神经网络（FPENet）将低对比度高噪声条纹转换为高对比度低噪声条纹后获取更准确的相位结果。FPENet 针对不同浑浊度水体皆可有效提高条纹质量，降低相位误差。尤其在高浑浊度水体中，相位误差可减小 50%左右，显著提升水下FPP 的测量精度，对于提高 FPP 在复杂场景中的适用性具有重要意义。关键词：条纹投影轮廓术；深度学习；浑浊水体；图像增强；水下三维测量DOI:10.16080/j.issn1671-833x.2023.07.086徐馨雅 博士研究生，研究方向为三维重构。中在以空气为介质的 3D 测量中，而当场景和光源所处的介质对光线存在吸收与散射时，FPP 在相位计算过程中会产生不可忽略的相位误差，导致三维重建精度降低。因此，在复杂探测场景中完成高精度重建是当下关于 FPP 的需要攻克的难关之一。航空工业中为了适应航空产品减轻重量、提高使用性能的要求，绝大多数航空金属零件要在高温炉内进行热处理，以获得高的比强度和良好的综合性能。航空零件的热处理工艺繁杂，但大致分为退火、正火、淬火、回火 4 种基本工艺，决定了零件的内在质量，直接影响零件的加工性和使用性6。在这样的加工工艺和车间环境下，易产生烟雾、水汽，三维探测效果在工件制造与检测过程中受到严重干扰。另外，对飞行器尾翼等硬光学三维测量技术是指运用光学方法获取物体表面三维坐标的技术。其中，结构光三维测量技术凭借其精度高、非接触、装置简易等优点1，在工业检测、生物医学、法医刑侦、虚拟现实、逆向工程等领域得到广泛应用2。条纹投影轮廓术（Fringe projectionprofilometry，FPP）通常由频域法或者相移法计算测量所需相位信息，由于其高测量精度、灵活性以及简单的硬件配置而成为最受欢迎的三维测量技术之一3。频域法可依据单帧光栅条纹计算相位，但是较难保持待测物体边界、复杂面型等细节信息4；相移法依据至少3 帧以上相移光栅条纹，时域内计算得到相位信息，能较好地保持待测物体细节5。但在复杂介质下，相机捕获条纹振幅降低，受到噪声干扰，从而产生相位误差，降低 FPP 三维重建精度。现今大多数关于 FPP 的研究集872023年第66卷第7期航空制造技术数字化测量技术及应用Digital Measurement Technology and Application脆性工件进行水下激光加工7可减少切割工艺对材料造成的热损伤，完成高效、高质量切割，应用前景广阔，相关的水下高精度在线三维检测已成为必要。除了工业制造与检测，在雾霾、烟雨等复杂大气环境下的航空摄影重建与无人机测绘，在江河湖海中的考古重建与生物监测等8复杂环境下的实际应用中，FPP 都面临着严峻考验。为模拟水下加工制造与监测环境，表征存在烟雾和水汽等复杂介质的检测场景，本文以浑浊水体为例进行问题分析与方案验证。在浊水环境下，由于水下光的吸收与散射，相机捕获的条纹振幅大大衰减9，图像细节模糊，噪声严重干扰相位计算，由此产生的相位误差导致 FPP 三维测量精度欠佳。由此可见，对于传统 FPP，有效、准确降低相位误差具有重要意义。近些年来，随着计算机领域的不断发展，深度学习也得到了广泛关注，在计算机视觉、语音识别、自然语言理解等领域成果斐然10。与此同时，研究者们也开始将深度学习运用到水下图像增强中去。基于深度学习的水下图像增强主要划分为两类：一类结合了物理模型，将成像模型和数据驱动结合，实现了图像的复原；另一类是没有结合物理模型，仅仅依靠数据驱动对图像进行恢复11。物理模型法中，Hou 等12提出了水下残差卷积神经网络模型（Underwater residual convolutional neural neworks，URCNN）用于水下图像复原，其模型结构包括了用于 TM 估计的数据驱动残差架构和用于水下照明平衡的知识驱动场景残差公式。Li 等13提出了一种单目水下图像颜色校正生成对抗模型（Water generative advsarial net works，Water GAN），应用于水下岩石资源图片的颜色处理。WaterGAN 的生成器具有 3 个主要阶段：衰减（GI）、散射（GII）、相机模型（GIII），每个阶段都是依据水下图像的物理形成过程进行建模。通过生成器生成相应的合成水下图像作为输出。然后，将合成的水下图像和水下图像样本都输入到颜色校正网络中对图像色彩进行恢复。Chen 等14提出一种结合深度学习方法与物理成像模型的水下图像增强算法，对背景散射光和直接传输光两个模块进行估计，最后根据水下成像的物理模型公式，对退化图像进行重构，得到质量增强后的图像。当深度学习与物理模型相结合时，会受到物理模型的约束，降低其适应性，非物理模型的深度学习方法则在适应性方面具有较好的表现11。Liu 等15提出了一种基于深度残差模型的水下图像增强解决方法，与其他基于深度学习的增强方法不同，该方法专注于生成对抗网络与弱监督学习网络之间的合作，旨在建立更深的网络并改善水下图像增强的性能。Farhadifard 等16提出了一种减少水下色偏和模糊的图像增强方法，首先，应用颜色校正算法来校正色偏，生成海底图像的自然外观；其次，应用一对基于稀疏表示的学习字典对图像进行锐化和细节增强；最终有效地增强水下图像。Mello 等17提出一种端到端的无监督深度学习算法，在损失函数的约束下运用编码解码器完成水下成像模型的训练，可恢复较为真实的水下场景图像。基于深度学习的水下图像增强工作多已落地于海底探测识别等领域，由此可见，使用深度学习改善水下图像质量已然可行。因此，基于深度学习改善 FPP 条纹图质量以提升水下三维重建精度是本文研究的目的和意义。鉴于结合水下成像模型以完成图像增强对参数估计的精度要求较高，而不同水体环境对应的模型参数大相径庭，通过网络模型估计出的物理模型参数误差在三维重建阶段易被加以放大，本文采用一种端到端的图像增强算法，运用条纹图像增强卷积神经网络（Fringe pattern enhancement convolutional neural network，FPENet），无需对浑浊水体中的目标物体进行额外的图像采集，可直接对已有的条纹图进行快速优化，实现水下 FPP 条纹对比度提升及去噪，以降低相位误差，获得更高精度的三维重建结果。在高浑浊度水体中，经 FPENet 增强的条纹图像所得相位误差可减小 50%左右，三维重建精度提升显著。1 方法1.1 条纹投影轮廓术在 FPP 中，投影仪将一组相移正弦条纹图案投射到物体上，相机拍摄到从物体表面反射的这些图案，相机像素点和与其具有相同相位的投影仪像素点一一对应。以实际白色玩具为例，传统的 FPP 测量示意图如图1 所示。假设条纹图像的光强符合标准的正弦分布，其光强分布函数5可表示为Iu va u vb u vu vn NnNnP(,)(,)(,)cos(,)/,=+-=21 2 Iu va u vb u vu vn NnNnP(,)(,)(,)cos(,)/,=+-=21 2（1）式中，N 为相位步长；u=1，2，U和 v=1，2，V，（其中，uv 为投影仪分辨率）；a 和 b 分别是投影条纹图的背景和振幅；=2fu 为待求解的相位；f 为空间频率。本文采用三步相移条纹投影，相机获取的三帧相移图像如图 1（a）所示。相机所捕获的条纹图的光强5为Ix yA x yB x yx yn NnNnC(,)(,)(,)cos(,)/,=+-=21 2 Ix yA x yB x yx yn NnNnC(,)(,)(,)cos(,)/,=+-=21 2（2）式中，A 和 B 分别为条纹背景强度和调制度。条纹调制度18可以表示为B x yNIx yn NIx yn NnnNn(,)(,)sin(/)(,)cos(/)=+=22212CCn nN=12（3）图 1（b）为采用相移算法得到88航空制造技术2023年第66卷第7期FORUM论坛的真实包裹相位。包裹相位可用最小二乘法求得3，即(,)arctan(,)sin(/)(,)cos(/)x yIx yn NIx yn NnnNnnN=CC2211 （4）经反正切函数运算所得的相位结果（x，y）包裹在（，主值区间内，因此需要一种相位展开算法来获取连续的相位分布，即绝对相位19。(,)(,)(,)x yx yK x y=+2（5）式中，K 为包裹相位对应的周期级次。相位展开算法分为时域法和空域法，如图 1（c）所示，本文采用时域编码中的格雷码编码法来展开包裹相位，获取相移条纹的级次信息，如图 1（d）所示。每个相机像素点对应的投影仪像素坐标可由式（6）获得20。u x yx yUf(,)(,)/=+2（6）最后，根据系统标定参数从绝对相位中恢复目标物体的三维信息，如图 1（f）所示。1.2 水下 FPP 误差分析相机接收的水下目标响应光包括直接光、前向散射光和后向散射光2123，如图 2 所示。直接光是从物体表面反射的光，相较于入射光，其光强由于水下光的吸收而产生衰减，算法为9Ix yT x yIx ynnCCD(,)(,)(,)=1（7）式中，（x，y）为相机平面像素坐标；T1（x，y）为介质传输系数；I Cn（x，y）和InCD（x，y）分别为第 n 步相移条纹的出射光强和直接光强。前向散射光是指被相机捕获之前经物体反射又被水中悬浮颗粒散射的光21，对直接光产生模糊效应，使水下图像的细节清晰度变差。前向散射光强计算方式为9Ix yIPIg t P xg ytnnntYgXCCCFDDconv(,)(,)(,)(,)=-=-=-0101 Ix yIPIg t P xg ytnnntYgXCCCFDDconv(,)(,)(,)(,)=-=-=-0101（8）式中，XY 为相机分辨率；P（x，y）为水下点扩散函数（Point spread function，PSF）。PSF 被水下悬浮颗粒影响，其模型一般用几个经验常数来表示，如式（9）所示2223。P x yT x yFQ z x yx y(,)(,)(,)(,)=-1e（9）式中，T=T2 T1（T2 T1），T2为经验常数；Q 为一个与水浊度相关的阻尼系数；F 1为傅里叶逆变换；为相机捕获图像的空间频率23。后向散射光是指到达目标物体表面之前就被水中悬浮颗粒散射的光，造成水下图像对比度下降，为直接光和前向散射光增加了特定的强相关噪声。后向散射光强为9Ix yIx yIx yGx ynnnnCCCBDF(,)(,)(,)(