基于场景深度估计和背景分割的水下图像复原_李靖怡.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0210010-1研究论文基于场景深度估计和背景分割的水下图像复原李靖怡1，侯国家1*，张孝嘉1，鹿婷1，王永芳21青岛大学计算机科学技术学院，山东 青岛 266071；2临沂大学信息科学与工程学院，山东 临沂 276000摘要 针对水下图像对比度低、颜色失真、可见度低等问题，提出了一种基于场景深度估计和背景区域分割的复原方法。首先，利用多方向斜梯度算子和各颜色通道的衰减差估计图像的场景深度。然后，利用场景深度估计过程中得到的梯度和色差信息将图像的背景与前景区域分离，并分别在背景和前景区域估计背景光和透射率。在得到背景光和透射率图后，基于水下成像模型对前景区域进行场景恢复，同时采用在 HSV 颜色空间直方图拉伸的方法对背景区域进行对比度增强。最后，通过设置过渡区域权重图对前景和背景进行融合得到最终的复原结果。实验结果表明，所提方法能更准确地估计背景光和透射率，在对比度增强、色彩修正及清晰度提升等方面具有良好的性能。与经典的方法对比，所提方法在 UIQM、UCIQE、FDUM 和 FADE等 4个客观质量评价指标上的提升均超过 15%。关键词 图像处理；水下图像复原；水下成像模型；场景深度；背景区域分割中图分类号 TP391 文献标志码 A DOI：10.3788/LOP212986Underwater Image Restoration Based on Scene Depth Estimation and Background SegmentationLi Jingyi1,Hou Guojia1*,Zhang Xiaojia1,Lu Ting1,Wang Yongfang21College of Computer Science&Technology,Qingdao University,Qingdao 266071,Shandong,China;2School of Computer Science&Engineering,Linyi University,Linyi 276000,Shandong,ChinaAbstract Underwater images often suffer from low contrast,color distortion,and poor visibility.To solve these problems,herein a novel underwater image restoration method based on scene depth estimation and background segmentation is proposed.First,the scene depth is estimated using multiple oblique gradient operators and attenuation difference among color channels.Then,according to the image gradient and color difference information,the degraded underwater image is divided into the foreground region and the background region.Accordingly,the background light(BL)is estimated in the background region and transmission maps are obtained using the estimated scene depth map.Subsequently,the scene radiance of the foreground region is recovered based on the underwater image formation model,and the background region is enhanced by performing histogram stretching in the HSV color space.Finally,the foreground and background are fused using a weight map of the transition region to obtain the final restoration result.Experimental results show that the proposed method can estimate the background light and transmittance with significantly greater accuracy,and achieves satisfactory contrast enhancement,color correction,and sharpness improvement.Compared with several classical methods,the proposed method affords 15%better performance on average in terms of the following four image quality evaluation metrics:UIQM,UCIQE,FDUM,and FADE.Key words image processing;underwater image restoration;underwater image formation model;scene depth;background region segmentation1引言由于复杂的成像环境和光照条件，水下图像存在对比度低、颜色失真、模糊和光照不均匀等问题1。光的吸收和散射是影响水下成像质量的主要因素，如水对光的选择性吸收造成水下图像颜色失真，水中悬浮收稿日期：2021-11-17；修回日期：2022-01-26；录用日期：2022-03-14；网络首发日期：2022-03-24基金项目：国家自然科学基金（61901240）、山东省自然科学基金（ZR2019BF042，ZR2019PF005）通信作者：*0210010-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展颗粒对光的散射作用导致水下图像呈现雾感。为了恢复图像中丢失的有效信息，提升水下图像的视觉效果，研究人员提出了诸多水下图像清晰化算法，主要包括基于图像增强的方法、基于图像复原的方法及深度学习的方法。早期的研究往往直接应用传统的图像增强方法，如白平衡算法2、对比度受限的自适应直方图均衡算法3、基于 Retinex 理论的算法4及基于图像融合的算法5等对水下图像进行清晰化处理。这类方法侧重于恢复人眼视觉质量，能够有效地校正图像色偏、增强对比度，但由于未考虑水下成像的物理原理而直接对图像像素进行调整，增强结果不一定能正确反映水下场景的真实色彩。基于成像模型的水下图像复原方法，综合考虑了光在水中传播的特性和水下成像理论，通过估计成像模型中的参数来获得理想的清晰图像。由于水下成像模型与大气雾天成像模型极为相似，基于暗通道先验的方法被广泛应用于水下图像复原中。Drews等6将蓝、绿通道作为暗通道的候选通道，提出了水下暗通道先验（UDCP）方法。Galdran等7提出了一种基于红通道先验（RCP）的方法，该方法通过翻转红通道来改进暗通道算法并引入饱和度分量来消除人工光源带来的影响。此外，Peng 等8提出了一种基于图像模糊和光照吸收（IBLA）的复原方法来估计水下背景光和透射率 图。Song 等9提 出 了 一 种 基 于 水 下 光 衰 减 先 验（ULAP）的场景深度估计方法来提升水下图像质量。与图像增强的方法相比，水下图像复原方法可以恢复更加真实的场景信息，但上述方法通常依赖于特定的先验假设，在处理一些极端情况下（如非均匀光照、浑浊水域）的水下图像时，容易出现先验假设失效问题，导致复原效果不够理想。近年来，基于卷积神经网络（CNN）10-11和生成对抗网络（GAN）12-14的深度学习方法开始应用于水下图像恢复，并取得了较好的视觉增强效果。Li等11基于水下场景先验将室内场景图像合成不同类型仿真水下图像数据集，然后训练多个轻量化的 UWCNN 模型用于不同类型水下图像增强进而扩展到水下视频增强领域。Fabbri等12选择质量较高的水下图像作为参考图像，使用 CycleGAN 将其渲染为退化严重的水下图像。Guo13提出了一种基于多尺度密集生成对抗网络的水下图像增强方法（UWGAN），该方法不依赖于任何先验假设直接恢复图像细节特征。宋巍等14提出了一种基于红色通道直方图拉伸和 GAN 的方法来增强水下图像。与传统方法相比，基于神经网络的方法通常需要大量成对数据进行模型训练，而获取水下场景的ground-truth图像十分困难，需要建立仿真水下数据集作为训练样本，由于合成图像与真实水下图像之间存在内容、结构纹理等方面的差距，当面对不同退化场景时，恢复结果的鲁棒性可能会降低。另一方面，基于GAN 的方法虽然结合了传统图像增强方法和深度学习方法的优势，但大部分方法未考虑水下图像成像机理对图像质量的影响。考虑到现有水下图像复原方法主要解决透射率优化问题，在对水下背景光求解时普遍采用基于整幅图像的搜索策略，可能会将前景区域中的像素作为背景光值，造成背景光的估计值不准确，影响复原结果。本文结合水下图像成像特点，提出了一种新的基于场景深度估计和背景分割的复原方法。借助多方向斜梯度算子和各颜色通道的衰减差估计场景深度，来优化透射率的估计，并利用梯度、色差等信息将图像背景与前景区域进行分离，以确保在背景区域中估计背景光值，有效避免了前景中明亮物体的干扰，最后分别对前景和背景区域进行场景恢复和色彩修正，同时设置过渡区域权重图对前景和背景进行融合得到最终复原图像。2水下成像模型McGlamery15提出的水下成像模型将相机接收到的光定义为直接分量、后向散射分量和前向散射分量的线性叠加：直接分量描述了在传播过程中光从物体表面反射产生的衰减；后向散射分量表示背景光在遇到水中的悬浮粒子后发生的散射；前向散射分量代表了光从场景反射到相机时发生的小角度散射。当相机距离场景较近时，前向散射可以忽略，故而现有的水下图像复原方法往往仅考虑直接分量与后向散射分量对图像质量造成的退化影响，水下成像模型可描述为Ic(x)=Jc(x)tc(x)+Bc1-tc(x)，c R，G，B，（1）式中：Ic(x)表示拍摄到的水下退化图像；Jc(x)是待恢复清晰图像；Bc是全局背景光；tc(x)是透射率。对式（1）进行变形，可以得到清晰图像的计算公式：Jc(x)=Ic(x)-Bcmaxt0，tc(x)+Bc，（2）式中：t0是为了避免部分透射率为 0 而引入的最小阈值。式（2）中，背景光Bc通常表示为无限远区域中最亮点的像素值。由于透射率tc(x)与场景点到相机的距离有关，可以将其定义为衰减系数c和场景深度d(x)的函数：tc(x)=exp-cd(x)。（3）因此，要恢复出清晰的水下图像Jc(x)，需要先估计背景光Bc和透射率tc(x)。3所提算法为了更加准确估计水下背景光和透射率，本研究提出了一种新的场景深度估计和背景分割的水下图像复原算法。所提算法流程如图 1所示。0210010-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展3.1场景深度估计由于拍摄到的水下图像易受到光的散射影响，较远处场景点所在区域比近处场景点更平滑且包含更少的纹理细节。根据图像梯度信息与场景深度的关系，首先计算图像的梯度通道作为场景深度的粗略估计。图像的梯度通道可描述为Gmag=|I(x，y)