结合线性景深和自适应雾浓度的去雾算法_张帅.pdf

：结合线性景深和自适应雾浓度的去雾算法张帅，杨燕，林雷（兰州交通大学 电子与信息工程学院，甘肃 兰州 ）摘要：针对图像去雾中由于景深 和 大 气 光 估 计 不 准 确 等 问 题，导 致 军 事 监 测、目 标 检 测、导 航、无人驾驶等系统成像设备获取到的 图 像 质 量 下 降，提 出 一 种 结 合 线 性 景 深 估 计 和 自 适 应 雾 浓 度 估计的去雾算法。首先，依照景深与 亮 度 分 量 和 饱 和 度 的 关 系，利 用 双 滤 波 优 化 二 者 高 亮 区 域，结合线性转换建立线性模型估计景深。然后，提取纹 理 特 征 构 造 雾 浓 度 模 型 求 取 自 适 应 散 射 系 数，通过所求景深与自适应散射系数得到透射率。最 后，根 据 对 雾 图 是 否 含 有 天 空 区 域 的 判 决，采 用两种不同的大气光估计方法。实验 结 果 通 过 与 不 同 去 雾 算 法 定 性 和 定 量 分 析，所 提 出 的 方 法 在保留深度边缘、颜色质量及细节方面具有良好的有效性和鲁棒性，图像恢复质量也相对较佳。关键词：图像去雾；景深估计；线性模型；散射系数；雾浓度；大气光中图分类号：文献标识码：文章编号：（），（，）：，：；引言雾天天气的出现使得采集到的图像具有质量下降、可辨识度差等问题，因此，在恶劣天 气下 提升有雾图像的质量和增强系统的鲁棒性具有重要的科学意义和广泛的应用价值。随着国内外学者对去雾方法的不断研究，现其处理方法大致可分为 基 于 图 像 复 原与 基 于 深 度 学 习 这光 电 子 激 光第 卷 第期 年月 ：收稿日期：修订日期：基金项目：国家自然科学基金（）、甘肃省高等学校产业支撑计划项目（）和兰州交通大学研究生教改项目（）资助项目两类。基于图像复原的方法主要是利用先验规律并结合大气散射模型分析图像的退化原因，得到 无雾图像的同时更好地保留图像的细节信息。利用该类方法得到的无雾复原结果色彩还原度较 高，更贴近无雾条件下的真实场景。例如，等通过大量的实验提出的暗通道先验算法，能 够有 效复原出无雾图像，并且符合 物理 规 律。但 利用 该算法求得的天空区域透射率过小，导致含有天 空或过亮 区 域 的 图 像 产 生 颜 色 失 真 的 现 象。等针对非局部图像去雾过程中易丢失图像边缘信息，提出了一种非局部先验算法，但该算法在天空与非天空过渡区域易出现过饱和现 象。等提出的利用分段函数代替最小值滤波的方法，改善了传统方法易在景深处突变的问题。等提 出 了 一 种 利 用 差 分 先 验 的 去 雾 算法，通过设计一个度量函数评估局部 雾 霾 斑块 的雾霾级别达到去雾的目的，但该方法在薄雾场 景下容易出现去雾过度的 问题。然 而，上 述 技术 在场景深度区域获取透射率时会产生一些伪影，或者是求取透射率计算复杂度较高，导致最终恢 复的无雾图像效果不佳。近年来，随着深度学习的发展，慢慢也将训练学习融入到去雾当中。如 等 提出了一种多阶段空间变异的递归神经网络，它通 过 分 布过 滤雾霾，并以端 到 端 的 方 式 达 到 除 雾 的 效 果。等 提出了一种特征融合注意力网络，利用这种网络可以直接完成有雾图像至无雾图像的转 换。等 提出了一种 仿 射双 边 网 络，通 过 多引导双边学习高清图像的方法，仿射 图 像 的高 质量特征，以此达到去雾的目的。但是，深度学习的方法在去雾问题上也充满了不确定性。由于运用深度学习处理有雾图像时缺少大量真实的场景图进行训练，使用的大多是合成图像，从而造成此类方法去雾效果不稳定，在部分真实场 景 下 去雾 不彻底。针对现有算法存在的去雾效果不理想，色彩差异严重等问题，本文结合双滤波操 作 利 用景 深与亮度和饱和度之间的关系构造两种不同的线性模型并进行融合得到景深估计，然后 通 过 雾浓 度设定自适应散射系数，进而得到透射率粗略估计。同时，为了改善雾图大气光值求取不准确的问题，采用双选大气光的方法，根据判断雾 图 是 否含 有天空区域进行大气光的求取，获取更精准的大 气光，改善图像的视觉效果，最后依照大气散射模型获得清晰复原图像。大气散射模型在计算机视觉领域，通常利用大气散射模型对有雾图像进行复原处理，数学模型如下：（）（）（）（），（）式中，（）表 示 雾 天 场 景 下 获 取 到 的 有 雾 图 像，（）为所 求 的 无 雾 复 原 图 像，表 示 大 气 光 值，（）表示透射率。其中，当空气中含有分布均匀的悬浮粒子时（）可以表示为：（）（），（）式中，为大气散射系数，（）为场景信息。根据大气散射模型，结合式（）可得无雾图像（）为：（）（）（），），（）式中，表示透射下限，设为，防止分母趋于。本文算法本文提出的结合线性景深估计和自适应雾浓度分布 的 去 雾 算 法 流 程 如 图所 示。具 体 步 骤 为：）通过景深与亮度和饱和度的关系，利用双滤波优化并结合线性转换构造线性模型估计景深；）基于图像纹理特征设定雾浓度影响因子求取雾图的雾浓度分布，构造雾浓度模型得到自适应散射系数，并结合景深获取透射率；）提出不同的大气光求取方法，结合细化透射率与大气散射模型得到无雾图像。线性景深估计 等通过对大量雾图进行实验研究，发现图像的场景深度、雾浓度和亮、饱和度之差存在一种线性关系，如式（）所示：（）（）（）（），（）式中，（）表示雾浓度，（）表示亮度分量，（）表示饱和度分量。图表示了景深与雾浓度、亮度、饱和度的关系，由式（）与图可知景深与亮度呈正相关关系，与饱和度呈负相关关系。因此，可将式（）改写为：（）（）（）（）。（）由于有雾图像中可能会含有纯白或过亮区域，而这些区域通常含有较高的亮度值与较低的饱和度值，会影响景深的准确估计。因此，本文采用最小滤波和引导滤波相结合的双滤波操作对亮度与饱和度进行处理，使得在去除图像中亮斑的同时，避免了二者出现块状效应，（）（）（），（）（）（）（），（）光 电 子 激 光 年第 卷图本文算法流程图 图亮度、饱和度与景深的关系：（）有雾图像；（）亮度、饱和度与景深的关系 ：（）；（）式中，为滤波窗口，表示引导滤波。根据式（），场景深度与亮度和负饱和度呈正相关关系，因此，景深与亮度和饱和度可近似表示为：（）（），（）（）（），（）式中，、表示斜率，、表示截距。由于存在两种未知参数，求解方程较为困难，因此本文利用线性转换原理，使景深由自变量转换为因变量，亮度、饱和度由因变量转换为自变量，构造二次函数并取分段区域近似表示式（）、（），以消减未知数。二次函数曲线如图曲线所示，取坐标轴（），（）；（），（）。图中的 表示（）与（）的最小值，表示（）与（）最大值。当 时，；时。由于式（）、（）中存在两个未知数，导致曲线弯曲程度不定，所以在 ，范围内用斜线表示式（）、（）两个线性分段函数。图线性变换曲线：（）亮度变换曲线；（）饱和度变换曲线 ：（）；（）根据图曲线，可求得分段区域内（）（）（）、（）（）（）。其中，、表示（）与（）的最大值与最小值，因此，（），（），将二者视作为亮度与饱和度系数，结合式（）中景深与亮度饱和度差值成正相关关系，本文定义一种新的景深模型（见图），即：（）（）（）（）（）。（）第期张帅等：结合线性景深和自适应雾浓度的去雾算法图雾图及其特征求取：（）雾图；（）细化后亮度分量；（）细化后饱和度分量；（）景深估计 ：（）；（）；（）；（）自适应雾浓度分布在有雾图像中，根据在空中的介质悬浮粒子的混乱程度，人眼能直观观察到雾浓度的分布情况。大多数情况下，混乱程度越高，雾浓度分布越浓密，从而使得景深处的图像亮度升高，饱和度降低，所以，雾浓度与景深呈正相关关系。此外，当在一些景深雾浓处，由于纹理特征较为模糊，其纹理信息通常不可见。基于这一观察，本文结合上一节所得景深估计与图像的纹理特征构造一种自适应雾浓度分布模型。首先，利用高斯金字塔 来求取图像的纹理特征。对有雾图像进行降阶采样，自底向上构成塔状模型，以此模拟人眼的模糊观察程度，并将最终上采样结 果 作 为 有 雾 图 像 的 纹 理 特 征（）。具 体 步骤为：）求取有雾图像的灰度图，并对灰度图做高斯模糊处理，窗口大小为 ；）对模糊后的图像进行降阶采样，大小为原来尺 寸 的，并 对 下 采 样 图 像 继 续 做 高 斯 模 糊处理；）对第）步模糊处理后的图像同样进行降阶采样，大小为原来尺寸的；）对第）步得到的模糊图像进行升阶采样，尺寸大小恢复为原有雾图像尺寸，将得到的升阶采样结果定义为纹理特征（）。因此，基于景深和纹理特征的雾浓度分布估计模型为：（）（）（），（）式中，为纹理特征对雾浓度的影响因子，其取值越大，求得的雾浓度越高，图中纹理信息越不明显。若想得到准确的雾浓度分布，需对该影响因子进行估计。图选取一幅雾图观察其在不同取值下估计出的雾浓度分布及相应取值下的图像复原结果。从图可以看出，影响因子的准确选取对雾浓度的估计至关重要。以取.为例，此时景深与纹理特征的权重比为，含雾的景深不可见区域占全图的，可见纹理特征占；而当取.时，占比分布恰恰相反。可以得出结论，当景深递增，纹理特征越来越不明显时，此时式（）中景深的权重占比小于纹理特征，即影响因子变大。因此，景深与影响 因 子 在 所 定 义 的 雾 浓 度 模 型 中 也 呈 正 相 关关系。图不同下所求雾浓度分布及复原结果：（）雾图；（）（）分别取、时得到的雾浓度分布情况；（）（）（）（）所对应的复原结果 ：（）；（）（），；（）（）（）（）光 电 子 激 光 年第 卷本文利用景深的平均信息来拟合纹理特征在不同雾浓度区域的分布情况，并选用指数函数方便函数可控。引入不同区域下图像块中的像素个数，从而获得不同区域下的纹理特征信息占全局纹理特征信息的大小，以此得到影响因子函数的准确估计，（）（），（）式中，（）表示影响因子估计函数，表示不同区域图像块中的像素个数，表示取均值。利用对数函数近似表示景深由近至远的变化，代表雾浓度的递 增，取 ，目 的 是 防 止 对 数 运 算 趋 于 负无穷。此外，因为雾的存在是感知景深的基本线索，在雾浓度的估计过程中需要保留部分远处的雾，以获得更好的视觉效果，所以，本文对所求得的（）值进行分段阈值处理。设定固定阈值为，当（）时，将其定义为浓雾区域，此时（）；当（）时，雾浓度随景深的变化而变化，此时（）保持不变。将分段阈值处理后求得的雾浓度定义为（），因此（）映射到（）的操作过程为：（）（）（）（），（）（）。（）图为不同值下得到的去雾结果，根据该复原结果，本文选取.。此外，为了使雾浓度更加平滑，本文采用引导滤波对所求雾浓度进行细化。图不同值的去雾结果 透射率估计 等为了避免散射系数选取错误，从而导致透射率估计出现偏差，将选取为定值（通常设置为），但由式（）可知，散射系数决定了去雾的强度，且随着的增大，透射率随之减小。本文选取了各种不同的取值及对应的透射率和复原图，如图所示。图不同下的透射率及复原结果：（）、（）；（）、（）；（）、（）：（），（）；（），（）；（），（）从图中可以看出，随着的增大，图像去雾效果也愈加明显。但当值取值较小时，图像远景区域存有残雾；取值较大时，远景区域的雾气虽得到了较好的消除，但近景区域却出现颜色失真。由此可得出结论：与景深呈正相关，根据式（）与式（），景深与雾浓度也呈正相关，可进一步推出与雾浓度呈正相关。因此，本文结合上一节所得雾浓度，提出一种根据雾浓度分布的自适应散射系数模型：（）（），（）式中，为常数，用来调整的取值。从不同值复原图中可以看出，值越小，图像残雾越多，去雾越不彻底；值越大，图像残雾越少，去雾越彻底。但当过大时，会使图像饱和度过高，从而产生失真现象。因此经过实验（见图），本文选取。结合式（）、（）、（）可得到透射率的粗略估计（）：（）（）（）（）（）（）。（）由于估计散射系数时加入了纹理特征，在求取透射率时可能会产生纹理效应，因此本文引入正则第期张帅等：结合线性景深和自适应雾浓度的去雾算法化迭代优化方法对其进行细化。首先，引入加权函数（，