基于高低频特征增强的图像去雾.pdf

第 49卷 第 8期2023年 8月Computer Engineering 计算机工程基于高低频特征增强的图像去雾卢昂1，2，储珺1，3，冷璐1，3（1.江西省图像处理与模式识别重点实验室（南昌航空大学），南昌 330063；2.南昌航空大学 信息工程学院，南昌 330063；3.南昌航空大学 软件学院，南昌 330063）摘要：图像去雾是典型的不适定问题，编解码网络是常用的去雾网络架构，编解码网络由编码器、解码器和连接两者的特征转换器构成。已有去雾算法生成的去雾图像通常质量较低，存在局部细节去雾不彻底、颜色失真或引入噪声等问题。针对基于编解码网络的去雾算法在设计特征转换器时没有充分利用小尺度特征、解码阶段仅利用对应层编码特征的问题，提出一种基于高低频特征增强的去雾算法。在特征转换阶段，设计扩张残差组件并组成上下文聚合网络，充分利用大感受野的低分辨率特征，提取特征图远距离相关性，增强低频小尺度特征。设计基于通道注意力的多级特征重用网络，实现浅层高频特征的重利用，同时深度融合解码重建特征，增强视觉感知特征的恢复。在编码阶段构建视觉特性感知模块，利用残差块在局部建模方面的优势增强浅层丰富的高频视觉特征。实验结果表明，与 AOD-Net、PFF-Net等去雾算法相比，该算法的 PSNR 和 SSIM 指标均有明显优势，在室内合成数据集 SOTS 和室外真实数据集 Dense-Haze 上，所提算法的 PSNR 和 SSIM 分别高出性能次优算法 0.77 dB、0.000 7 和0.40 dB、0.037 1。关键词：图像去雾；编解码网络；扩张残差；特征增强；通道注意力开放科学（资源服务）标志码（OSID）：中文引用格式：卢昂，储珺，冷璐.基于高低频特征增强的图像去雾 J.计算机工程，2023，49（8）：174-181.英文引用格式：LU A，CHU J，LENG L.Image dehazing based on high-frequency and low-frequency feature enhancement J.Computer Engineering，2023，49（8）：174-181.Image Dehazing Based on High-Frequency and Low-Frequency Feature EnhancementLU Ang1，2，CHU Jun1，3，LENG Lu1，3（1.Key Laboratory of Jiangxi Province for Image Processing and Pattern Recognition（Nanchang Hangkong University），Nanchang 330063，China；2.School of Information Engineering，Nanchang Hangkong University，Nanchang 330063，China；3.School of Software，Nanchang Hangkong University，Nanchang 330063，China）【Abstract】Image dehazing is a typical ill-posed problem.Dehazing network architectures commonly use encoder-decoder networks consisting of encoders，decoders，and feature converters that connect the two.The quality of dehazing images generated by existing dehazing algorithms is generally low，with problems such as incomplete local detail dehazing，color distortion，or the introduction of noise.Dehazing algorithms based on an encoder-decoder network do not fully utilize small-scale features when designing feature converters，and only use the corresponding layer coding features in the decoding stage；therefore，this paper proposes a dehazing algorithm based on high-frequency and low-frequency feature enhancement.In the feature transformation stage，an expanded residual component is designed and formed into a context aggregation network，which makes full use of the low-resolution features of the large receptive field，extracts the remote correlation of feature maps，and enhances low-frequency small-scale features.Furthermore，a multi-level feature reuse network based on channel attention is designed to reuse shallow high-frequency features while deeply fusing decoded and reconstructed features to enhance the recovery of visual perceptual features.In the coding stage，a Visual Feature Perception Module（VFPM）is constructed to enhance the rich high-frequency visual features of the shallow layer by leveraging the advantages of residual blocks in local modeling.Experimental results show that compared with AOD-Net，PFF-Net，and other dehazing algorithms，the Peak Signal-to-Noise Ratio（PSNR）and Structural Similarity基金项目：国家自然科学基金（62162045，61866028）；江西省技术创新引导类计划项目（20212BDH81003）；南昌航空大学研究生创新基金（YC2020-033）。作者简介：卢 昂（1996），男，硕士研究生，主研方向为计算机视觉、图像去雾；储 珺、冷 璐，教授、博士。收稿日期：2022-05-26 修回日期：2022-09-14 Email：图形图像处理文章编号：1000-3428（2023）08-0174-08 文献标志码：A 中图分类号：TP391第 49卷 第 8期卢昂，储珺，冷璐：基于高低频特征增强的图像去雾（SSIM）of the proposed algorithm have significant advantages.The PSNR and SSIM of the proposed algorithm are 0.77 dB and 0.000 7，and 0.40 dB and 0.037 1 higher than those of the other algorithms，respectively，on an indoor synthetic dataset，SOTS，and outdoor real dataset，Dense-Haze.【Key words】image dehazing；encoder-decoder network；dilated residual；feature enhancement；channel attentionDOI：10.19678/j.issn.1000-3428.00648260概述 有雾图像会出现对比度下降、颜色偏移等质量退化的现象，其中场景目标边缘细节信息无法辨识，从而影响检测、分割、识别等高层视觉任务的效果，因此，图像去雾成为图像复原领域的一个研究热点。常用的图像去雾算法包括基于物理模型的算法和基于深度学习的算法。基 于 物 理 模 型 的 去 雾 算 法 根 据 大 气 散 射 模型1-2，利用先验信息从有雾图像中估计透射传输图和大气光值，然后反演出清晰的去雾图像3-4。该类方 法 虽 能 达 到 去 雾 效 果，但 是 模 型 泛 化 能 力 较差5-6，通常会引入光晕伪影，引起图像颜色改变。基于深度学习的图像去雾算法根据是否参考物理模型分为间接去雾算法7-8和直接去雾算法9-11。间接去雾算法首先设计网络估计透射传输图和大气光值，然后反推出无雾图像12-13；直接去雾算法利用卷积神经网络（CNN）直接学习有雾图像到无雾图像的映射模型14-15。编解码网络16-17和生成对抗网络是常用的生成式网络模型。无论间接去雾算法还是直接去雾算法，在编解码网络中，编码器提取图像的特征图谱，解码器恢复图像的细节信息。但是，很多去雾算法在进行编码特征提取时，仅采用连续下采样操作，同一尺度的特征仅使用较少的卷积层，无法感知丰富的浅层高频视觉特性，如对比度、亮度等；在连接编码和解码的特征转换阶段仅使用 33 残差块堆叠构建网络，无法充分利用大感受野的低频小尺度特征；融合编码和解码特征进行重建时直接跳跃连接对应层相同尺度的特征图，浅层丰富的高频细节特征没有得到充分利用，无法指导多层解码特征，难以保证图像重建细节的完整性，从而影响局部细节的去雾效果。针对以上问题，本文从深层低频特征和浅层高频特征增强的角度来设计网络模型。在特征提取、特征转化、图像重建的不同阶段设计特征增强模块，全面增强浅层视觉特征和深层语义特征，并实现多尺度特征交流，综合整体轮廓特征和高频细节特征，提出一种基于高低频特征增强的去雾算法。本文主要工作包括：构建扩张残差学习组件，形成基于上下文聚合模块（Context Aggregation Module，CAM）的特征转换阶段，整合小尺度低频特征的上下文信息并增大感受野，提取特征图远距离相关性，增强网络的建模能力；设计一种基于注意力机制的多级特征重用模块（Multilevel Feature Reuse Module，MFRM），利用通道注意力机制自适应融合多级不同尺度的浅层特征，提取更丰富的边缘纹理等高频信息，指导图像上采样解码重建；设计一种基于视觉特性感知的特征提取模块，在编码器中，利用残差块的局部特征提 取 优 势 构 建 视 觉 特 性 感 知 模 块（Visual Feature Perception Module，VFPM），充分利用亮度、对比度等底层视觉信息。1相关工作 1.1基于物理模型的去雾算法常用的基于物理模型的去雾算法包括基于暗通道先验信息的算法3-4、基于颜色衰减信息的算法5、基于非局部先验信息的算法6等。HE 等3基于统计学得出暗通道先验的去雾理论，但其所提算法在天空区域无法表现去雾能力。HE 等4针对暗通道先验估计的透射图存在块效应的问题，提出导向滤波的算法来优化透射图。ZHU 等5基于颜色衰 减 先 验 对 有 雾 图 像 的 场 景 深 度 进 行 建 模。BERMAN 等6基于非局部先验认为清晰图像中的每个颜色簇在 RGB 空间中成为一条雾线，其利用雾线进行无雾图像估计。基于物理模型的去雾算法在复杂场景下通常去雾能力较差，容易引入光晕伪影，使得图像失真。1.2基于深度学习的去雾算法基于深度学习的去雾算法是目前去雾研究领域的主流方法。在间接去雾算法中：CAI 等7利用 CNN 设计用来估计传输透射图的 DehazeNet，其相关层能够体现去雾任务中已经确立的假设先验信息；LI等18提出的 AOD-Net基于重新制定的大气散射模型，新的大气散射模型将透射率和大气光综合为一个参数，然后基于新的模型使用轻量化网络从有雾图像中恢复出无雾图像；DONG 等19在网络中明确考虑雾霾形成的物理过程，在深度特征空间中去除雾霾，设计一种有效的特征去雾单元。这类方法虽然能从根本上去雾，但是泛化能力往往较差，处理不均匀和浓雾图像时效果不佳。KAR 等20基于联合透射图、大气光以及深度网络估计去雾图像，提出一种迭代先验更新去雾网络 IPUDN。1752023年 8月 15日Computer Engineering 计算机工程在直接去雾算法中：REN 等21提出的 GFN 模型利用白平衡图像、对比度增强图像和 Gamma校正图像进行图像去雾；CHEN 等22提出一种上下文聚合网络 GCANet，利用平滑扩张卷积消除普通扩张卷积引起的网格伪影，并且设计了融合不同级别特征的门控子网；LIU 等23提出的 GridDehazeNet网络由预处理、主干和后处理模块组成；DONG 等24通过在解码器中加入 boosting策略，提出一种逐步恢复无雾图像的增强解码器，并且利用反投影反馈技术设计密集特征融合模块。上述直接去雾算法虽然在定量评价指标值上有较大提高，且整体去雾效果较好，但是没有充分利用深层低频特征，单一尺度的浅层高频特征指导深层重建特征，无法利用丰富的底层信息，容易导致图像边缘细节去雾不彻底，同时引入噪声并出现颜色失真现象。2本文算法 本文以编解码网络为基础，分别构建 VFPM、CAM 和 MFRM：编 码 器 由 VFPM 和 下 采 样 层（Downsampling Layer，DL）构成；CAM 实现特征转换器的功能；MFRM 连接编码器和解码器的各层特征；上采样层（Upsampling Layer，UL）和融合模块（Fusion Module，FM）构成解码器。网络整体框架如图 1所示，设计卷积层 C1对 RGB 图像进行预处理并提升通道数，卷积层 C2对图像进行后处理并降低通道数。2.1基于视觉特性感知的图像编码编码器提取特征图谱并过滤冗余信息，从而降低模型复杂度。浅层特征感受野较小，保留了很多原始高频细节和视觉特性信息。很多去雾算法为节省网络参数，仅采用连续下采样提取特征，无法充分表示不同层级的多尺度特征，尤其是对图像恢复至关重要的亮度、对比度等视觉特性，从而导致不相关的噪声无法被充分滤除。残差网络25是增加网络深度和宽度的首选方式，考虑到残差组件在局部建模方面的优势，而浅层特征包含较多高频信息，因此，本文在编码阶段使用残差块感知浅层视觉特性，以缓解编码下采样造成的细节丢失问题。考虑到过多的编码下采样层会导致空间信息丢失，因此，本文采用 3层下采样 E1E3，并在每个下采样 后 接 视 觉 特 性 感 知 模 块 VFPM1VFPM3，每 个VFPM 由 5个残差块构成。表 1 所示为网络模块输入和输出特征维度，为完整说明特征图变化情况，将预处理卷积层 C1加入表 1 中。其中：C-In 表示输入特征图通道；C-Out 表示输出特征图通道；Size-In表示输入空间尺寸；Size-Out 表示输出空间尺寸；W、H 分别表示特征图的宽和高。从表 1 可以看出，各下采样层输出通道是输入通道的 2 倍，输出特征图的长宽尺寸分别是输入特征图长宽尺寸的 1/2，特征增强模块不改变特征图的维度。2.2基于扩张残差块的上下文聚合模块编码器提取的特征图感受野较大，为低频小尺度特征。为在不损失特征图分辨率的情况下增强网络模型，整合上下文信息，提取局部特征远距离相关性，本文设计一种基于扩张残差块（Dilated Residual Block，DRB）的上下文聚合模块 CAM，通过扩张卷积 来 增 大 特 征 感 受 野26。每 个 CAM 包 括 10 个DRB，每个 DRB 包括 4 层卷积层，其中，第 2 层和图 1网络整体结构Fig.1Overall structure of the network表 1编码器各模块输入和输出特征图尺寸 Table 1Input and output feature map size of each module of the encoder模块C1DL1VFPM1DL2VFPM2DL3VFPM3C-In31632326464128C-Out1632326464128128Size-InWHWHW/2H/2W/2H/2W/4H/4W/4H/4W/8H/8Size-OutWHW/2H/2W/2H/2W/4H/4W/4H/4W/8H/8W/8H/8176第 49卷 第 8期卢昂，储珺，冷璐：基于高低频特征增强的图像去雾第 3 层为扩张卷积，第 1 层第 3 层卷积和跳跃融合后接 PReLU 激活函数。扩张残差块结构如图 2 所示，其中，cv1cv4表示 4层卷积。cv1 利用 11 卷积降低特征通道数，实现特征图跨通道信息交流并节省计算量；cv2 和cv3 中分别使用扩张率为 3 和 5 的 33 卷积用于扩大感受野，建立特征图中的远距离相关性，聚合特征图上下文信息；cv4 利用 11 卷积提升通道数，使残差块不改变输入和输出特征图的通道数。通过以上结构，可以增强局部特征点的上下文聚合效果，提升网络建模能力并充分利用小尺度特征图。扩张残差块各卷积层的参数如表 2所示。第i个扩张残差块中的输出特征可表示为：yi=PReLU(xi-1)xi-1)（1）其中：是逐像素相加；xi-1为第i个扩张残差块的输入特征，当i=1时，扩张残差块的输入特征为编码器的输出特征；（xi-1）是输入特征经历 4个卷积层后的输出特征。输出特征可表示为：(xi-1)=cv4(cv3(cv2(cv1(xi-1)（2）2.3基于通道注意力融合的多级特征重用模块由于解码器的输入仅是低分辨率的小尺度特征，缺少空间结构信息，为使重建特征具有丰富的细节信息，常把编码器特征融合到解码器中24，27，但是，此类方法仅仅是对应层特征相融合，未能充分利用多尺度的编码特征。为利用图像的底层物理信息并融合高频编码特征，本文设计多级特征重用模块MFRM，融合来自不同层级的多尺度编码特征，利用通道注意力机制为不同尺度编码特征分配不同的权重。多级特征重用模块结构如图 3所示，其中：EF表示编码层特征；FD 是特征下采样层；FC 是特征卷积层；FU是特征上采样层。每个卷积层后接 PReLU激活函数。MFRM 首先用 3个卷积层（FD1、FC1、FU1）调整不同尺度编码特征的空间大小和通道维度，统一3层编码特征的维度，并进行特征通道的 cat融合；然后利用通道注意力赋予融合特征通道权重，输出3 个不同尺度的特征，引入 3 个解码层指导上采样过程。为减小特征变化，将 3个特征统一调整为与 EF2相同的尺寸，即通道数为 32，空间大小为 WH，保持EF2的空间尺寸和通道维度不变，对 EF1下采样并提高通道维度，对 EF3上采样并降低通道维度，具体数据如表 3所示。在图 3中，对调整后的特征图进行 cat融合：xc=cat(FD1(EF1)FC1(EF2)FU1(EF3)（3）其中：xc表示融合后的特征。为保持特征图不同尺度的原始结构信息，设计通道注意力机制对融合的特征赋予不同的通道权重，定义为：yc=(xc)xc（4）其中：yc是通道注意力机制的输出特征；是元素乘；(xc)表示权重参数掩膜。(xc)定义为：(xc)=S(FC4(FC3(A(FC2(xc)（5）其中：FC2 是 33 卷积层，用来整合局部空间特征；A是全局平均池化，每个通道生成一个特征点；FC3和FC4 是 11 卷积层，用来进行特征图通道缩放，促进特征图跨通道的交流；S 是 Sigmoid 函数，用来将特表 2扩张残差块各卷积层的参数 Table 2Parameters of each convolution layer of the dilated residual block卷积层cv1cv2cv3cv4Kernal;r11;133;333;511;1C-In128323232C-Out323232128图 2扩张残差块结构Fig.2Structure of dilated residual block表 3多尺度特征维度调整情况 Table 3Multi-scale feature dimension adjustment卷积层FD1FC1FU1C-In163264C-Out323232Size-InWHW/2H/2W/4H/4Size-OutW/2H/2W/2H/2W/2H/2图 3多级特征重用模块结构Fig.3Structure of multilevel feature reuse module1772023年 8月 15日Computer Engineering 计算机工程征点数值范围控制在（0，1）之间，生成通道注意力掩膜。为使多尺度融合特征融入各编码层，需要再次利用 3个卷积层（FU2、FC5、FD2）调整空间尺寸和通道维度，具体参数如表 4所示。解码器使用 3 层上采样逐步实现图像重建。为指 导 上 采 样 细 节 重 建，每 层 上 采 样 特 征 图 融 合MFRM 输出的对应特征，以增强解码器的特征，融合模块为 FM，如图 1 所示。使用通道维度 cat 的融合方式，然后通过 33 卷积进行融合处理并降维，卷积层后跟随 PReLU 激活函数。解码器各模块的特征图维度如表 5所示，最后使用卷积层 C2将通道数 16降为 3。3实验验证 3.1数据集与实验设置本文在合成数据集和真实数据集上分别验证算法性能。在合成数据集方面，使用 RESIDE28中的室内数据集 ITS训练网络，利用 SOTS室内数据集验证网络。ITS 包括 13 990 张有雾图像，由 1 399 张图像根据大气散射模型合成，图像分辨率为 620460 像素。在真实数据集方面，使用 NTIRE2019 挑战赛29提供的 Dense-Haze 数据集30，包括 55 张有雾图像，其中 45 张用于训练，10 张用于测试，图像分辨率为1 6001 200像素。服 务 器 采 用 PyTorch 1.7.0 框 架，操 作 系 统 为Ubuntu18.04，使用双卡 NVIDIA RTX 3090 GPU加速网络训练，共 48 GB 显存。训练时采用 Adam 优化器，使用其默认参数1=0.9 和2=0.999。在 ITS 数据集 上 训 练 时 初 始 学 习 率 设 置 为 0.000 1，共 训 练200 个 epoch，batchsize 设置为 16；在 Dense-Haze 数据集上训练时设置初始学习率为 0.000 1，共训练3 000 个 epoch，batchsize设置为 4。利用余弦退火策略降低学习率。将 2个数据集训练的输入图像裁剪为 256256 像素的 RGB 图像。使用 SmoothL1 损失训练网络模型。本文所用的去雾效果定量评价指标是全参考指标 PSNR 和 SSIM，其中，SSIM 能从对比度、亮度和结构方面综合评判去雾效果。3.2合成雾天数据集上的结果分析在 SOTS 室 内 合 成 数 据 集 上，将 本 文 算 法 与DCP3、DehazeNet7、AOD-Net18、GFN21、PFF-Net27、GCANet22、GridDehazeNet23、PFDN19、MSBDN24、KDDN31、文献 32 算法等主流算法进行比较，结果如表 6 所示，其中，加粗表示最优结果，下划线表示次优结果。从表 6 可以看出，在所有对比算法中，本文算法的 PSNR 和 SSIM 均取得了最高值，表明该 算 法 能 够 在 相 对 较 少 的 参 数 量 下 取 得 较 高 的PSNR 和 SSIM 值，这主要得益于其网络中对高低频特征进行了增强，充分利用图像的高低频信息不仅能在全参考定量指标上取得较高值，还能在视觉观感的主观定性评价上获得较好的效果。图 4所示为针对 5张有雾图像的定性去雾效果，其中，无雾图像为参考图。从图 4可以看出：DCP 算法虽有去雾效果，但会造成图像颜色失真；GCANet、PFF-Net、GridDehazeNet和 MSBDN 算法出现了局部过暗的现象，纯色区域容易出现颜色失真；本文算法无论是对图像整体结构还是边缘细节都能取得较好的去雾效果。表 4注意力特征维度调整情况 Table 4Attention feature dimension adjustment卷积层FU2FC5FD2C-In969664C-Out163264Size-InW/2H/2W/2H/2W/2H/2Size-OutWHW/2H/2W/4H/4表 5解码器各模块的特征图维度 Table 5Feature map dimension of each module of the decoder模块D1FM1D2FM2D3FM3C2C-In1281286464323216C-Out6464323216163Size-InW/8H/8W/4H/4W/4H/4W/2H/2W/2H/2WHWHSize-OutW/4H/4W/4H/4W/2H/2W/2H/2WHWHWH表 6室内合成数据集上的实验结果 Table 6Experimental results on indoor synthetic dataset算法DCP3DehazeNet7AOD-Net18GFN21PFF-Net27GCANet22GridDehazeNet23PFDN19MSBDN24KDDN31文献32算法本文算法PSNR/dB16.6221.2419.0622.3024.7830.2332.1632.6833.7934.7231.2635.49SSIM0.817 90.847 20.850 40.880 00.892 30.980 00.983 60.976 00.984 00.984 50.985 60.986 3参数量/1060.010 00.001 820.850 00.700 00.960 031.350 05.990 02.640 0178第 49卷 第 8期卢昂，储珺，冷璐：基于高低频特征增强的图像去雾3.3真实雾天数据集上的结果分析很多去雾算法在真实数据集上没有训练和测试，且在第 3.2节合成数据集上部分对比算法代码没有开源。本文在 Dense-Haze数据集上选择代码开源的 AOD-Net18（ICCV2017）、PFF-Net27（ACCV2018）、MSBDN24（CVPR2020）、4KDehaze33（CVPR2021）等 SOTA 算法，在同等条件下进行训练与测试，结果如表 7所示。从表 7 可以看出，Dense-Haze 数据集中图像雾气较厚，图像分辨率较高，去雾算法在该数据集上性能较差。在同等条件下，本文算法的 PSNR 和 SSIM指标均取得了最高值，尤其是能够体现亮度、对比度和结构的 SSIM 指标取得了较大程度的领先，比次优的 4KDehaze算法高 0.037 1。图 5 所示为 Dense-Haze 数据集中 3 张有雾图像和所有对比算法的去雾后图像。从图 5 可以看出，和参考的无雾图像相比，有雾图像整体轮廓和细节信息几乎无法分辨，甚至完全遮挡，在这种情况下：AOD-Net算法由于参数量较少，造成严重的颜色失真；PFF-Net算法没有在特征提取和恢复时采用缓解信息丢失和特征增强的策略，图像边缘细节处理较差；MSBDN算法即使在参数量很大的情况下也造成了 颜 色 失 真，如 第 3 张 有 雾 图 像 的 恢 复 效 果；4KDehaze算法恢复的图像几乎全是灰度图，没有颜色分布；因为雾气较厚且数据集较小，本文算法恢复的有雾图像和清晰无雾参考图像相比虽然也有较大差距，但是和其他算法相比，在细节上恢复较好，并且能够辨别某些雾气相对较薄的细节。本文算法利用基于通道注意力机制的多级特征重用策略，不同尺度的特征得到更加合理的应用，使得多尺度浅层融合特征自适应指导每层的上采样。表 7Dense-Haze数据集上的实验结果 Table 7Experimental results on Dense-Haze dataset评价指标PSNR/dBSSIMAOD-Net算法188.740.391 7PFF-Net算法2714.840.486 4MSBDN算法2415.330.419 64KDehaze算法3315.480.505 3本文算法15.880.542 4图 4室内合成数据集的去雾效果Fig.4Dehazing effect for indoor synthetic dataset图 5Dense-Haze数据集上的去雾效果Fig.5Dehazing effect on Dense-Haze dataset1792023年 8月 15日Computer Engineering 计算机工程3.4真实雾天图像跨域结果分析为验证本文算法在无参考真实有雾图像上的性能，选择具有较大景深和复杂背景的真实有雾图像进行实验。利用在室内数据集 ITS 上训练的权重，实验结果如图 6 所示，其中，第一行是有雾图像，第二行是本文算法的去雾图像。从图 6 可以看出，即使是在跨域分布的真实有雾图像中，本文算法也能取得很好的去雾效果，特别是图 6（a）和图 6（b）中的远端场景以及图 6（c）中的复杂纹理背景。3.5消融实验结果分析为验证本文所提模块的有效性，对各模块进行消融实验，消融实验共分为 Baseline、Baseline+MFRM、Baseline+VFPM、Baseline+VFPM+MFRM这4组。Baseline为包含 3层下采样和 3层上采样的编解码网络，但仅使用这 6层网络几乎没有去雾效果，为进 行 客 观 比 较，将 上 下 文 聚 合 模 块 CAM 加 入Baseline中；Baseline+VFPM 在 Baseline的基础上，对负 责 特 征 提 取 的 编 码 层 添 加 视 觉 特 性 感 知 模 块VFPM；Baseline+MFRM 在 Baseline 的基础上，使用多级特征重用模块 MFRM 融合不同层级的浅层多尺度特征，并注入用来重建图像的解码层；Baseline+VFPM+MFRM 为本文算法。实验结果如表 8 所示，从表 8 可以看出，与 Baseline 相比，特征增强模块和结构信息提取模块在 PSNR 和 SSIM 指标上有很大的提升效果。消融实验可视化效果如图 7 所示，通过方框部分能看出本文算法的去雾效果与参考无雾图像最接近。4结束语 本文针对已有去雾算法对图像局部细节去雾不彻底以及引入噪声的问题，提出一种基于高低频特征增强的图像去雾算法。设计视觉特性感知模块，增强丰富的浅层高频物理特征；设计扩张残差组件并组成上下文信息聚合模块，以增强低频小尺度特征；提出基于通道注意力融合的多级特征重用模块，融合不同尺度的高频编码特征，同时注入解码层以增强边缘细节信息和整体轮廓信息。在合成数据集和真实数据集上的实验结果验证了本文算法的有效性和先进性。本文算法在处理浓雾天气图像时虽然取得了较好的效果，但是在颜色恢复时仍然存在失真现象。下一步将分别从数据集和网络设计这两个角度来解决这一问题。参考文献 1 MCCARTNEY E J，HALL F.Optics of the atmosphere：scattering by molecules and particles EB/OL.2022-04-05.https：/iopscience.iop.org/article/10.1088/0031-9112/28/11/025/pdf.2 NARASIMHAN S G，NAYAR S K.Vision and the atmosphere J.International Journal of Computer Vision，2002，48（3）：233-254.3 HE K M，SUN J，TANG X O.Single image haze removal using dark channel prior C/Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2009：1956-1963.4 HE K M，SUN J，TANG X O.Guided image filtering J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（6）：1397-1409.5 ZHU Q S，MAI J M，SHAO L.A fast single image haze removal algorithm using color attenuation prior J.IEEE Transactions on Image Processing，2015，24（11）：3522-3533.6 BERMAN D，TREIBITZ T，AVIDAN S.Non-local image dehazingC/Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2016：1674-1682.7 CAI B L，XU X M，JIA K，et al.DehazeNet：an end-to-end system for single image haze removalJ.IEEE 图 6无参考真实有雾图像去雾效果Fig.6Dehazing effect of real hazy images without reference表 8消融实验结果 Table 8Results of ablation experiment模块组合BaselineBaseline+MFRMBaseline+VFPMBaseline+VFPM+MFRMPSNR/dB29.6831.1734.3535.49SSIM0.964 90.975 20.982 10.986 3参数量/1060.510.702.452.64图 7消融实验可视化效果Fig.7Visualization effect of ablation experiment180第 49卷 第 8期卢昂，储珺，冷璐：基于高低频特征增强的图像去雾Transactions on Image Processing，2016，25（11）：5187-5198.8 REN W，LIU S，ZHANG H，et al.Single image dehazing via multi-scale convolutional neural networksC/Proceedings of European Conference on Computer Vision.Berlin，Germany：Springer，2016：154-169.9 LI R D，PAN J S，LI Z C，et al.Single image dehazing via conditional generative adversarial network C/Proceedings o