多尺度密集感受域的GAN图像去雾算法_尹相臣.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第3期总第331期文章编号：1006-2475（2023）03-0011-05收稿日期：2022-04-14；修回日期：2022-05-19基金项目：国家级大学生创新训练项目（202110446262）作者简介：尹相臣（2000），男，山东临沂人，本科生，研究方向：图像处理，三维视觉，E-mail：；陈思龙（2001），男，四川达州人，本科生，研究方向：图像处理，E-mail：；李振凯（2000），男，本科生，研究方向：软件工程，E-mail：；张文进（2000），男，山东昌乐人，本科生，研究方向：软件工程；李桂青（1984），女，山东烟台人，讲师，硕士，研究方向：计算机网络，图像处理。0引言在雾霾天气下，图像拍摄受大气粒子散射、遮挡像素点成像及无关自然光折射参与成像的影响，出现了对比度低和细节信息丢失的现象，导致不能采集到清晰的图像。这种图像为之后的安全防范的实施和管理带来了很大的挑战，因此图像去雾成为了计算机视觉的一个重要研究方向1-2。图像去雾的方法主要分为 3 种：基于先验的方法、基于非物理模型的方法和基于学习的方法3。基于先验的方法考虑了雾的成像原理，依赖于大气散射模型4。该模型认为入射光衰减和散射介质是影响图像质量的重要因素，模型的公式如式（1）：I(x)=J(x)t(x)+A(1-t(x)（1）He等人5-6提出的基于暗通道先验的去雾算法将暗通道先验与大气散射模型结合进行图像去雾。此算法由于高效稳定受到了广泛的应用，但此类算法7对天空区域去雾效果不能达到正常要求，容易产生颜色失真等现象，并且该算法对环境有着较高的要求。此后的研究对于先验的算法又做出了很多改进，如颜色衰减算法8、交互式去雾算法9等。基于非物理模型的方法利用图像本身的数学和统计特征进行去雾，如 Retinex 算法10、直方图均衡化算法11等。该类算法有一定的去雾效果，但是易出现颜色失真、多尺度密集感受域的GAN图像去雾算法尹相臣1，陈思龙2，李振凯1，张文进1，李桂青1（1.曲阜师范大学网络空间安全学院，山东 曲阜 273165;2.西南交通大学信息科学与技术学院，四川 成都 610000）摘要：基于先验的图像去雾算法依赖于大气散射模型，易受环境影响出现去雾不彻底、颜色失真等现象，针对上述问题本文基于深度学习，提出一种多尺度密集感受域的GAN图像去雾算法。首先构建一个多尺度学习的生成器网络，通过3种不同尺度提取图像的局部细节和全局信息后进行特征融合；然后通过感受密集块来增大感受野并获得丰富的上下文信息，将提取到的特征图在多个感受密集块中对特征进一步细化；接着使用一个多尺度的GAN判别器，由2个相同的子判别器D1和D2组成，2个子判别器联合指导生成器的训练；最后本文结合L1损失、感知损失和对抗损失，设计一个多元损失函数来收敛网络。在SOTS测试集上进行主观评价和客观评价，实验结果表明，本文算法取得了较优的效果，有效改善去雾不彻底的现象。关键词：图像去雾;GAN;感受域;多尺度学习中图分类号：TP391文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.03.003Algorithm of Multi-scale Dense Receptive Domain GAN lmage DehazingYIN Xiang-chen1，CHEN Si-long2，LI Zhen-kai1，ZHANG Wen-jin1，LI Gui-qing1（1.School of Cyber Science and Engineering，Qufu Normal University，Qufu 273165，China;2.School of Information Science and Technology，Southwest Jiaotong University，Chengdu 610000，China）Abstract：The image dehazing based on prior relies on the atmospheric scattering model，which is susceptible to incomplete defogging and color distortion.Based on deep learning，this paper proposes a multi-scale dense receptive domain GAN image dehazing algorithm.Firstly，a multi-scale learning generator network is constructed to extract local details and global information ofimages through three different scales for feature fusion.Then，receptive dense blocks are used to increase receptive fields and obtain rich context information，and the extracted feature maps are further refined in multiple receptive dense blocks.Then，amulti-scale GAN discriminator is used，which consists of two identical sub-discriminators D1 and D2，and the two sub-discriminators jointly guide the generator training.Finally，L1 loss，perception loss and adversarial loss are combined to design amultivariate loss function to converge the network.The proposed algorithm is evaluated subjectively and objectively on SOTS testsets.The experimental results show that the proposed algorithm achieves better results and effectively，which improves the phenomenon of incomplete dehazing.Key words：image dehazing；GAN；receptive field block；multi-scale learning计算机与现代化2023年第3期局部增强过度等问题。基于学习的方法利用了深度学习强大的特征表达能力，提高了图像去雾的处理效率。Cai 等人12提出了一个端到端的去雾网络 DehazeNet 来估计有雾图像的透射率，然后通过大气散射模型还原出无雾的图像。除此之外还有 Li等人13提出的一体化去雾网络 AODNet、CHEN 等人14提出的 GCANet、Dong 等人15提出的 MSBDN 等，都在图像去雾中取得了不错的效果。生成对抗网络如今广泛应用于图像生成、图像恢复等领域，它使用了无监督学习的方式进行训练，减小 了 损 失 函 数 设 计 的 难 点。Qu 等 人16提 出 了EPDN，利用一个多尺度的生成器生成由粗到细的图像，最后由一个金字塔池化增强器来重建图像细节。Engin等人17提出了名为Cycle Dehaze的去雾网络，他在Cycle GAN的基础上引入循环一致性损失和感知一致性损失，提高生成图像的纹理质量。Dong等人18提出了一种具有融合鉴别器的生成对抗网络FD-GAN，将频率信息作为融合鉴别器的先验，减少图像中的伪影和失真。何涛等人19提出了一种基础知识蒸馏的GAN图像去雾算法，使用拉普拉斯算法、高斯滤波器来提升去雾效果。文献 20-22 提出了多尺度增强的GAN去雾算法，使用了一个增强器细化网络特征。在复杂场景下拍摄的图像具有丰富的信息，普通的网络往往会在特征提取时遗漏部分重要的信息，因此有人提出了一些多尺度或者引入注意力机制的网络。Dong 等人15提出的 MSBDN 是基于 U-Net架构进行密集特征融合，采用了 SOS增强策略，纠正高分辨率下丢失的空间信息。Qin等人23提出了FFANet，使用一种新的特征注意力模块（FFA），对不同层次进行特征融合，提高图像的细节恢复和色彩保真。上述网络虽然通过不同的方式提高网络的性能，但是在一些复杂场景并未考虑图像的深层特征，而GAN在图像到图像翻译和图像恢复方面有着独特的优点。针对细节信息丢失和去雾不彻底的问题，本文提出一种基于感受块和多尺度密集特征融合的GAN图像去雾算法，实验表明本文的算法在定量和定性方面都有一定的效果提升。本文的主要工作如下：1）提出多尺度的GAN图像去雾算法。该算法为端到端的网络结构且不依赖大气散射模型，减少物理模型所带来的的失真现象。2）设计密集特征感受模块，促进网络的特征流动，增加网络感受野和上下文信息，减少去雾过程中存在的不彻底现象。3）设计多尺度的生成器和多尺度的判别器。生成网络分为全局生成器和局部生成器2个子网络，由粗到细逐步提取特征。判别器由2个完全相同的子判别器组成，联合指导生成器的训练。4）联合L1损失、对抗损失、感知损失构建一个多元损失函数，加快网络的收敛。1相关工作1.1图像去雾基于先验的图像去雾方法大多依赖一个物理模型，也就是大气散射模型，如公式（1）。He等人5提出了暗通道先验（DCP）的去雾方法，在大多数非天空的区域里某一些像素至少有一个RGB颜色通道的值很低。通过暗通道原理求出大气光系数A和透射图t（x），最后通过公式（1）求出无雾图像。基于非物理模型的图像去雾方法通过数学和统计知识将图像的细节信息放大达到去雾的目的，Stark等人11提出了直方图均衡化算法通过非线性变换使图像整体灰度值分布平缓实现去雾效果。这些算法尽管已经取得了一定的效果，但是并不能完全适应复杂的环境。基于学习的图像去雾方法利用了CNN强大的特征学习能力，如今被广泛应用。Chen等人14提出了门控上下文聚合网络GCANet，使用平滑扩张卷积来减轻图像中的伪影。李永福等人24提出了一种改进AODNet 的航拍图像去雾算法。Qin 等人23提出了FFANet，以设计的特征注意力模块进行特征融合，保留了重要特征。1.2生成对抗网络生成对抗网络（GAN）由生成器和判别器组成，在网络训练时2个模块以对抗的方式迭代，生成器生成图像的能力和判别器鉴别生成图像的能力同时得到增强。因GAN的独有特性，它被广泛应用在图像合成、图像转换等计算机视觉任务中。传统GAN生成的图像过于自由，于是给GAN加上约束条件产生了条件生成对抗网络（cGAN），cGAN输入的额外约束条件指导了图像的生成。cGAN 相当于传统无监督GAN 到有监督算法的改进，用于图像到图像翻译。常见的算法有 pix2pix25和 Cycle GAN26，两者最大的区别是pix2pix使用成对的图像数据进行训练，而Cycle GAN不需要成对的训练数据。EPDN16使用了以pix2pix HD为基础的图像去雾，连续使用2个增强器得到清晰的无雾图像。Cycle-Dehaze17在 CycleGAN中加入循环和感知一致性损失，提高GAN生成的无雾图像的质量。2本文方法本文基于条件生成对抗网络，设计一种感受块和多尺度密集特征融合的GAN图像去雾算法。该算法包括特征提取模块、密集特征感受模块、多尺度判别器，整体的网络结构如图1所示。2.1多尺度学习在生成无雾图像的过程中为了尽可能保留原有图像的细节信息，本文设计多尺度特征提取的网络结构