功能解耦和谱特征融合的雪霾消除模型_鲍先富.pdf

2023，59（13）单幅图像去雾（dehaze，DH）和去雪（desnow，DS）主要为修复图像被雪花和雾霾遮挡的区域，增强背景清晰度，以便图像算法对图像的高效利用。以往的DH和DS算法将天气特征移除任务作为单任务进行处理，未考虑雪花和雾霾同时存在的场景，导致问题研究难以满足实际场景需求，如雪霾同时存在的情形。针对当前算法对雪花遮挡区域的修复存在过度平滑、边缘纹理缺失问题，本文提出将图像边缘和图像色彩进行分离修复的方法，由于过于复杂的网络结构在传递反馈梯度时存在梯度消失，而且单一网络对雪花和雾霾的数据分布学习存在难度，常导致网络学习不足问题。因此本文对雪霾的图像修复问题，提出模型解耦、协同训练的雪霾消除网功能解耦和谱特征融合的雪霾消除模型鲍先富，强赞霞，杨关中原工学院 计算机学院（系），郑州 450007摘要：针对车载相机受雪花、雾霾影响，导致采集图像出现雪花遮挡和雾霾面纱效应问题，基于图像边缘纹理和图像色彩分离重建的思想，提出功能解耦、双重监督的雪霾消除网络。所提算法通过对图像边缘纹理和色彩信息进行分离重建，将雪霾消除任务解耦为背景纹理修复与色彩重建两个子任务，并用双生成对抗网络分别进行边缘纹理和色彩特征的协同重建。算法在SRRS-6000数据集上进行消融测试，验证了双重监督对网络加速收敛的有效性和噪声消除的显著效果，模型在 Snow100K-S、Snow100K-M、Snow100K-L、I&O-Haze数据集上进行测试，峰值信噪比（peak signal to noise ratio，PSNR）和结构相似性（structural similarity，SSIM）分别达到33.29 dB和0.94、32.8 dB和0.931 6、30.13 dB和0.93、25.88 dB和0.82。实验结果表明，通过对图像去噪任务进行解耦和双重监督，取得了高效的雪花、雾霾消除效果，增强了无人驾驶辅助系统在复杂天气条件下的适应性。关键词：生成对抗网络；去雪；去雾；噪声消除；图像去噪文献标志码：A中图分类号：TP309doi：10.3778/j.issn.1002-8331.2203-0566Snow and Haze Elimination Model Based on Function Decoupling and Edge Feature FusionBAO Xianfu,QIANG Zanxia,YANG GuanSchool of Computer Science,Zhongyuan University of Technology,Zhengzhou 450007,ChinaAbstract：Aiming at the problem of snowflake occlusion and haze veil effect in the collected images by the vehicle-mounted camera for the influence of snowflakes and haze,this paper proposes a decoupling and double-supervised snowhaze elimination network based on the idea of image edge texture and image color separation and reconstruction.The pro-posed algorithm separates and reconstructs image edge texture and color information,decouples the snow haze removaltask into two sub-tasks,background texture inpainting and color reconstruction,and uses dual generative adversarial net-works to reconstruct edge texture and color features separately.The algorithm has tested on the SRRS-6000 dataset,whichverifies the effectiveness of dual supervision on network acceleration convergence and the significant effect for noiseremoval.The peak signal to noise ratio（PSNR）and structural similarity（SSIM）has reached 33.29 dB and 0.94,32.8 dBand 0.931 6,30.13 dB and 0.93,25.88 dB and 0.82 on Snow100K-S,Snow100K-M,Snow100K-L and I&O-Haze datasets,respectively.Experimental results show that by method of decoupling and double supervision in image denoising task,efficient snowflake and haze removal performance have achieved,and the adaptability of unmanned assistance systemunder complex weather conditions have been enhanced.Key words：generative adversarial network;desnow;dehaze;noise removal;image denoising基金项目：国家自然科学基金（61772576）；河南省科技厅科技攻关项目（182102210126）。作者简介：鲍先富（1996），男，硕士研究生，研究方向为机器学习与图像处理，E-mail：；强赞霞（1973），女，博士，副教授，研究方向为模式识别与智能系统、机器学习与图像处理；杨关（1973），男，博士，副教授，研究方向为机器学习与图像处理、医学图像处理。收稿日期：2022-03-29修回日期：2022-06-15文章编号：1002-8331（2023）13-0211-09Computer Engineering and Applications计算机工程与应用211Computer Engineering and Applications计算机工程与应用2023，59（13）络，并使用梯度截断训练技术加速网络收敛。在DS的研究中，Zheng等1对比雪花与背景的频率分布差异，使用多尺度滤波方法消除雪花高频成分，但该方法通过相邻像素扩散无法有效重建背景的纹理细节像素。Wang等2通过分解图像，然后用图像字典对背景和噪声进行分层，实现对雪花的高频筛选和不同通道内特征敏感性分析，但因分解过程未考虑尺度适应性问题，无法完全消除不同大小的雪花粒子。Li等3使用生成对抗网络（generative adversarial network，GAN）去雪，通过生成雪花掩码，并借助计算真实背景与雪花掩码合成图像，与真实雪图的损失进行雪花移除，由于掩码合成与真实雪花成像模型原理不同且GAN的训练存在波动，模型无法对雪花消除不够彻底。Liu等4使用基于 Inception-v4 的两阶段除雪结构 DesnowNet，并构建了雪花数据集Snow100K。通过使用雪花的半透明属性和分析，并使用多尺度设计对雪花的多样性进行学习，达到了比较理想的去雪效果。Chen等5提出多尺度的JSTASR去雪网络。通过结合雪花成像的物理模型和雪花透明度、多尺度属性，JSTASR配合可微分的暗通道先验6分支网络消除雪花的遮蔽效应，同时提出SRRS的雪花数据集。SRRS数据集充分考虑了遮蔽效应和雪花的尺度问题，对雪花移除研究有很大帮助。Lizuka等7为了解决大块雪花对背景的遮挡问题，使用了全局和局部上下文鉴别器学习真实图像与补缺图像的数据分布，有效保证了重建图像整体的一致性和局部修复纹理、色彩的真实性。修复图像在整体和局部修复细节上都保持了较好的统一，但对于雪花消除问题，还存在首先要对雪花进行位置定位难题，然后进行图像背景修复。但是，该网络无法对雪花粒子进行有效定位。Yang等8通过使用图像语义和纹理特征约束的联合多尺度网络，首先生成背景图像缺失区域的高频细节，以此重建缺失区域的背景图像。该方法对低分辨率和高分辨率图像均有很好的应用效果，具有很好的应用前景，但该方法同样需手动定位待修复的雪花遮挡区域，无法做到对天气噪声进行自适应定位。Li等9提出了一种基于条件归一化流的单图像去雾网络DehazeFlow。DehazeFlow通过学习无雾图的条件分布，使模型可以采样多个去雾结果。并提出基于注意力的耦合层将自然图像转化为潜在空间，融合成对数据的特征，获得优秀的实验效果。Arjovsky等10通过使用Wasserstein GAN限制Lipschitz约束11，同时使用最大值约束，通过消减大参数以保证矩阵中元素绝对值不超过给定值，但是该操作也破坏了权重参数之间的数值比例关系。虽然延缓了生成网络的收敛，但也不利于网络性能提升。Dolhansky等12借助典型信息对图像结构重要性的论证，使其模型达到逼真效果，其中背景注意力机制采用两步法来解决图像修复问题，首先对遮挡区域进行粗略估计，然后通过搜索与粗估计相似度最高的背景块集合，利用注意力机制，细化网络并对结果进行锐化处理。该方法收到了较好的遮挡雪花修复效果，但对均匀分布的雾霾天气却不适用。Liang等13提出的EDCNN通过使用边缘残差增强图像边缘，以此达到背景图像修复目的，使用残差结构仅能增强边缘特征，对雾霾造成的图像色彩失真问题仍无法处理，且在噪声遮挡区域的颜色重建处还留有人工痕迹。Song等14通过对“补丁交换”层的引用，利用相似边缘生成缺失区域内的补丁，收到较好的修复结果，但该方法有两个局限性：无法判定网络假设的粗估计是否合理准确；同时不能处理任意形状遮挡的区域。虽然国内外学者在去雪任务中做了很多工作，但仍存在如下不足：冬季天气常存在雾霾，除了雪花遮挡还存在雾霾产生的面纱效应；大尺度的雪粒子遮挡区域的背景缺失严重，恢复背景常存在人工伪影。本文总结目前研究的不足，提出基于双重监督、协同训练的雪霾消除网络模型，通过采用细节纹理和色彩信息分离重建的方式，分两步增强图像背景，并重建雪花遮挡区域。该算法提出功能模块解耦、双重监督的方式对生成对抗网络进行训练，同时对去雪和去雾任务进行综合，提出更适合冬季使用的图像增强算法。该模型修复后的图像有效克服边缘纹理模糊和遮挡区域存在伪影的问题。1 协同训练与双重监督的GAN网络1.1 网络结构针对单幅图片DH和DS任务，本文算法提出基于协同训练与双重监督的雪霾消除网络（snow and hazeelimination network，SHEN），结构如图 1 所示。SHEN主要由边缘纹理网络（edge context network，ECN）和色彩修正网络（color restoration network，CRN）两部分，ECN和CRN主要由两个子生成对抗网络组成。ECN由谱卷积编码器、谱卷积残差结构、谱卷积解码器结构组成；CRN由编码器、残差结构、解码器结构组成。ECN图1网络流程图Fig.1Network flow chart天气噪声图Label背景图色彩修复图解码器谱卷积编码器G1G2编码器谱卷积残差处理*8Label图边缘谱卷积解码器残差处理*8纹理特征图D1D2判别器1判别器2ECN损失函数CRN损失函数2122023，59（13）首先处理天