基于多尺度连接的区域自适应去雾算法_韦照川.pdf

基金项目:国家自然科学基金(61561016，61861008);广西科技重大专项基金(AC16380014，AA17202048，AA17202033);“认知无线电与信息处理”教育部重点实验室(CK2200109);桂林电子科技大学研究生教育创新计划资助项目(2020YCXS028)收稿日期:20210422修回日期:20210429第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02051007基于多尺度连接的区域自适应去雾算法韦照川，王皓坤，纪元法(桂林电子科技大学广西精密导航技术与应用重点实验室，广西 桂林 541004)摘要:针对传统单幅图像去雾算法中细节信息丢失导致去雾后物体轮廓不清晰，以及雾浓度分布不均匀使得去雾不完全等问题，提出一种基于多尺度连接的区域自适应去雾算法，设计了一个由编/解码部分以及区域非局部块构成的自适应去雾网络;首先在不同编码层中使用密集连接残差块和非局部操作提取不同尺度的特征信息。然后将来自不同编码层的特征信息聚合后，送入各级解码器中进行解码操作。最后将解码输出的特征图与原始雾图逐元素相加后恢复出清晰图像。在ESIDE 数据集上进行仿真，将实验结果与较新算法进行定性和定量比较。提出算法的峰值信噪比提高了 1.77dB、结构相似度提高了 0.02，去雾效果得到明显提升。关键词:图像去雾;背景细节;多路连接;特征聚合;区域非局部块中图分类号:TP391.4文献标识码:Begion Adaptive Dehazing Algorithm Based onMultiScale ConnectionWEI Zhaochuan，WANGH Haokun，JI Yuanfa(Guangxi Key Laboratory of precision Navigation Technology and Application，Guilin University of Electronic Technology，Guilin Guangxi 541004，China)ABSTACT:For the traditional single image dehazing algorithm due to the loss of detail information resulting in un-clear object profile and uneven distribution of hazy density resulting in incomplete dehazing problems，a regional adap-tive dehazing algorithm based on multiscale connection is proposed，and an adaptive dehazing network composed ofcoding/decoding parts and regional nonlocal blocks is designed Firstly，densely connected residual blocks and nonlocal operations were used in different coding layers to extract feature information of different scales，and then thefeatures from different coding layers were aggregated and sent to the decoders of each layer for decoding operationsFinally，the decoded feature map and the original fog map were added element by element to restore a clear imageExperimental simulations were carried out on the ESIDE dataset，and the dehazing results were compared qualitative-ly and quantitatively with other stateoftheart algorithms The peak signaltonoise ratio of the algorithm has in-creased by 1.77dB and the structure similarity is increased by 0.02 and the dehazing effect is significantly improvedKEYWODS:Image dehazing;Background detail;Multi level connection;Feature aggregation;egional non local blocks1引言雾霾是大自然界中十分常见的一种天气现象。在雾天环境下，大气中的水分凝结成细微水滴悬浮于空气中，大气中可见光传的传播途经这些微型水滴产生折射和散射，致使多媒体系统捕获到景物图像的入射光线发生衰减，成像画质偏灰白色、色彩饱和度以及对比度降低。图像内部众多细节信息丢失，提高了目标检测与跟踪、情感分割等高级视觉任务的难度。图像去雾问题在计算机视觉、图像处理领域中是一个经典问题，对雾天环境中捕获到的雾霾图像进行有效的去雾处理、恢复图像视觉效果、增强场景内部细节信息等研究受到了广泛关注，文献 13中提出了基于图像去雾算法015的研究。早期进行去雾的方法大多是基于图像增强技术，常用的此类方法主要包括直方图均衡化算法4、同态滤波算法5、etinex 算法(视网膜皮层理论)6。此类去雾算法直接通过该改变图像对比度、饱和度和亮度等内在信息，以突显出图像中有价值的信息，在一定程度上改善图像的视觉效果。但此类方法没有考虑到图像雾化的物理模型，没有真正意义上的实现去雾。基于先验的去雾算法通常使用先验理论或假设对全局大气光值和透射率进行估计，将所得估计值带入大气散射模型中恢复出清晰图像。由何凯明等人7 通过对大量户外清晰图像观察统计，提出的暗通道先验去雾算法是基于先验方法中具有代表性的一种。此外，Zhu3 等人，对有雾图像建立线性模型，使用监督学习的方法对模型中的参数进行训练，取得了良好的去雾效果。相比于图像增强去雾方法，此类算法效果得到明显的提升，但由于强烈依赖所提先验假设理论的准确性，假设不准确情况下去雾结果中通常会出现色彩失真、光晕伪影以及物体轮廓模糊等现象，致使去雾后的图像不能满足高级视觉任务的需求。图 1多路连接与特征聚合图像去雾网络近些年，深度学习的崛起在计算机视觉领域中体现出良好的性能，越来越多的研究人员致力于将深度学习的方法用于解决图像去雾问题中。如:ren 等8 通过使用一种多尺度卷积神经网络对透射率进行估计，实现单幅图像去雾。Cai等2 在可训练端到端去雾网络中首次使用了双边整流线性单元(BeLu)作为激活函数，对输入雾霾图像的透射率进行估计，实现去雾。Li 等9 提出一种多合一除雾网络，该网络重新构造大气散射模型参数，将透射率和全局大气光值引入到一个新的参数中，通过轻量级卷积神经网络直接恢复出无雾图像。Zhang 等10 提出一种端到端深度学习除雾网络，同时对全局大气光值、透射率和去雾图像学习。Shao 等11 利用一种域自适应范式，利用清晰图像的特性将真实模糊图像融入训练网络中，进一步提高区域的自适应去雾。上述基于深度学习的去雾算法，学习过程中忽略了图像本身的内在信息，导致去雾后的图像轮廓细节不清晰，并且网络中使用的最大池化操作，容易造成信息丢失导致去雾不完全等问题。基于以上提出的诸多问题，本文提出一种基于多尺度连接的区域自适应去雾算法。网络框架类似于 UNet 网络，主要由编码部分、上采样层、下采样层和解码部分组成，其网络结构如图 1 所示。算法相比于其算法有以下优点:1)在编码网络和解码网络之间使用新颖的交互式多路连接，将各级编码层中提取到的特征信息送入解码网络，为解码操作提供足够的细节信息。2)利用“微元”的思想使用众多矩形像素块，将图像中的雾霾区域划分为多个雾浓度分布“近似”均匀的矩形区域，对各区域执行非局部操作提取背景信息。3)使用离散小波变换(Discrete Wavelet Transformation，DWT)12 和逆离散小波变换(Inverse Discrete Wavelet Transform，ID-WT)12 进行尺度变化操作，防止采样过程中特征信息丢失。2本文算法在此节中，将描述本文所提出网络的体系结构，该结构能在合成数据集和真实数据集之间准确的去除雾霾并且保留原始图像中的背景细节。此网络类似于 UNet 网络结构，整体流程如图 1 所示。所述去雾网络大致由编码器和解码器两个部分组成，网络的前三个阶段构成编码器部分，后四个阶段构成解码器部分。本文提出交互式多路链接，将编码器中每一阶段的输出作为解码器中各阶段的部分输入，多路链接的思想使去雾过程中可以使用更多来自不同编码层的特征信息，不同尺度的特征信息可以使去雾的结果中保留原图中更多细节。网络115中各 级 编 码 器 均 由 一 个 密 集 连 接 残 差 网 络(DenselyConnected esidual Network，DCN)和一个矩形区域非局部(ectangle egional NonLocal，NL)块组成。密集连接残差网络是在三个相同的 3*3 卷积操作和 PeLU 整流函数之间，使用跨越连接所构成。由于来自个各编码层的特征信息尺度大小不同，为了在多路级连之后自适应的调整特征通道，需要在每个解码阶段前面添加了一个“压缩激励”(SqueezeandExcitation，SE)块和一个紧随 SE 块之后的 1*1 卷积操作去调节通道数量。2.1多路连接2.1.1压缩激励块在 CNNs 中逐通道注意的方法并不少见，其主要思想是利用特征之间的通道相关性。本文提出算法采用 SE 块进行逐通道调整特征，SE 块的主要思想是通过显式建模通道之间的相互依赖性来自适应地重新调整通道特征响应13。在SENet 中通过全局平均池化层(Global Average Pooling，GAP)，利用局部接受域之外的全局上下文信息获取通道统计特性。为完全捕获通道相关性，本文引入了一种门控机制，以形成通过比例去降低或提升维度的两个全连接层(Fully Connected Layers，FC)。本文结合残差块14 和逐通道注意的思想，如图 2 所示构建 SE 块。图 2SE 块模型给定输入特征图 X，SE 块 fSE()能够被表示为如下形式S=W2(W1HG(X)()(1)fSE(X)=X+X=X+S cX(2)其中c表示逐通道相乘，HG()表示全局平均池化函数，表示激活函数，表示 eLU(线性整流)函数，W1CrC和W2CCr分别表示维度降低和维度增加的全连接层，r 表示在门控机制里面的压缩比。2.1.2多路连接通常类似于 UNet 网络中，编码器和解码器之间的连接仅存在于同一层中特征尺度相同之间，这种情况下解码器在低级特征恢复期间，各级特征信息不能得到充分利用。然而，图像去雾是一项低级视觉任务，需要丰富的特征信息来恢复图中的细节。受到15 的启示，本文制定交互式多路连接将自各级编码层之间的所有特征传输到解码网络中。网络中上采样部分的每个阶段，将所有来自下采样部分的特征信息进行聚合。因为不同层之间的特征具有不同的尺度特性，所以采用 SE 块来自适应的调整通道特征。通常地，使用 Eiout表示 i 编码器部分第层的输出特征(i=1，2，3)，使用 Dlin表示解码部分第 l 层输入特征(l=1，2，3，4)，具体公式可以表示为Dlc=3i=1Hli(Eiout)()Hup(Dl