基于注意力机制的单图像去雾算法_曹锐虎.pdf

0210011-1第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展研究论文基于注意力机制的单图像去雾算法曹锐虎1，张鹏超1，2*，王磊1，张凡1，康杰11陕西理工大学机械工程学院，陕西 汉中 723000；2陕西省工业自动化重点实验室，陕西 汉中 723000摘要 图像去雾工作目前还存在真实数据集过少、局部对比度失衡和去雾图像失真等问题。针对去雾图像失真这一问题，提出一种新型去雾网络模型（Densely Resnet with SKattention-Dehaze Net，DRS-Dehaze Net）。首先带雾图像经预处理模块转换为多角度特征输入图，然后设计密集残差架构并引入注意力机制完成特征信息的提取与再分配，最后将特征融合，输出无雾图像。实验结果表明，所提算法相比于其他对比算法有着较好的去雾效果，有效改善了去雾图像失真问题，且在一定程度上对图像的清晰度进行了提升。关键词 图像处理；图像去雾；残差网络；注意力机制中图分类号 TP391 文献标志码 A DOI：10.3788/LOP213235Single Image Defogging Algorithm Based on Attention MechanismCao Ruihu1,Zhang Pengchao1,2*,Wang Lei1,Zhang Fan1,Kang Jie11School of Mechanical Engineering,Shaanxi University of Technology,Hanzhong 723000,Shaanxi,China;2Shaanxi Key Laboratory of Industrial Automation,Hanzhong 723000,Shaanxi,ChinaAbstract Present image-defogging methods have a range of problems:insufficient numbers of real datasets,local contrast imbalance,and defogging image distortion.This paper proposes a novel defogging network model(Densely Resnet with SKattention-Dehaze Net,DRS-Dehaze Net)that mitigates defogging image distortion.First,the fogged image is transformed into a multi-angle feature input map by the preprocessing module.The feature information is then extracted and redistributed through a dense residual architecture with an attention mechanism.Finally,the features are fused to output a fog-free image.Experimental comparison results confirmed a better defogging effect of the proposed algorithm than that of other algorithms.Our model effectively improves the distortion in defogged images and enhances the image clarity to a certain extent.Key words image processing;image defogging;residual network;attention mechanism1引言在雾、霾天气下采集的图像会由于大气散射模型的作用严重降质，通常表现为图像发灰发白、对比度过小、语义信息丢失和特征信息难以提取，失去了图像原本的色彩。带雾图像不仅让人类的视觉效果变差，而且严重影响了下游图像处理任务，图像去雾在特定环境常被用来作为图像处理的第一步，它对后续特征识别、目标检测1等工作的完好进行极其重要，尤其是在智能安防、自动驾驶2和飞机侦察等领域，图像去雾更是作为初始化环节。所以，去雾算法的研究是当前图像处理方面最重要的工作之一。大气散射模型常被作为近似图像去雾的模型公式，对带雾图像进行一系列复杂公式处理，输出去雾图像，但是想要只通过输入图像来获得去雾图像，这是一件特别困难的事情，大部分研究都是通过估计透射率和场景深度来求取去雾图像的。十年前，图像去雾是由图像增强和物理模型推导方法来实现的，物理模型以估算大气光值和反射色彩值居多。Tan3根据无雾图像相比带雾图像的对比度高的特点，利用马尔可夫构造出函数，来还原图像。He 等4通过大量实验发现无雾图像的 RGB 三个通道收稿日期：2021-12-14；修回日期：2022-01-06；录用日期：2022-03-14；网络首发日期：2022-03-24基金项目：国家自然科学基金（62176146）、陕西省自然科学基础研究计划重点项目（2019JZ_11）通信作者：*0210011-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展里至少有一个通道值很小，于是基于大气散射模型假设大气值，得到无雾图像。由于该算法不能够处理天空 区 域 雾 霾，故 后 续 算 法 主 要 是 提 高 暗 通 道 先 验（DCP）方 法 的 效 率 和 性 能5-7。此 外，Liu 等8基 于Retinex理论，主要依靠物体本身对光线的反射能力求得无雾图像。然而，这些基于先验的去雾算法繁杂晦涩，不能与现实相结合，处理后的图像质量非常差。与之相比，用卷积神经网络处理图像问题不仅简单，更重要的是处理后的图像质量提高了很多，所以使用卷积神经网络来恢复无雾图像成了主流的解决方法。尤其是近些年来，计算机算力的提升催生了越来越多的模型和大型数据集，图像去雾领域也创新了更多先进的算法。Cai等9提出了可端到端训练的 Dehazenet网络，将大气散射模型用神经网络实现。Li等10进一步提出了一个端到端的轻量级网络模型，简化了大气散射模型公式，该模型能够很好地和后续新出模型结合恢复无雾图像。为了直接学习图像特征，王殿伟等11利用生成对抗网络实现去雾，相比于先验算法，学习到了更深层的图像特征。此外，还有一些基于神经网络的去雾算法12-14被提出，上述方法虽然对图像去雾做出了一定贡献，但是由于物理模型的准确性不够好，对图像不能彻底去雾，普通的神经网络去雾算法又不能够很好地处理图像细节，所以图像去雾仍存在真实数据集缺乏、网络模型泛化能力弱、图像质量差和失真等问题。本文针对图像失真这一问题提出了一种新的去雾网 络 模 型（DRS-Dehaze Net）。带 雾 图 像 首 先 经预处理统一维度尺寸，然后经 DRS（Densely Resnet SKattention）-Blocks训练。所提算法融合了 Resnet与Densenet各自的优点，可以在学习深层细节特征的同时避免梯度消失问题；此外引入了注意力机制，按照不同权重比例分配图像特征，能够直接输出无雾图像并且有着良好的视觉效果。2所提去雾算法传统算法大多是基于暗通道与引导滤波的方法进行去雾的，不能直接恢复图像，并且由于它们引入的先验和权重不具有确定性，图像局部颜色会发生偏暗效应。为了避免使用繁琐公式与先验理论，设计了 DRS-Dehaze Net 这 种 端 到 端 的 可 训 练 去 雾 算 法，DRS-Dehaze Net主要由两部分组成，分别是预处理和 DRS-Blocks。图 1展示了网络框架，带雾图像首先经预处理模块进行统一处理，之后进入包含 3个 DRS-Blocks的主干网络进行学习训练，引入细节特征读取与注意力机制，输出无雾图像。2.1相关理论神经网络算法通过非线性单元来映射输入与输出之间的关系，假设输入与输出维度一致，残差网络拟合函数H()可以被拆分为两个部分，即H(a()l-1)=a()l-1+F(a()l-1)，（1）式 中：F()表 示 残 差 函 数。在 网 络 深 层，学 习H(a()l-1)a()l-1这一映射关系就等价于令残差部分趋于 0，即F(a()l-1)0。不同于残差相加模块，密集网络对特征进行组合，它与残差网络的公式为xl=Hl(xl-1)+xl-1，（2）xl=Hl(x0，x1，xl-1)，（3）式中：l表示层数；xl表示第 l层的输出；Hl表示非线性变换。区别于普通浅层神经网络，密集网络与残差网络均可学习到更深层次特征，从而实现去雾。2.2DRS-Block网络设计预处理模块主要对图像数据进行滤波处理，通过生成带雾图像的多个变体（不同变体体现图像不同方面信息），对图像进行统一尺寸操作，使得特征信息更容易暴露，预处理模块实现了多张图像的输入。DRS-Block 是 将 Densenet、Resnet 和 SKattention结合起来的全新网络架构，如图 2 所示。Densenet 将图 1DRS-Dehaze Net框架Fig.1DRS-Dehaze Net framework图 2DRS-Block结构Fig.2DRS-Block structure0210011-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展已有所有层神经网络输出都传递到下一层的网络模型，Conv1 传 入 Conv2，Conv1 和 Conv2 传 入 Conv3，Conv1、Conv2 和 Conv3 传入 Conv4，依次传递。其中蓝色块表示尺寸为 33、步长为 1 的卷积层，BN layer包含 ReLU、Conv 和 BN，Densenet 建立了前后层的连接关系，后面层可以获得前面每个层所学习到的特征，减缓了梯度消失现象。灰色块代表 SKattention，该模块根据不同信息的重要程度提炼出更丰富的细节特征。Resnet则由最下面的连接线表示，它可以引入更深的网络，由于其残差结构，避免了梯度爆炸与消失问题，可以舍弃无关特征，在减少参数量的同时提取出更好的细节特征。通过结合三种网络的优点，构造出DRS-Block。2.3SK注意力机制SKattention 全称是 selective kernel 注意力机制，引入注意力机制可以对重要特征信息按照一定权重进行分配，实现了针对性去噪。如图 3所示，输入通道数为 C、高为 H、宽为 W 的特征图X，通过 33和 55卷积核得到两个特征图；将它们相加，得到尺寸为 CHW、融合了更多感受野的特征图U；之后沿着 H 和W 这两个维度进行全平均池化，将所有空间信息平均成一个值，得到 C11的一维向量，S 代表着不同特征的重要程度，通过线性变换将其映射为 Z维信息，再通过两个线性变换将其复原为 C 维信息，保证了对channel维度的提取；然后进行 Softmax归一化，得到了反映 channel重要程度的分数，对这些分数与两个特征图进行乘积操作，得到了改变细节信息的特征图；最后将它们相加，进行信息融合，得到了最终的特征图。相比于初始X，输出特征图舍弃无关特征的同时保留了更丰富的细节信息特征。DRS-Block作为单独模块可以被多次使用在网络结构中，更深的网络往往能够得到更多的细节特征。不同于以往一体化的端到端算法，比如 AOD-Net，加入更多层之后会造成梯度消失，权重信息难以得到更新，DSR-Block由于密集残差块的存在，不会造成梯度爆炸或者梯度消失问题，具有灵活性。主干网络判定选择是将图像传入 DRS结构还是直接传入下一层，通过三次选择判定，参数量并没有增加很多，所以训练会很快完成，由于 DRS-Dehaze Net 属于线性结