多分辨率融合密集网络的图像去雨方法_刘忠洋.pdf

引用格式:刘忠洋，周杰，陆加新，等 多分辨率融合密集网络的图像去雨方法 J 电光与控制，2023，30(7):57-62 LIU Z Y,ZHOU J,LU J X,etal Multi-resolution fusion dense network for image rain removal J Electronics Optics Control,2023,30(7):57-62多分辨率融合密集网络的图像去雨方法刘忠洋a，周杰a，陆加新b，缪则林a，江凯强a，高伟a(南京信息工程大学，a 人工智能学院(未来技术学院);b 电子与信息工程学院，南京210000)摘要:针对现有的去雨方法无法彻底去除雨纹并且去雨后图像存在细节丢失问题，提出一种多分辨率融合密集网络的图像去雨方法。网络主体由多个多分辨并行融合模块构成，始终保持空间精确的高分辨率并从低分辨率中接收大量的上下文信息。使用一种基于选择性卷积核机制 SKNet 的多尺度特征融合模块，通过非线性的方法有效聚合来自不同分辨率流的特征。在不同的分辨率流中使用一种改进的残差模块，采用相邻层次的多种尺度的卷积来获取丰富的雨纹信息。模块间使用密集连接，加强不同模块之间的特征传播。实验表明，所提方法在合成及真实雨像数据集上的评价指标与其他去雨方法相比有所提高，去除雨纹的同时能够保留更多的细节信息。关键词:图像去雨;多分辨率;密集网络;SKNet;特征融合中图分类号:TP391 41文献标志码:Adoi:10 3969/j issn 1671 637X 2023 07 010Multi-resolution Fusion Dense Networkfor Image ain emovalLIU Zhongyanga,ZHOU Jiea,LU Jiaxinb,MIAO Zelina,JIANG Kaiqianga,GAO Weia(Nanjing University of Information Science and Technology,a School of Artificial Intelligence(School of Future Technology);b School of Electronic and Information Engineering,Nanjing 210000,China)Abstract:The existing rain removal methods cannot completely remove rain streak,and the image detailsare lost after rain removal Therefore,an image rain removal method based on multi-resolution fusion densenetwork is proposed The main body of the network is composed of multiple multi-resolution parallel fusionmodules,which always keeps the spatial accurate high-resolution representation and receives a lot of contextinformation from the low resolution A multi-scale feature fusion module based on the selective convolutionkernel mechanism SKNet is used to effectively aggregate features from streams with different resolutions bynonlinear method An improved residual module is used in different resolution streams,and the convolutionof multiple scales of adjacent layers is used to obtain rich rain ripple information Dense connections areused between modules to enhance feature propagation between different modules Experiments show that theevaluation index of the proposed method on synthetic and real rain image datasets is improved compared withother rain removal methods,and more detailed information can be retained while removing rain patternsKey words:image rain removal;multi-resolution;dense networks;SKNet;feature fusion0引言在雨雪等恶劣天气条件下拍摄的图像和视频通常会导致场景能见度明显下降，使得许多实际视觉系统受到严重影响。图像去雨的目的是从雨水图像中恢复出干净的背景图像，这是一项重要的图像恢复任务，在过去的几年里引发极大关注。收稿日期:2022-06-15修回日期:2022-07-26基金项目:国家自然科学基金面上项目(62101274，61971167，62101275)作者简介:刘忠洋(1997)，男，江苏南京人，硕士生。近年来，由于卷积神经网络具有强大的特征表示能力，基于卷积神经网络的方法取得了更好的去雨效果。FU 等1 设计出一种深度细节网络 DDN 来去除雨纹，利用滤波器从图像中分离出高频细节层并将其送入网络进行训练，该方法能够去除部分雨纹，但是部分背景区域仍存在雨纹未被处理。研究人员发现单阶段的方法无法有效去除图像中的雨纹，于是提出多阶段的去雨方法，去雨效果得到显著提高。EN 等2 提出一种简单且高效的渐近式去雨网络 PeNet，每阶段重复展开一个浅层残差网络且输出为残差图像的预测时第 30 卷第 7 期2023 年 7 月电光与控制Electronics Optics ControlVol 30No 7July 2023可以提高去雨的效果;CAI 等 3 提出双重递归网络 DN，与 PeNet 结构相似，但其每阶段使用 2 个残差块进行递归计算。这些多阶段方法并没有充分利用多尺度特征，在雨纹复杂且密集的情况下处理结果较差并存在纹理信息丢失问题。FU 等4 提出轻量化的去雨网络LPNet，引入拉普拉斯图像金字塔以及递归的残差网络来提取不同尺度地特征，此方法尽管去雨速度较快，但是去雨后图像仍可见雨纹残留，去雨效果并不理想;CHEN 等5 构建出用于去雨的多尺度沙漏层次融合网络，利用沙漏结构获得多尺度雨纹特征;张学锋等6 构建出多尺度编码 解码结构的去雨网络，通过 UNet 结构提取不同尺度获得的特征并跨尺度地聚合雨纹信息。虽然这些编码 解码结构的方法去雨后的图像视觉效果更好，但是图像局部区域内仍有部分纹理和色彩信息无法有效恢复。针对上述问题，提出一种多分辨率融合密集网络的图像去雨(Multi-esolution Fusion Dense Network，MFDN)方法。通过多分辨率并行融合模块(Multi-esolutionParallel Fusion，MPF)，始终保持高分辨率以维持精确的空间细节，将低分辨率上的上下文信息多次逐级融合到高分辨率中以指导网络提取雨纹特征。在模块内使用改进残差模块(Improved esidual Module，IM)增强多尺度特征提取同时构建选择性卷积核特征融合模块(Selective Kernel Feature Fusion，SKFF)，通过 SKNET7 的动态选择机制融合来自并行分支的多尺度特征，增强网络的表示能力。引入密集连接加强了各模块间的信息流动与特征复用，减少信息传输的丢失。1相关工作1 1多尺度学习策略图像中的雨纹表现出明显的自相似性，不同尺度的相关信息可以有效地改善特征表示。JIANG 等8 构建了一个多尺度的金字塔结构，并引入注意力机制来引导不同尺度间相关信息的融合;WANG 等9 提出了一个具有密集特征金字塔网格块的密集连接网络，通过密集特征金字塔网格用以融合不同尺度的特征，提高网络的去雨能力;JIANG 等10 利用非局部融合模块、注意力融合模块以及构建多级金字塔结构来探索雨水图像金字塔的局部和全局相关信息。1 2注意力机制注意力机制被认为是基于输入图像特征的动态权重调整过程，近年来，研究人员将注意力机制引入计算机视觉任务，并在目标检测11、图像超分 12、图像去雾13/去雨14、图像增强 15 等领域中有效提升了网络的性能。ZHANG 等12 提出一种 CAN 用于解决图像超分辨率问题，利用 SENet 动态调整通道的权重使得网络关注于重要的通道信息;QIN 等 13 设计出一种 FFA-Net，利用通道注意力根据不同通道的重要程度调整权重，像素注意力根据不同像素位置的关键程度调整权重使网络重点关注于有雾区域;CHEN 等14 利用混合域注意力模块(空间、通道)，增强了网络提取雨纹特征的能力，优化了整体网络的性能并提高准确率。2本文方法MFDN 作为端到端的卷积神经网络，由一系列多分辨率并行融合模块组成，学习从雨水图像到去雨图像的像素级映射。本章将详细介绍整体网络以及重要模块。2 1网络结构从数学上讲，雨水图像 O 可以表示为无雨图像 B和雨纹 的线性组合，即O=B+。(1)MFDN 直接从雨水图像 O 中学习雨纹层并通过减法操作获取去雨后的图像。所提方法的网络结构见图1。图 1网络结构图Fig 1Framework of overall network网络首先对输入图像 x 进行3 3 的卷积运算，将其从 GB 通道的图像空间编码到维度为 C 的特征空间，即F0=f3 3(x)。(2)然后，引入密集连接和多分辨率并行融合模块，在特征空间中学习复杂的雨纹特征，即Fl=f1 1(F0，F1，F2，Fl 1，MPF(Fl 1)(3)式中，Fl 1是第 l 个多分辨率并行融合模块的输入。密集连接网络的各层间都有相互连接，前面所有层的特征85第 30 卷电光与控制刘忠洋等:多分辨率融合密集网络的图像去雨方法都在通道维度进行级联以作为该层的输入。这种结构有效融合各层次的特征信息，帮助网络获得包含更多细节信息的图像特征，使得雨纹特征得到充分复用，确保最大的信息流动，有利于整体网络的梯度传递，使网络易于训练。1 1 卷积压缩了模块的输入通道，减少网络参数。在密集连接之后，再使用一个 3 3 大小的卷积将维度为 C 的特征图解码为 GB 三通道雨纹图像，即=f3 3(Fl)。(4)最后，通过从雨水图像 O 中去除雨纹获得最终的输出去雨图像B，即B=O 。(5)2 2多分辨率并行融合模块WANG 等16 提出一种高分辨率网络，并将其应用于人体姿态估计、语义分割等领域。受此启发，使用一种多分辨率并行融合模块用于图像去雨任务。如图 1所示，对比编码 解码结构，3 层分辨率流结构增加网络的参数量，同时维持高分辨图像增加网络的训练难度，延长了训练时间，提升运算成本。但是高分辨率中具有精确的空间信息，这对去雨图像恢复质量十分重要。精确的空间信息有助于网络准确提取雨纹特征，同时保留图像的纹理细节。模块由 3 层并行的卷积流构成，通过多次并行卷积流交换信息进行多尺度特征融合，在模输块入与输出之间建立残差连接以防止浅层信息的丢失。2 3选择性卷积核特征融合模块最常用的特征融合方法包括简单的求和或级联操作，但这些操作