基于对偶回归和注意力机制的图像超分辨率重建网络_印珏泽.pdf

基于对偶回归和注意力机制的图像超分辨率重建网络印珏泽,周宁宁(南京邮电大学计算机学院,南京210023)通信作者:印珏泽,E-mail:摘要:针对单幅图像超分辨率(singleimagesuper-resolution,SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在 Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.关键词:单幅图像超分辨率;通道注意力;空间注意力;对偶回归;密集特征融合引用格式:印珏泽,周宁宁.基于对偶回归和注意力机制的图像超分辨率重建网络.计算机系统应用,2023,32(2):111118.http:/www.c-s- Super-resolution Reconstruction Network Based on Dual Regression and Attention MechanismYINJue-Ze,ZHOUNing-Ning(SchoolofComputerScience,NanjingUniversityofPostsandTelecommunications,Nanjing210023,China)Abstract:Thesingleimagesuper-resolution(SISR)reconstructionalgorithmisill-posedinthemappinglearningfromlow-resolution(LR)imagetohigh-resolution(HR)image,andthedeepneuralnetworkhasslowconvergenceandlackstheabilitytolearnhigh-frequencyinformation.Moreover,imagefeatureinformationtendstobelostduringdeepneuralnetworkpropagation.Inordertoaddresstheseissues,thisstudyproposesanimagesuper-resolutionreconstructionnetworkbasedondualregressionandresidualattentionmechanism.Firstly,themappingspaceisconstrainedbydualregression.Secondly,aresidualattentionmodule(RCSAB)isconstructedbycombiningchannelandspatialattentionmechanisms,whichnotonlyacceleratesthemodelconvergencespeedandeffectivelystrengthensthelearningofhigh-frequencyinformation.Finally,adensefeaturefusionmoduleisintroducedtoenhancethefluidityoffeatureinformation.Inaddition,acomparisonwiththemainstreamSISRalgorithmsiscarriedoutonfourbenchmarkdatasets,namely,Set5,Set14,BSD100,andUrban100,andexperimentalresultsdemonstratethattheproposedmethodissuperiortootheralgorithmsintermsofobjectiveevaluationmetricsandsubjectivevisualeffects.Key words:singleimagesuper-resolution;channelattention;spatialattention;dualregression;densefeaturefusion1引言图像分辨率作为评估图像质量的重要指标,其决定了图像纹理细节的精细度.图像分辨率越高,意味着图像的纹理细节更清晰,越有利于后续对图像的分析计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):111118doi:10.15888/ki.csa.008939http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041收稿时间:2022-06-20;修改时间:2022-07-18,2022-07-29;采用时间:2022-08-15;csa 在线出版时间:2022-10-28CNKI 网络首发时间:2022-11-15SystemConstruction系统建设111与处理.然而,受限于硬件设备、外部环境、压缩技术等客观条件,无法获得分辨率非常高的图像,图像超分辨率技术能有效地解决上述问题.图像超分辨率技术旨在将低分辨率图像恢复为高分辨率图像,近年来,已被广泛应用于公安安防1、医学成像2和卫星遥感3等现实领域,因此对图像超分辨率技术研究具有显著的意义.图像超分辨率技术可以分为单幅图像超分辨率重建、多帧图像超分辨率重建和视频超分辨率重建3 类,本文主要研究的是单幅图像超分辨率重建技术.传统单幅图像超分辨率算法可以分为 3 类.(1)基于插值的算法,是通过利用核函数根据已知邻近像素的值,计算出待插入像素的值.最常用插值算法为双三次(Bicubic)4插值算法,当放大倍数较小时,利用 Bicubic 插值算法高效且稳定,但是放大倍数较大时,重建图像往往会因为细节的丢失存在明显的模糊失真问题.(2)基于重构的方法,通过利用图像的一些先验知识,例如图像的局部平滑性、非局部自相似性、稀疏性等特征来构成约束条件,然后迭代优化估计出最接近低分辨率图像成像模型的逆过程,从而重建高分辨率图像.常见的方法有最大后验概率法5、迭代反向投影法6、凸集投影法7等,相比于插值法,重构法引入了更多额外信息获得了更好的重构效果,但是对先验知识利用的不充分或者无法获得足够的先验知识,所重建的图像存在平滑过度的问题.(3)基于学习的方法,通过利用提前在训练集上训练学习到的低分辨率图像与高分辨率图像间的映射关系来重建高分辨率图像.常见的有领域嵌入8、流形学习9、稀疏表示10等方法,在对人脸、文本等图像重建,这些方法表现出良好的重构效果,但是其特征提取过程依赖于人工设计,十分复杂.近年来,基于深度学习的方法通过卷积神经网络能够提取丰富的特征,取得了很好的重建效果,但目前大多数的超分模型注重加深网络而忽略了对特征信息的区别处理,使得模型无法有效地恢复图像的纹理细节等高频信息.同时,随着网络深度的增加,特征信息容易在向后传播过程中被削弱或丢失.此外,学习 LR到 HR 的映射函数通常是一个不适定问题,存在无穷多的 HR 图像可以下采样到相同的 LR 图像.因此,映射函数的解空间可能非常大,学习到一个性能优异的映射函数非常困难.本文提出的基于对偶回归和残差注意力机制的图像超分辨率重建网络.通过对偶回归学习方法,在原始回归任务基础上引入额外约束,缩小映射空间.融合通道和空间注意力机制构造的残差注意力模块能够对不同特征通道信息和相同特征通道不同空间位置信息进行自适应调节,使网络专注于高频信息的学习.此外,融入密集特征融合模块,增强了特征信息的流动性,使特征信息在网络传播过程中更不易丢失.2相关工作 2.1 基于深度学习的图像超分辨率技术近年来,随着深度学习技术的快速发展,利用深度学习技术的图像超分辨率研究取得了显著进展.2015 年Dong 等人11提出 SRCNN(superresolutionconvolu-tionalneuralnetwork),首次将卷积神经网络(convolu-tionalneuralnetwork,CNN)应用到图像超分领域,结合稀疏编码的方法让 CNN 网络直接学习 HR 与 LR 间的端到端映射,取得了不错的重构效果.随后,Dong 等人12对 SRCNN 做出改进,提出 FSRCNN(Fast-SRCNN)模型.FSRCNN 引入反卷积层,不需要对原始低分辨率输入图像进行双三次插值,减少了计算量和输入误差且能够通过改变反卷积层实现不同尺度放大,同时改变了卷积核大小和网络深度,使 FSRCNN 模型获得了更快的收敛速度和更好的重构效果.Lim 等人13证明了批处理归一化层(batchnormalization,BN)丢失了图像的尺度信息,于是去除了残差块中的 BN 层提出了 EDSR(enhanceddeepsuper-resolution)模型,节省内存资源的同时在相同的计算资源下能堆叠更多的网络层,并在每一层提取更丰富的特征信息,从而提高重建图像质量.Ledig 等人14首次将生成对抗网络应用到超分辨率重构领域,提出超分辨率生成对抗网络(super-resolutionusingagenerativeadversarialnetwork),同时提出一种感知损失函数代替均方误差(meansquareerror,MSE)损失函数,通过对抗训练,重构得到的图像更符合人类视觉感知.Haris 等人15基于迭代反投影方法提出了 DBPN(deepback-projectionnetworks)模型,利用迭代升降采样,为每个阶段提供误差反馈机制.Zhang 等人16提出了 RCAN(residualchannelattentionnetwork)模型,提出了一种通道注意力机制来自适应调节通道特征.Dai等人17提出了 SAN(secondary-orderattentionnetwork),通过使用二阶特征统计量对图像特征信息进行自适应计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期112系统建设SystemConstruction提取.2.2 通道注意力机制大多数基于 CNN 的 SR 模型对 LR 图像的特征提取过程存在以下两个问题.(1)不同特征通道所包含的信息存在一定差异,采用平等处理的方式不利于重建图像高频细节.(2)卷积层中每个滤波器的卷积核仅能使用一个特征通道的局部感受野,无法利用其他通道的感受野信息.针对这两个问题,通道注意力机制利用特征通道之间的相互依赖关系来自适应地对特征通道的权重进行调整,其结构如图 1 所示.Pooling11 ConvReLU11 ConvSigmoidx图 1通道注意力模块x=x1,x2,xc RHWCz为通道注意力模块的输入,首先,利用全局平均池化将通道的全局空间信息压缩为一个通道向量,计算方式如式(1)所示:zc=HGP(xc)=1HWHi=1Wj=1xc(i,j)(1)zczcxc(i,j)c(i,j)HGP其中,为通道向量 中第 个元素,为第 个特征图在处的像素值,表示全局池化函数.经过池化层后,利用 Sigmoid 激活函数来获取不同特征通道间的依赖关系,计算方式如式(2)所示:=f(WU(WDz)(2)fWDWU其中,和 分别代表 Sigmoid 和 ReLU 激活函数,是起通道降维作用的卷积层权重,是经过 ReLU 激活后起通道升维的卷积层权重.为表示特征通道相互关系的统计量.x最后,利用 对 进行调整,输出结果如式