深层跳线残差网络热红外图像超分辨重建_邓伟.pdf

引用格式:邓伟，陈建飞，张胜 深层跳线残差网络热红外图像超分辨重建J 电光与控制，2023，30(3):27-32 DENG W,CHEN J F,ZHANG SSuper-resolution reconstruction of thermal infrared image in deep residual network with skip connections J Electronics Optics Control,2023,30(3):27-32深层跳线残差网络热红外图像超分辨重建邓伟，陈建飞，张胜(南京邮电大学电子与光学工程学院、柔性电子(未来技术)学院，南京210000)摘要:在公共安全、军事等领域高分辨率热红外图像能够提供更多的场景细节信息，有着广泛的应用需求，但高昂的设备成本限制了高分辨率红外图像的获取。为此设计了一种多级跳线深层残差卷积神经网络(DR-CNN)，通过软件超分辨的方法重构出高分辨率的红外图像。采用多级跳线双通道注意力残差块增加卷积深度以解决卷积层间缺乏关联性的问题;使用 Concat 模块实现局部特征信息的融合，利用反卷积层进行特征图像的上采样，使其直接从低分辨率图像学习到高分辨率图像以降低训练的复杂度，加快运行速度。所提算法与 SRCNN，FSRCNN 和 ADSR 等算法进行对比测试，使用峰值信噪比(PSNR)和结构相似度(SSIM)作为算法的评价指标。实验结果表明提出的 RD-CNN 算法优于其他对比算法，生成的高分辨率图像细节丰富且清晰。关键词:热红外图像;超分辨重建;多级跳线;双通道;注意力残差块;Concat 层中图分类号:TP391 41文献标志码:Adoi:10 3969/j issn 1671 637X 2023 03 005Super-Resolution Reconstruction of Thermal InfraredImage in Deep Residual Network With Skip ConnectionsDENG Wei,CHEN Jianfei,ZHANG Sheng(Nanjing University of Posts and Telecommunications,College of Electronic and Optical Engineering College ofFlexible Electronics(Future Technology)Nanjing 210000,China)Abstract:In public security and other fields,high-resolution thermal infrared image can provide more scenedetails,and has a wide range of application requirements However,high equipment cost limits theacquisition of high-resolution infrared images In this paper,a multistage skip Deep Residual ConvolutionalNeural Network(DR-CNN)is designed to reconstruct high resolution infrared images by software super-resolution method Multistage skip dual-channel attention residual blocks are used to increase theconvolution depth to solve the problem of lack of correlation between convolution layers In order to reducethe complexity of training and speed up the operation,Concat module is used to realize the local featureinformation fusion and the deconvolution layer is used to upsample the feature images directly from lowresolution images to high resolution images Compared with SRCNN,FSRCNN and ADSR,the Peak Signal-to-Noise Ratio(PSNR)and Structural Similarity(SSIM)are used as evaluation indexes Experimentalresults show that the DR-CNN algorithm proposed is superior to other algorithms,and the generated high-resolution images are rich in detail and clearKey words:thermal infrared image;super-resolution reconstruction;multi-level skip;dual-channel;attention residual block;Concat layer0引言红外图像是通过红外热像仪将物体向外发散的辐射信号转变成电信号生成的人眼可识别图像。红外图收稿日期:2022-01-20修回日期:2022-02-14基金项目:国家自然科学基金(61601237)作者简介:邓伟(1996)，男，江苏泰州人，硕士。像因其不受外部光线的影响且穿透力强、作用距离远等优点被广泛应用于消防、医疗1、卫星遥感2、军事3 等领域。然而，由于硬件设备工艺进程的限制，所获得的红外图像分辨率低，视觉效果不佳。现阶段，提高红外图像分辨率主要有两种方法:一种是提高热红外设备的性能，但高性能的设备意味着高成本;另一种是利用软件方法提升红外图像的分辨率。而超分辨重建技术就第 30 卷第 3 期2023 年 3 月电光与控制Electronics Optics ControlVol 30No 3Mar 2023是利用软件方法将原有的低分辨率图像进行处理最终获得高分辨率图像，无需提高设备性能，经济有效且实用性很强。目前图像超分辨方法大致有 3 种。1)基于插值的方法。例如最近邻插值法4、双立方插值5 等，这类方法的算法简单、运行速度快，但其仅利用局部信息无法还原图像的高频信息，图像视觉效果提升有限。2)基于重建的方法。该类方法分为频域法和空域法两大类。常用方法有凸集投影法(Projection Onto Convex Set，POCS)6、迭代反投影法(Iterative Back Projection，IBP)等。3)基于学习的方法。随着深度学习的不断发展，卷积神经网络开始应用于图像领域。由 DONG 7 首次提出的SRCNN(Super-Resolution Convolution Neural Network)模型成功使用了卷积网络，图像成像质量获得了极大的提升。SRCNN 分为 3 个阶段:特征提取、非线性映射、重建。算法实现了从低分辨率图像到高分辨率图像端到端的学习，相比于插值、重建等传统算法有较大提升;但SRCNN 卷积层较少，因此无法获取足够多的图像信息且收敛速度缓慢。针对此缺点 KIM 等8 提出了 VDSR卷积神经网络，VDSR 由 20 层卷积层(3 3)组成，利用残差学习加快网络收敛速度增强了模型的重建性能;但由于 VSDR 网络深度的加深，其训练量急剧增大训练时间过长。DONG 等9 在其原有 SRCNN 模型上提出了 FSRCNN 卷积神经网络模型，FSRCNN 直接将原始低分辨率图像输入卷积神经网络，最后进行上采样操作(反卷积)获得超分辨重建图像，实验结果表明，该网络模型在速度和效果上都有较大提高。深度卷积网络在超分辨重建技术上能够获取更多的图像信息，但仅通过简单地增加卷积层数会导致梯度消失、梯度爆炸等问题;简单地增加卷积层的数量无法有效利用卷积层间的特征信息，使得在超分辨重建过程中图像区域信息缺乏相关性，图像重建难以达到预期效果。为此，赵小强等10 提出了新的深度残差网络，该网络通过残差学习方式增加神经网络深度以解决深层网络梯度消失、梯度爆炸的问题;同时，利用跳线思想使得卷积层间图像特征信息得以充分利用从而达到了更好的重建效果。在图像超分辨过程中，图像的局部特征信息有时比全局特征信息更能获得准确的重构效果。然而，文献 10 没有充分利用局部特征信息，仅进行了简单的全局特征融合，无法达到最佳的重建效果。为解决以上问题，本文提出了新的多级跳线连接深层残差网络(DR-CNN)，通过采用注意力机制并改进残差网络结构充分利用了有效特征信息，利用Concat 模块进行多级残差块的特征融合(局部特征融合)，最后通过反卷积层上采样重建高分辨率图像从而达到了更好的重建效果。1多级跳线连接的残差网络重建方法本文基于残差学习、跳线连接的思想构建了 DR-CNN 网络。DR-CNN 网络结构如图 1 所示。图 1多级跳线连接的深度残差网络结构图Fig 1Structure diagram deep residual network with multistage skip connection该网络包含一个由两层卷积组成的浅层特征提取模块，7 个多级跳线注意力残差块(35 个子残差块)，由两层卷积层组成的 Concat 模块和一个反卷积层。利用跳跃连接将图像特征信息传递到后面的卷积层中并充分利用局部特征信息，有利于更好地恢复图像;而利用反卷积层使得输入的低分辨率图像(LR)无需进行双三次插值(上采样)，将 LR 图像直接作为输入。具体流程如下:将 LR 图像输入卷积网络，通过特征提取模块提取特征信息，第 1 层卷积(3 3 3 64)输出为 G1，第 2 层卷积(64 3 3 64)输出为 G2;随后将 G2输入残差模块中，通过 7 个注意力残差块后将得到预测特征(P)输入到 Concat 模块中进行局部特征信息融合，输出为 H;随后与 G1全局特征信息融合(H1);最后 H1经反卷积层上采样获得高分辨率图像。1 1多级跳线连接注意力残差块1 1 1残差网络在卷积神经网络中卷积层的数量对图像重建效果有重要影响。卷积层数过少，神经网络学习不充分，图像重建效果不佳，但随着卷积层数的增加神经网络出现网络梯度消失、退化等问题，无法有效提升图像质量。2016 年由 HE 等11 提出的残差网络方法有效解决了这一问题。残差卷积网络中每个残差块都包含了多个由卷积层和激活层构成的特征提取单元，结构如图2(a)所示。实验研究表明，BN 层在图像超分辨学习中容易破坏图像的对比度信息，从而影响重建效果。在曲海成等12 的研究中验证了这一观点:发现 BN 层易导致网络的不稳定和发散，因此将 BN 层去除。本文在此基础上重新构建了残差网络，新结构为双通道网络，其由3 个82第 30 卷电光与控制邓伟等:深层跳线残差网络热红外图像超分辨重建卷积层(1 1+3 3+1 1)与 2 个卷积层(3 3)组成，如图 2(b)所示。新结构既增加了网络深度以提取深层特征信息，也保证了充分利用局部浅层特征信息，从而达到更好的重建效果。图 2残差网络Fig 2Residual network1 1 2多级跳线连接残差块传统的深度神经网络模型卷积层只对其前一个卷积层的特征向量进行卷积计算，没有有效利用相邻两个卷积层的特征信息，从而导致图像区域特征信息少且其前后信息缺乏关联。为解决此问题，本文在改进的残差网络的基础上设计残差模块，其结构如图 3所示