残差注意力聚合对偶回归网络超分辨率计算机断层扫描重建_范金河.pdf

0210009-1第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展研究论文残差注意力聚合对偶回归网络超分辨率计算机断层扫描重建范金河1，2，吴静1，2*，何茂林1，21西南科技大学信息工程学院，四川 绵阳 621010；2西南科技大学特殊环境机器人技术四川省重点实验室，四川 绵阳 621010摘 要 为了改善计算机断层扫描（CT）影像重建质量不高的问题，提出一种基于残差注意力聚合对偶回归网络（RAADRNet）的超分辨率CT重建方法。多特征下采样提取模块（MFDEB）通过平均池化、最大池化和卷积运算完成多特征下采样提取，在多特征融合后嵌入通道学习注意力（CLA）和空间学习注意力（SLA），同时并入前级融合特征提取图像的浅层特征。CLA、SLA分别引入通道权重特征学习以及激活函数1+tanh（）完成特征提取。残差注意力聚合模块（RAAB）通过CLA嵌入残差网络构成的残差通道学习注意力模块（RCLAB）与SLA构成的空间特征融合模块（SFFB）联合提取图像的深层特征。原始网络在浅层特征与通过亚像素卷积放大的深层特征进行特征融合后完成重建。对偶网络进一步约束重建映射函数的解空间。实验表明，所提算法在重建图像的峰值信噪比（PSNR）和结构相似度（SSIM）上都得到了较好的提升。关键词 图像处理；超分辨率计算机断层扫描重建；多特征下采样；通道学习注意力；空间学习注意力；残差注意力聚合中图分类号 TP391 文献标志码 A DOI：10.3788/LOP212865Super-Resolution Computed Tomography Reconstruction of Residual Attention Aggregation Dual Regression NetworkFan Jinhe1,2,Wu Jing1,2*,He Maolin1,21College of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,Sichuan,China;2Sichuan Key Laboratory of Special Environmental Robotics,Southwest University of Science and Technology,Mianyang 621010,Sichuan,ChinaAbstract A super-resolution computed tomography(CT)reconstruction method based on a residual attention aggregation dual regression network(RAADRNet)is proposed to improve the quality of CT image reconstruction.The multi-feature down-sampling extraction block(MFDEB)is used to complete multi-feature down-sampling extraction by employing average pooling,maximum pooling,and convolution operations,and channel learning attention(CLA)and spatial learning attention(SLA)are embedded after multi-feature fusion.Moreover,the shallow features of an image are extracted by combining the previous fusion features.CLA and SLA respectively introduce channel weight feature learning and activation function 1+tanh()to complete feature extraction.The residual attention aggregation block(RAAB)requires the use of the residual channel learning attention block(RCLAB)composed of a CLA-embedded residual network and the spatial feature fusion block(SFFB)composed of SLA for jointly extracting the deep features of the image.The primal network completes reconstruction after the feature fusion of shallow features and deep features amplified by sub-pixel convolution.The dual network further constrains the solution space of the reconstructed mapping function.Experiments show that the proposed algorithm improves the peak signal-to-noise ratio(PSNR)and structural similarity(SSIM)of the reconstructed image.Key words image processing;super-resolution computed tomography reconstruction;muti-feature down-sampling;channel learning attention;spatial learning attention;residual attention aggregation收稿日期：2021-11-03；修回日期：2021-11-29；录用日期：2021-12-13；网络首发日期：2021-12-23基金项目：特殊环境机器人技术四川省重点实验室基金（13ZXTK07）通信作者：* 0210009-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展1引言计算机断层扫描（CT）图像由于不同程度的移动伪影、线束硬化伪影及机器故障伪影等和部分容积效应均会导致重建图像的质量下降，可能掩盖病灶致使误诊、漏诊。超分辨率重建（SR）技术1-2的核心在于从观测的低分辨率（LR）图像重建出指定缩放因子的高分辨率（HR）图像，广泛应用于医学影像及人脸重建等领域。目前常用的重建算法包含：基于插值的方法3、基于重建的方法4、基于稀疏编码的方法5和基于深度学习6-7的方法。基于深度学习的超分辨率重建方法能够更好地恢复图像的细节纹理8-9，对于医学影像的重建具有重要意义10-11。近来，残差网络被广泛应用于超分辨率领域改善图像的重建性能。Zhang等12利用基本残差单元进行堆叠，提出了残差密集网络（RDN）改善网络的重建性能。Zhang 等13提 出 的 残 差 通 道 注 意 力 网 络（RCAN），将通道注意力机制（CA）引入基本残差单元，形成残差通道注意力模块（RCAB），增强了网络的通道特征提取能力。Guo等14将 RCAB引入对偶回归网络（DRN），用于分层次强化网络模型对图像深层特征的提取能力，更有利于 CT图像细节纹理的恢复。基于残差网络和注意力机制的超分辨率重建算法虽然取得了较好的重建效果。但仍存在以下问题：1）文献 13 的 CA、文献 15 的高效通道注意力（ECA）及文献 16 的协调注意力（CoA）和文献 17 的空间注意力（SAM）均无法实现原有通道权重特征信息的表达，以及利用激活函数Sigmoid()在训练过程中易出现梯度消失的问题；2）由于单尺度下采样提取模块（SDEB）限于卷积核感受野的大小会丢失较多的信息特征，导致重建图像纹理突变、特征模糊等不良影响；3）由于级联 RCAB（CRCAB）特征提取方式仅强化关注图像的通道特征，输入特征通过繁多的 RCAB 模块，丢失了较多空间特征信息，导致出现重建的 CT 图像感兴趣区域特征不显著等问题。针对以上问题，本文提出了一种基于残差注意力聚合对偶回归网络（RAADRNet）的超分辨率 CT 重建算法。该方法无论在客观评价指标峰值信噪比（PSNR）与结构相似度（SSIM）上，还是在重建图像的主观评价上，均得到了较好的改善与提升。2RAADRNetRAADRNet 由原始网络（PN）和对偶网络（DN）组成，如图 1 所示。PN 由通道变换 Head、多特征下采样 提 取 模 块（MFDEB）、残 差 注 意 力 聚 合 模 块（RAAB）和输出重建部分组成。DN 由 DN1 和 DN2组成。RAADRNet包含log2 s个上下采样模块，s为重建尺寸。输入数据包含 HR 图像与多尺度 LRxi图像，LRxi作为原始网络和对偶网络的约束样本，i为约束样本放大倍数，i 2n，n=0，log2 s。预处理阶段利用双三次插值法 Bicubic 对 LRxi进行上采样获取输入（input）特征图。2.1PN如图 1 所示，浅层特征FMFDFBi利用多特征下采样模块 MFDEB获取，深层特征FRAABi利用 RAAB获取。FSRX1由FMFDFB2通过卷积核WSRX1：Conv(3，3)进行重建，可表示为FSRX1=FMFDEB2WSRX1。（1）FSRX2由FMFDEB2与FRAAB1进 行 亚 像 素 卷 积Pixelshuffle(2)放大后的特征进行融合，再通过卷积核WSRX2：Conv(3，3)进行重建，可表示为FSRX2=fuse Pixelshuffle(FRAAB1)；FMFDEB2*WSRX2。（2）ConvX4 imageX2 imageMFDEB1RAAB2pixel shuffleConvConvLeakyReLUConv/2RAAB1pixel shuffleMFDEB2ConvLeakyReLUConv/2X1 imageConvinputDN:dual networkshortcuthead MFDEB:multi-feature down-sampling extraction blockRAAB:residual attention aggregationblockprimal networkDN1DN2output图 14倍 RAADRNet重建网络结构Fig.1Reconstructed network structure diagram of RAADRNet for SRX40210009-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展FSRX4由通道变换特征Head(X)与FRAAB2进行亚像素卷积Pixelshuffle(2)放大后的特征进行融合，再通过卷积核WSRX3：Conv(3，3)进行重建，可表示为FSRX4=fuse Pixelshuffle(FRAAB2)；Head(X)WSRX3。（3）式（1）（3）中：fuse为按通道方式融合；为卷积运算。PN 可获取FSRX1（X1 image），FSRX2（X2 image）和FSRX4（X4 image）3 种尺寸的 CT 图像，其中FSRX4作为目标重建图像输出（output）。FSRX1、FSRX2及FSRX4分别用于 PN 中不同尺度重建时，LR图像到HR图像映射函数解空间的约束。2.2DN如图 1 所示，DN 可获取多尺寸低分辨率FLRXi，用于HR