基于3MNet去噪网络的快速EPRI成像_钱佩璋.pdf

钱佩璋,乔志伟,杜聪聪.基于 3MNet 去噪网络的快速 EPRI 成像J.CT 理论与应用研究,2023,32(1):55-66.DOI:10.15953/j.ctta.2022.065.QIAN P Z,QIAO Z W,DU C C.Fast EPRI Imaging Based on 3MNet Denoising NetworkJ.CT Theory and Applications,2023,32(1):55-66.DOI:10.15953/j.ctta.2022.065.(in Chinese).基于 3MNet 去噪网络的快速 EPRI 成像钱佩璋,乔志伟,杜聪聪山西大学计算机与信息技术学院,太原 030006摘要：电子顺磁共振成像（EPRI）是一种先进的氧成像技术。当前 EPRI 的瓶颈问题是扫描速度过慢，其原因是每个角度下的投影信号需要被重复采集几千次，以压制随机噪声。一种实现快速扫描的方法是减少投影信号的重复采集次数，然而这又使得投影信号信噪比降低，重建出来的图像噪声较大。为有效压制重建图像中的噪声，本文提出一种基于多通道、多尺度、多拼接的（3MNet）图像去噪网络，以实现高精度快速 EPRI 成像。该网络由 3 个子网络构成。第 1 个子网络是基于注意力机制的卷积网络，其输出的特征图像与输入图像拼接以构成后端网络的输入；第 2 个子网络是 3 通道卷积网络；第 3 个子网络是多尺度卷积网络。实验结果表明，本文提出的 3MNet 网络可以实现 EPRI 图像的高精度去噪，进而实现快速成像。关键词：深度学习；卷积神经网络；电子顺磁共振成像；快速成像DOI:10.15953/j.ctta.2022.065中图分类号：O 242；TP 391.41文献标识码：A研究表明，肿瘤内部的氧气浓度是一个重要的放疗参数，如果可以准确地显示出肿瘤内部的氧浓度图像，便可以根据肿瘤内氧浓度的分布来调整放射剂量，以实现精准放疗1-2。电子顺磁共振成像（electron paramagnetic resonance imaging，EPRI）是一种高精度高分辨率的肿瘤氧成像模态3-5。然而 EPRI 的主要缺点是扫描时间过长，因为每个角度下的投影信号需被重复采集数千次，以压制随机噪声。一种提高扫描速度的方法是减少在特定角度下采集投影信号的重复次数，然而如此采样导致投影信号的信噪比下降，进而使得用传统的三维滤波反投影（filtered backprojection，FBP）算法重建出的 EPRI 图像噪声过大。因此图像去噪成为 EPRI 当前最重要的问题之一。图像重建中的去噪问题大致分为两类：基于优化的重建方法和基于深度学习的图像后处理方法。在基于优化的图像重建算法中，以总变差（total variation，TV）最小类算法最为典型。2006 年至 2008 年，Sidky 等6-7提出的TV 最小化算法可以实现高精度稀疏重建和含噪投影重建。人们后来又提出若干改进的 TV 模型来提高重建精度，如自适应加权 TV（adaptive-weighted TV，AwTV）模型8、高阶 TV（high order TV，HOTV）模型9-10、非局部 TV（non-local TV，NLTV）模型以及 TpV（total p-variation）模型11等。迭代法重建精度高，但重建速度慢，尤其在三维重建中，重建速度成为影响其应用的主要障碍。基于深度学习的图像去噪方法，是当前性能最优的去噪方法。2008 年，Jain 等12首次通过训练卷积神经网络，实现端到端去噪映射；2016 年，Mao 等13提出的卷积编解器网络，采用了卷积和反卷积层之间的跳跃连接结构，大大提升模型的去噪性能；2017 年，Zhang 等14提出了一个深层（denoising convolutional neural network，DnCNN）网 络 模 型，在 网 络 中 引 入 残 差 学 习收稿日期：20220415。基金项目：国家自然科学基金面上项目（模型与数据耦合驱动的快速四维 EPRI 肿瘤氧成像（62071281）；中央引导地方科技发展资金项目（新型 TV 和学习先验联合约束的快速四维 EPRI 成像方法（YDZJSX2021A003）；山西省回国留学人员科研资助项目（基于新型四维 TV 正则机理的快速 EPRI 肿瘤氧成像方法研究（2020-008）。第 32 卷第 1 期CT 理论与应用研究Vol.32,No.12023 年 1 月（5566）CT Theory and ApplicationsJan.,2023（residual learning）15、线性激活单元（rectified linear unit，ReLU）和批归一化（batchnonmalization，BN）16来训练网络；同年 Chen 等17将自编码器和残差连接用到了卷积-反卷积神经网络（residual encoder-decoder convolutional neural network，RED-CNN）中，以实现低剂量CT 成像。随着网络的不断加深加宽，人们发现仅改变网络结构不能从本质上提升性能，而且真实环境下的噪声复杂多变，需设计性能更优的网络以实现图像去噪。Zhang 等18在2018 年先后提出了（fastand flexible denoising network，FFDNet）及（convolutional blind denoising network，CBDNet）用于真实图像去噪。FFDNet 将不同的噪声水平和噪声图像作为输入，以应对复杂真实环境的噪声，而 CBDNet 网络通过子网络先实现噪声水平的估计，再通过改进的 UNet 网络19来获取潜在的干净图像，使整个网络获得了盲去噪能力20。为进一步提高网络的盲去噪能力，Tian 等21在 2019 年提出了一个双通道网络（batch-renormalization denoising network，BRDNet），将两个不同的互补网络结合 BN、残差学习和空洞卷积22用于图像去噪，增强了卷积神经网络（convolutional neural network，CNN）对图像细节信息的表征能力。Zhao 等23在2020 年提出（pyramid real image denoising network，PRIDNet）网络，由噪声估计、多尺度特征提取和特征融合模块构成，大大提高了在真实噪声图像中网络的去噪性能，更多地提取了图像的潜在特征。上述网络中的 CBDNet 和 PRIDNet 通过估计噪声水平来提高网络的盲去噪能力，BRDNet 是通过增加网络宽度来提取图像细节特征。受此启发，本文拟结合以上 3 种去噪网络的优势，构建多通道网络提取图像细节信息，多尺度实现特征信息的融合，多拼接实现盲去噪网络的结构完整性，基于此设计多通道、多尺度、多拼接卷积网络（multi-channel，multi-scale，multi-concatenation，convolutional network，3MNet）以实现 EPRI 图像去噪。1方法1.1基于 CNN 的 EPRI 快速成像原理CNN 是深度学习的一类经典网络结构，其尤其适用于图像处理，可以学习到输入图像和输出图像之间复杂的、难以被数学建模的非线性映射。为实现 EPRI 快速成像，首先以快速扫描方式获得低信噪比的投影数据，然后使用 FBP 算法重建出含噪图像，最后通过 CNN 大规模训练数据实现图像去噪。CNN 去噪的示意图如图 1 所示。1.23MNet 网络3MNet 网络结构如图 2 所示，所提议的网络包括 3 个子网络：图像预处理子网络、三通道卷积子网络和多尺度卷积子网络，输入的含噪 EPRI图像经过 3 个子网络的处理，输出高精度 EPRI图像。1.2.1图像预处理子网络图像预处理子网络是从输入的含噪 EPRI 图像中提取出特征信息，再将特征图像和高噪图像进行拼接，此拼接图像作为三通道卷积子网络的输入，使整个网络可以学习到更加复杂的未知信息特征24。该子网络采用了 5 层全卷积网络，每个卷积层（convolutional layer，Conv）包含通道数为 32 的 33 Conv+ReLU 层。在最后一个卷积层之前，引入了一个双重注意力模块，该模块结合通道注意力25和空间注意力26来充分提取卷积层中的细节信息。CNN10-31.51.00.50含噪 EPRI 图高精度 EPRI 图图 1CNN 去噪示意图Fig.1CNN denoising schematic diagram56CT 理论与应用研究32 卷f/s双重注意力模块如图 3 所示。该模块首先进行两次 33 的 Conv+ReLU 操作得到特征图；空间注意力机制通过对特征图做全局平均池化（global average pooling，GAP）和全局最大池化（global max pooling，GMP），在拼接操作后通过通道数为 1 的 11 Conv；最后 sigmoid 激活函数将输出的特征权重和输入的特征逐像素相乘保留了更多有用的细节特征。通道注意力机制通过GAP 得到大小为 11f 的特征图，在 11 Conv+ReLU 操作后通道数变为；随后再通过 11Conv 将通道数转换为 f，在 sigmoid 激活函数后将输出的特征权重和输入的特征相乘；最后两分支输出的特征图进行拼接，通过 11 Conv 后与输入的特征逐像素相加。在本文中参数 s=8，f=32。1.2.2三通道卷积子网络不断加深网络层数存在性能饱和问题，鉴于不同的网络架构可以提取到互补的特征信息，拟通过增加网络的宽度来提高去噪性能。三通道卷积子网络结合了残差密集块、空洞卷积以及 UNet 的优点，每个通道上都引入残差学习避免因网络过深而引起的梯度消失和梯度爆炸问题27-28。第 1 层通道：该通道在传统 DnCNN 网络的第 1 个卷积层后引入如图 4 所示的残差密集连接块，该模块由 3 个 Conv+ReLU 以及拼接（Concatenate，Concat）操作构成，后 1 层均与之前层相互连接以增加网络的深度和宽度，使各卷积层之间的特征信息均被充分利用29。最后在该模块的输入与输出之间加入了残差学习。第 2 层通道：该通道保留传统 33 卷积核的优点，使用扩张因子为 1、2、5 的空洞卷积提取不Image preprocessing subnetworkThree-channel convolutional subnetworkMultiscale convolutional subnetwork64641646464 642128128128 256 128128256Dual Attentional ModuleResidual Dense ModuleDilated Convolution ModuleChannel Attentional ModuleMulti-scale Feature Fusion Module11 Conv33 Conv+ReLU33 Conv+BN+ReLU55 Conv+BN+ReLU77 Conv+BN+ReLU22 Max Pooling22 Up-Conv64ConcatConcatConcatConcatConcat图 23MNet 网络结构图Fig.23MNet network structure diagramGlobalAveragePoolingSigmoid ScaleConcatGlobalMaxPoolingConcatSigmoidGlobalAveragePooling11321141132ScaleConvConvConvConv+ReLUConv+ReLUConv+ReLUC图 3双重注意力模块Fig.3Dual attention module1 期钱佩璋等：基于 3MNet 去噪网络的快速 EPRI 成像57同层次的信息30