基于自注意力连接UNet的磁共振成像去吉布斯伪影算法_刘阳.pdf

2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1606-1611ISSN 1001-9081CODEN JYIIDUhttp：/基于自注意力连接UNet的磁共振成像去吉布斯伪影算法刘阳，陆志扬，王骏，施俊*（上海大学 通信与信息工程学院，上海 200444）（通信作者电子邮箱）摘要：为去除磁共振成像（MRI）中的吉布斯伪影，提出一种基于自蒸馏训练的自注意力连接 UNet（SD-SacUNet）算法。为了缩小UNet框架中跳连接两端编码和解码特征之间的语义差距，帮助捕捉伪影的位置信息，将UNet编码端每个下采样层的输出特征分别输入各自的自注意力连接模块进行自注意力机制的运算，而后与解码特征进行融合，参与特征的重建；在网络解码端进行自蒸馏训练，通过建立深层与浅层特征之间的损失函数，使深层重建网络的特征信息可以用于指导浅层网络的训练，同时优化整个网络，提升图像重建水平。在公开的 MRI数据集CC359 上评估 SD-SacUNet 算法的性能，获得的峰值信噪比（PSNR）为 30.26 dB，结构相似性（SSIM）为 0.917 9；与GRACNN（Gibbs-Ringing Artifact reduction using Convolutional Neural Network）、SwinIR（Image Restoration using Swin Transformer）相比，SD-SacUNet的PSNR分别提高了0.77 dB、0.14 dB，SSIM分别提高了0.018 3、0.003 3。实验结果表明，SD-SacUNet算法提升了MRI去除吉布斯伪影的图像重建性能，具备潜在的应用价值。关键词：磁共振成像重建；深度学习；自蒸馏；Transformer；UNet；注意力机制中图分类号：TP391.41 文献标志码：AGibbs artifact removal algorithm for magnetic resonance imaging based on self-attention connection UNetLIU Yang，LU Zhiyang，WANG Jun，SHI Jun*（School of Communication and Information Engineering，Shanghai University，Shanghai 200444，China）Abstract:To remove Gibbs artifacts in Magnetic Resonance Imaging（MRI），a Self-attention connection UNet based on Self-Distillation training（SD-SacUNet）algorithm was proposed.In order to reduce the semantic gap between the encoding and decoding features at both ends of the skip connection in the UNet framework and help to capture the location information of artifacts，the output features of each down-sampling layer at the UNet encoding end was input to the corresponding self-attention connection module for the calculation of the self-attention mechanism，then they were fused with the decoding features to participate in the reconstruction of the features.Self-distillation training was performed on the network decoding end，by establishing the loss function between the deep and shallow features，the feature information of the deep reconstruction network was used to guide the training of the shallow network，and at the same time，the entire network was optimized to improve the level of image reconstruction quality.The performance of SD-SacUNet algorithm was evaluated on the public MRI dataset CC359，with the Peak Signal-to-Noise Ratio（PSNR）of 30.261 dB and the Structure Similarity Index Measure（SSIM）of 0.917 9.Compared with GRACNN（Gibbs-Ringing Artifact reduction using Convolutional Neural Network），the proposed algorithm had the PSNR increased by 0.77 dB and SSIM increased by 0.018 3；compared with SwinIR（Image Restoration using Swin Transformer），the proposed algorithm had the PSNR increased by 0.14 dB and SSIM increased by 0.003 3.Experimental results show that SD-SacUNet algorithm improves the image reconstruction performance of MRI with Gibbs artifacts removal and has potential application values.Key words:Magnetic Resonance Imaging(MRI)reconstruction;deep learning;self-distillation;Transformer;UNet;attention mechanism0 引言 吉布斯伪影是磁共振成像（Magnetic Resonance Imaging，MRI）中常见的一种环状伪影，当磁共振扫描高频采样信号不足时，傅里叶变换成像后就会产生吉布斯伪影1-2。吉布斯伪影的出现会改变组织结构的强度、形状和解剖细节，影响医生对疾病的诊断3。针对吉布斯伪影，传统方法采用小波变换、总变分方法、亚像素移位和自适应滤波等技术实现去伪影4-7。但滤波处理方法往往需要复杂的参数调整或预处理，导致其很难在医学图像处理中得到广泛应用8。亚像素移位可以在不使用文章编号：1001-9081（2023）05-1606-06DOI：10.11772/j.issn.1001-9081.2022040618收稿日期：2022-05-07；修回日期：2022-07-21；录用日期：2022-07-28。作者简介：刘阳（1996），女，山东烟台人，硕士研究生，主要研究方向：深度学习、医学图像分析与处理；陆志扬（1997），男，江苏苏州人，硕士，主要研究方向：深度学习、医学图像分析与处理；王骏（1978），男，江苏无锡人，副教授，博士，主要研究方向：机器学习、医学图像分析与处理；施俊（1977），男，江苏南通人，教授，博士，主要研究方向：医学图像分析与处理、模式识别。第 5 期刘阳等：基于自注意力连接UNet的磁共振成像去吉布斯伪影算法部分傅里叶编码情况下减少吉布斯伪影，但是由于欠采样产生的模糊效应和傅里叶级数近似产生的吉布斯伪影之间相互作用，这些效应的组合很难明确建模9。近年来，深度学习（Deep Learning，DL）作为一种机器学习（Machine Learning，ML）方法在磁共振成像处理中得到了广泛的关注，许多DL网络被提出，用于去除MRI中的噪声和伪影。由于高斯噪声的非相干性和位置无关性，常利用卷积神经网络（Convolutional Neural Network，CNN）自身小感受野的特性进行图像去噪。通过构建非线性模型灵活地去除图像中的吉布斯伪影和噪声，对含吉布斯伪影的MRI进行并行化和高效处理10-11。例如，GAS-CNN（Gibbs-ringing Artifact Suppression Convolutional Neural Network）通过从自然图像到MRI的知识转移来抑制吉布斯伪影，利用自然图像训练MRI进行微调10；GRACNN（Gibbs-Ringing Artifact reduction using CNN）通过学习图像的伪影部分来提取伪影信息，得到无伪影图像，获得了比传统算法更优的实验结果11。这种单尺度 CNN 对改善噪声很有效，但对分布于整张图像的吉布斯伪影的去除，则需要更大感受野的网络来改善12。UNet 通常用于图像分割，利用多尺度特征模块进行特征的提取和恢复，具有较大的感受野13。其中，跳连接可以帮助编码-解码过程恢复完整的空间分辨率，将编码端子网络特征与解码端子网络特征进行直接串联融合。许多基于UNet的改进算法，通过改变跳连接的连接方式减小编码端和解码端特征之间的语义差距，提升了网络的性能。例如，UNet+使用了嵌套的密集跳跃连接代替普通跳跃连接，缩小了编码端和解码端子网络特征之间的语义差距14；UCTransNet（U-Net with a proposed CTrans module）设计了一个多尺度通道融合的子模块来引导融合的多尺度通道信息有效连接到解码器，来消除编解码之间的语义差异15。CNN卷积运算的固有局限性限制了感受野的扩大，而Transformer利用注意力机制模拟数据间的长期依赖关系，可以学习到特征之间明确的全局和远程语义交互信息16。因此考虑在UNet跳连接处加入Transformer模块17-18，通过自注意力连接的方式进行编解码端特征融合，进一步扩大网络的感受野，同时利用UNet良好的编解码能力捕捉更多的伪影信息。自蒸馏（Self-distillation）是一种无需教师模型的知识蒸馏方式，其中知识是在网络本身中蒸馏出来的19。例如，基于阶段的自蒸馏方法Metadistiller，将知识从深层阶段转移到浅层阶段20。目前自蒸馏在分类任务中可以替代过参数化的教师模型，实现模型压缩和快速推理21。而自蒸馏技术在图像重建任务中的应用还处于起步阶段。为了提升网络自身性能，增强网络在小样本条件下对图像边缘和精细结构的处理能力，提高UNet解码端的重建精度，本文将自蒸馏训练与UNet图像恢复模块相结合，通过自蒸馏训练，使得深层网络输出的更精细化特征指导浅层输出特征，提升网络在MRI重建和去伪影方面的性能，获得更精确的无伪影输出图像和更高的评价指标。针对MRI去除吉布斯伪影任务，本文提出了一种基于自蒸 馏 训 练 的 自 注 意 力 连 接 UNet（Self-attention connection UNet based on Self-Distillation training，SD-SacUNet）算法。首先设计了一种基于自注意力连接模块的 UNet以加强编码-解码端的特征融