基于U-Net改进的肺部轮廓与新冠病灶分割网络_林培阳.pdf

8电视技术 第 47 卷第 1 期(总第 566 期)PARTS&DESIGN器件与设计文献引用格式：林培阳，郑茜颖.基于 U-Net 改进的肺部轮廓与新冠病灶分割网络 J.电视技术，2023，47（1）：8-15.LIN P Y，ZHENG Q Y.Improved lung contour and lung COVID-19 lesions segmentation network based on U-NetJ.Video Engineering，2023，47（1）：8-15.中图分类号：TP311.5 文献标识码：A DOI：10.16280/j.videoe.2023.01.003基于 U-Net 改进的肺部轮廓与新冠病灶分割网络林培阳，郑茜颖*（福州大学 物理与信息工程学院，福建 福州 350108）摘要：针对肺部新冠病灶在医学成像中具有大小不均匀、多集中于肺部边缘且灰度与胸腔灰度相近的特点，提出一种基于U-Net 改进的用于肺部轮廓分割和新冠病灶分割的网络模型。所提出的方法采用加深的编解码路径，使用带有残差连接的编码器子模块代替原始 U-Net 的标准卷积单元。为了提高高级特征的表征能力，在编码器和解码器中间加入自注意力机制，来学习特征的内在关系。整理一个用于分割训练的数据集，共 2 973 张新冠肺炎患者的肺部 CT 图片。实验结果表明，所提出的网络在肺部轮廓分割实验的 Dice 系数和 F1 系数分别达到了 98.70%和 98.89%，在新冠病灶分割实验中分别达到了 87.47%和 87.81%，优于其他对比模型。关键词：深度学习；医学图像分割；U-Net；自注意力机制Improved Lung Contour and Lung COVID-19 Lesions Segmentation Network Based on U-NetLIN Peiyang,ZHENG Qianying*(College of Physics and Information Engneering,Fuzhou University,Fuzhou 350108,China)Abstract:In view of the characteristics of the lung COVID-19 lesions in medical imaging,which are uneven in size,mostly concentrated on the lung edge,and whose gray level is similar to that of the chest,this paper proposes an improved lung contour and lung COVID-19 lesions segmentation network based on U-Net.The proposed method adopts a deeper encoding and decoding path,and uses an encoder with residual connection to replace the standard convolution unit of the original U-Net.In order to improve the representation ability of high-level features,we add a self-attention mechanism between encoder and decoder to learn the intrinsic relationship of features.We collated a dataset for segmentation training,with 2 973 lung CT images of COVID-19 patients.The experimental results show that the Dice coefficient and F1 score of the proposed network reached 98.70%and 98.89%in the lung contour segmentation experiment,and 87.47%and 87.81%in the lung COVID-19 lesions segmentation experiment,respectively,which is superior to other comparison models.Keywords:deep learning;medical image segmentation;U-Net;self attention mechanism0 引 言随着图像处理技术和深度学习的发展，医学影像分割领域得到了快速的发展。寻求一种准确而快速的方法对肺部轮廓和新冠病灶进行分割来代替传统的人工方式很有必要。传统的图像分割算法很早就应用于医学图像的分割，用于辅助医生分析医学图像。传统的图像分割算法各有优缺点，在某些分割场景下，通过结合使用多种传统图像分割方法会表现出比单种分割算法更好的结果。然而，肺部的CT 影像通常为连续不规则的，且新冠病灶通常位于肺部的轮廓边缘灰度与人体胸腔相近。这些特点导 基金项目：福建省科技重点产业引导项目（2020H0007）。作者简介：林培阳（1996），男，硕士，研究方向为图像处理。通信作者：郑茜颖（1970），女，博士，副教授，研究方向为计算机视觉、图像处理。E-mail：。电视技术 第 47 卷第 1 期(总第 566 期)9PARTS&DESIGN器件与设计致使用传统的图像分割算法无法对新冠病灶进行准确的分割，因为传统图像分割算法无法适应这种复杂的分割环境，容易出现过度分割、欠分割等情况。相较于传统的图像分割算法，基于深度学习的图像分割方法可以适应复杂多变的环境，在各种场景的图像分割任务中表现出了更高的精度和鲁棒性。卷积神经网络模型通过多阶段的卷积池化来提取图像中的特征，并在最后输出像素级的预测结果。LONG 等人在 2015 年提出了全卷积网络（Fully Convolutional Network，FCN）1，将 卷 积 神经网络的全连接层替换成全卷积层，在语义分割任务中取得了不错的性能。RONNEBERGER 等人提出了 U-Net2，采用编码器-解码器的对称结构，并在编码器和解码器之间加入跳跃连接，克服了 FCN空间位置信息丢失的缺点，在许多医学图像分割任务中表现优异。ZHANG 等人受残差神经网络的启发，提出了带有残差结构的 Resdiual U-Net3，引入残差连接改善了网络退化的问题。PUNN 在所提出的 Inception U-Net4中利用 Inception 模块来提取多尺度的特征。Attention U-Net5使用通道空间注意力机制融合了编码器跳跃连接和反卷积的两部分特征。JIN 等人将注意力机制引入了 U-Net 网络，提出了 RA-UNet6，使用注意力机制聚合低级和高级特征，提取上下文信息。ZHOU 在 U-Net+7中，用多个层次的 U-Net 结构组成了 U-Net+，并使用了多重联合损失，加快了网络的收敛并且有效提高了网络的性能。考虑到空间上的连续性，CICEK 等人在 2016 年提出 3D U-Net8使用了 3D 的卷积核，在具有连续性的数据集中表现优于传统的2D网络。MILLETANI 在 2016 年提出的 V-Net9中，使用了Dice Loss 和 LCE Loss 的联合损失函数，解决了像素比率不均匀的问题，避免了背景对分割精度的过度干扰。LAN 等人提出了 Y-Net10，由两个编码器和一个解码器组成。KUANG 等人提出了三路径编器的-Net11，DOLZ 等人提出了多路径编码器结构，这些工作证明了在多模态输入中，编码器数量的增加有助于提升网络的性能。在新冠病灶分割任务中，ZHANG12等人通过双输入 Y 型 U-Net 结构，通过肺结核数据集，探索了从非新冠肺炎的病理图像中提取共享知识的可能性，并证明了这种方法的分割效果优于经典的 U-Net 网络。FAN 在 Inf-Net13中使用并行解码器聚合高级特征，并生成全局特征图，利用隐式反向注意机制和显式边缘注意机制，对边界进行建模，增强了病灶的边界表示，提高了网络的性能。WANG 提出了 COPLE-Net14，使用了新的噪声鲁棒的 NR-Dice 损失函数，并引入双池化的下采样，在新冠病灶分割任务中 Dice 系数接近 80%。PEI 提出了一种多点监控网络 MPS-Net15，将多尺度特征提取结构、筛网连接结构、多尺度输入结构和多点监督训练结构引入 MPS-Net 中，在新冠病灶分割任务中，Dice 系数接近 83%。KITRUNGROTSAKUL等人在 Attention-Ref-Net16中提出了跳跃连接注意模块（Skip Connections Attention，SCA）来改进分割和精细化网络中的重要特征，提出了种子点模块（SPM）对用户输入的种子点进行转换，获得有用的信息，并在公共数据集和私有数据集上证明了其方法的有效性。尽管以上这些工作通过引入先进的模块和复杂的结构来提高对新冠病灶的分割精度，并且在各自的数据集上表现优于传统模型，但是，由于新冠病灶的大小、分布和灰度的复杂性，很容易导致边界过度分割或欠分割。本文提出的方法能够很好地解决边界分割不准确的问题。本文的主要工作如下。（1）使用带有残差连接的编码器代替标准卷积单元，并增加编码器解码器的数量，有助于模型更好地提取细节特征，提高分割的精度。（2）引入自注意力机制，通过对高级特征的特征维度进行重新加权计算，学习特征的内在相关性，获得特征的局部相关性和全局相关性，从而获取特征的位置信息。（3）筛选整理了只包含肺部轮廓标签和新冠病灶标签的分割数据集，使其更适合用于肺部轮廓分割和新冠病灶分割两项训练任务，并进行训练，证明了本文所提算法的有效性。1 方 法本文提出的模型结构如图 1 所示。模型输入大小为 5125121 的 CT 图像，通过编码器提取到的最后一级特征大小为 88512，经过自注意力机制进行计算加权，然后通过解码器得到与输入图像大小相同的预测结果图像。编码器部分采用了带有残差连接的特征提取模块，有助于保留特征的空间信息，同时能够避免网络深度带来的梯度消失。10电视技术 第 47 卷第 1 期(总第 566 期)PARTS&DESIGN器件与设计与采用四级编码器和四级解码器的 U-Net 不同的是，该模型一共有六级编码器和六级解码器。加深的网络，有助于模型提取富含语义信息的高级特征；在编码器和解码器中间加入了自注意力机制模块，通过学习特征的内在相关性，来获得特征的局部相关性和全局相关性。1.1 编码器网络和解码器网络编码器和解码器子模块如图 2 所示，可以分为特征提取支路和残差连接支路。首先，特征提取支路为两个连续 33 卷积，并分别在卷积层后面加入了 BN 层和 ReLU 层，通过批归一化层与激活函数来稳定每一层网络的特征。残差连接支路首先通过大小为 11、步长为 2、特征通道为输入特征两倍的卷积来匹配输出特征的维度，然后经过 BN 层和 ReLU 层与特征提取支路的特征进行合并，最终输出特征。解码器子模块接收两部分的输入，分别为来自编码器的特征和上级网络反卷积得到的特征，然后合并两部分的特征，再通过两次 33 卷积来融合特征并输出到下一级网络。1.2 自注意力机制模块自注意力机制（Self-Attention）最早用于处理自然语言处理（Natural Language Processing，NLP）问题，当模型输入为大小不同的向量时，确定每个词向量之间的联系。自注意力机制通过构建词向量之间的关系矩阵，计算向量之间的相关性来寻找词与词之间的关系，从而联系上下文