基于Dual-Hard-Net网络的结直肠息肉分割算法.pdf

Jun.2023JOURNALOFCHENGDUUNIVERSITY OFINFORMATIONTECHNOLOGY2023年6 月Vol.38No.3报息成大学学工程都信第38 卷第3期文章编号：2 0 96-16 18(2 0 2 3)0 3-0 2 91-0 7基于Dual-Hard-Net网络的结直肠息肉分割算法高瑜曼，高琳”，何晋？（1.成都信息工程大学电子工程学院，四川成都6 10 2 2 5;2.成都信息工程大学区域链产业学院，四川成都6 10 2 2 5）摘要：由于结直肠息肉在形状，色泽和质地等方面各异，且息肉与其周边正常区域的边界分辨模糊等特点，导致息肉医学图像分割存在较大挑战。为提高结直肠息肉的分割准确率，提出一种改进的Dual-Hard-Net网络分割算法。算法采用经典的编解码结构，以Hardnet为共享编码器提取必要的多尺度特征,运用两对并行排列的解码器对提取的特征加以充分利用,并引人改进的注意力机制和残差模块减少计算量，解决梯度消失等问题。分别在两个不同的数据集上进行比较和实验，dice及mloU系数取得了0.8 95和0.8 59的准确率。与当前的多种主流算法相比，算法具有更高的分割准确性和精确度。关键词：医学图像分割；结直肠息肉；编解码结构；多尺度特征；注意力机制中图分类号：TP391文献标志码：Adoi:10.16836/ki.jcuit.2023.03.0070引言在人工智能和医学大数据快速发展趋势下，基于深度学习的医学图像分割在医学辅助领域得到更普遍和深入的运用,有重要的应用前景和潜在发展趋势。和自然图像相比，医学图像存在分辨率高、数据量小、样本大小不平衡等特点，因此基于不同医学分割任务的多种图像分割算法应运而生，解决不同分割领域的问题且得到了有效的应用。如LongJ等1 构建FCN(完全卷积)网络，通过由端到端、像素到像素训练的卷积网络进行语义分割。任意大小的图像都可输入到该网络中,最后通过有效的推理和学习,产生相应大小的分割结果。并采用全卷积化的方式来解决逐像素的预测问题，使用跨层的跳跃连接结构，将浅层的纹理信息和深层次的语义信息进行融合,实现精准的分割任务。Ronneberger 等2 提出一个对称的U型网络，可融合多层多尺度特征，由一个收缩路径获取全局上下文信息以及一个对称的扩张路径进行局部精确定位组成。U-Net网络采用对称编解码结构，在编码网络部分对图像进行卷积获取上下文信息，在解码网络部分采用上采样操作将图像恢复到相应的尺寸大小，并通过跳跃连接将两部分同样分辨率大小的特征进行融合，最后恢复到原尺寸大小。Zhou等3 提出了UNet+,是一个结合深度监督的编码器网络，编码器和子网络由嵌套及密集的跳跃长短连接构建联系，短连接使模型能够得到更有效的训练，长连接可获得上下文更多信息。它还整合了不同层次的特征收稿日期：2 0 2 2-0 8-0 7基金项目：四川省科技计划资助项目（2 0 2 0 YFS0316）提高精度，运用剪枝对网络结构进行简化并配合深度监督，在可接受的精度范围内让深度网络参数量大幅度缩减。Fabian Isensee 等4 提出 nnunet,这是一种根据2 D和3D的unet进行改进的强大自我适应的框架。对包括不同的实体、图像模式、图像几何和数据集大小进行自动适应，而无需手动调整数据集。JhaD5提出了新的DoubleUNet框架，即两个UNet网络叠加的结构,并使用金字塔池化来获取上下文信息。Guan s6将密集连接机制引入到UNet用于图像重建，在降低网络参量的同时提升了图像重构的质量。MultiResUNet7网络使用残差路径替代传统UNet中的跳跃连接,用多分辨率思路替代卷积层。HuangH8结合全尺度的跳跃连接和深度监督，把不同尺度的高级语义和低级语义的特征图融合，提高了计算效率和分割精度。基于以上分割模型，注意力块可以根据不同的重要性有选择地更改输人或分配不同权重，得出每个像素在各个域中的特征重要性,从而重点关注图像的关键信息，较显著地提升分割的准确率。常见注意力机制有局部空间注意力、渠道注意力和混合注意力。Bi-parvaM等9 提出一个网络（ST-NET),将原始图像的信息从一个空间转换为另一个空间并保留关键信息。Oktay等10 提出了注意U-NET,注意力块输出一个门控信号，对不同空间位置的特征重要性加以控制。RoyAG等11 提出的SE-NET使用3个步骤在通道上实现注意力加权。首先是挤压操作，全局平均池在输人功能上执行以获取通道特征映射；第二个是激发操作，先对通道的数量进行压缩，然后将压缩后的通道特征重建回到通道数；最后，将Sigmoid函数生成0,1的特征权重映射乘以原始输人得到最终输出。Li大292息程都成报信第38 卷学学Xiang等12 提出SKNet,设置一组动态选择的卷积,分Split、Fu s e、Se l e c t 3个步骤进行操作。空间注意力可以看作是一种自适应的空间区域选择机制,而忽略了通道信息；而通道注意力直接汇总全局信息，同时忽略每个通道中的本地信息。因此，为将两种注意力机制的优势加以结合，FuJun等13 提出双注意力网络（D A Ne t），在主干网络上附加两种注意力模块，分别对空间维度和通道维度上的语义依赖关系进行建模，并对输出进行融合。上面提到的注意力机制都提高了最终分割性能,但改善图像分割性能最有效的是以渠道为中心的注意力机制。混合注意力机制可以同时利用空间和通道的优势。由于息肉图像背景复杂且息肉很容易受其他正常区域干扰，使编码器提取有效信息的能力有限；部分息肉图像类别分布不均衡，息肉区域像素在图像中比例较小，图像数据少，网络训练较困难，导致出现漏检，且分割精度不高等情况。针对以上问题，受U-Net模型、DDANet模型14、Residual模型和注意力模型的启发，本文提出一种改进的DHN（D u a l-H a r d-Ne t）网络的结直肠息肉分割算法。主要包括以下几个方面的内容：（1）基于DDANet网络架构,通过编解码的形式，在编码部分运用hardnet网络对特征进行有效的多尺度提取,并结合一个由两个并行解码器共享的单个编码器结构对多尺度特征加以充分利用和融合，解决了特征能力不够，数据量少等问题，(2)多支路形式，用不同尺寸大小卷积核的卷积层和空洞卷积层来提取具有不同感受野的特征，拓展网络特征提取的宽度，最后，用11的卷积来合并这些多尺度特征。（3）在解码网络结构和残差模块中嵌人注意力机制模块，捕获多尺度特征进行融合的同时，根据其特征之间的相关性分配相关的系数，对息肉区域加以重点关注，解决了息肉像素占比小，关注度不高，无区别等问题，提高了分割精度。1基于DHN网络的分割算法1.1算法框架本文提出的DHN（D u a l-H a r d-Ne t）结构如图1所示，网络主要包括3个部分：编码部分、解码部分、注意力机制和残差模块。在编码过程中，将训练图像输人到模型中，经过由hardnet网络和卷积层以及池化层组成的编码器结构，由卷积层分别输出4个不同尺度的特征图,再分别输入到解码器中；在解码过程中，上面第一个解码器充当分割网络，下面第二个解码器充当自动编码器网络。自动编码器网络有助于加强编码器网络中的特征图，被用作生成注意力图以便和第一个解码器的输出相乘，然后将结果输人到下一层的解码器中。在最终的输出中,预测图像与输入图像尺寸相同。在解码网络结构和残差模块中嵌人注意力机制模块，根据像素特征之间的相似关联性，关注有效信息，忽略无关信息。将多分支和残差模块嵌入在编解码网络及各个卷积层之中，提取多尺度特征信息，拓展网络宽度。此网络结构的特征为：采用并结合由两个并行解码器共享的单个编码器和多个并行解码器组成的编解码体系结构，编码器中采用的harnet网络是对Densenet的改进，在网络中减少shortcut,增加计算速度,弥补准确性的丢失,且能提取多尺度特征从而提高准确率;其中第一个解码器充当分割网络,第二个解码器充当自动编码器网络，第一个解码器将编码器输出的3个不同尺度的特征图加以充分利用，且使用注意图来改善特征图的语义表示，关注特征的重要部分，再与融合的特征图相乘,输人到下一个解码器。在下一个解码器中对编码器提取的浅层特征和上个解码器的输出重复进行同样的操作，产生新的注意力图和融合新的特征图,能够对重点区域加以再次筛选，最终和高分辨率特征图相乘,输出预测的分割mask 和重建的灰度图像。实验表明,这种结构对多尺度特征的提取和利用及多次注意力机制的运用，有助于提高整个网络的分割性能。AgBDecoderblock52SharedencoderOutputAgBDecoderGrayscaleblocka2imageRFBModulcIxIConv+SignidSkipconnerlion图1DHN算法网络框架1.2编码网络结构编码部分由主干网络HardNet15、卷积层和池化层组成,结构如图2 所示。主干网络是一个低内存占用率的CNN网络,其中hardblock是对Densenet网络中的denseblock进行改进，减少短连接shortcuts的连接数，增加了推理速度,还增加了主层的通道宽度16 293高瑜曼，等：基于Dual-Hard-Net网络的结直肠息肉分割算法第3期因为增加通道的宽度可以让每一层从不同方向、不同频率的纹理特征获取到更加丰富的特征,故可以恢复因为连接在修剪过程中下降的准确性，弥补准确率的丢失。用少量的11conv层来增加计算密度，从而增加运行速度，且达到了比较高的准确率。最后由conv11分别输出不同尺度的特征图，输入解码部分。HarDBlkx8InputImageEncoderconv1x1outputlMaxPooingConv3x3Stride-2HarDBIkx8cOnV3x3convlx1MaxPoolingStride-2HarDBlkx8Encoderconv1x1output2MaxPooingHarDBlkx8SkipconnectionEncoderconv1x1output3MaxPooingHarDBlkx8Encoderconv1x1output4图2改进的Hard-Net编码器模块1.3解码网络结构在解码器部分，借鉴双解码器注意网络（DDA-NET），它是一种可以进行自动息肉细分的深度学习体系结构。具体结构为：有4个decoder块,RGB图像输人到encoder块,将其编码成抽象的特征表示,然后下采样,编码的输出分别对称连到两个解码器中。第一个decodersl块（分割支路）（图3），有3个RFBmod-ule和一个聚合模块,RFB模块是先对不同尺度的特征进行提取，然后再聚合为一个特征输出。EncoderRFBoutput2MouduleDenseAggregationEncoderRFBoutput3MouduleEncoderRFBoutput4MouduleSkipConnection图3分割支路的解码模块第二个decodera2块（自动编码器支路）（图4），有44的反卷积,将其空间扩大两倍，然后用跳跃连接将编码网络的特征图堆叠到解码器中，跳跃连接增加特征代表性,能加快网络收敛。两个残差块在反向传播中学习到必要的特征。紧接着一个1x1卷积和sig激活函数来产生一个注意力图谱。然后这个图谱乘以第一个解码器(分割支路)的输出，整体的输出作为下个分割支路的解码器的输人,最后decoder块输出通过1x1卷积和sig 函数,第一个块输出分割掩码,第二个输出重建的灰度图。采用的改进解码部分的特点主要有两点：(1)由多个并列的对称结构的解码器组成,其中第一个解码器充当分割网络，将编码器输出的3个不同尺度的特征图加以充分利用，且使用注意图来改善特征图的语义表示，重点关注特征的重要部分。第二个解码器充当自动编码器网络。（2）注意力机制的引入使多尺度特征图在不同的区域有不同的权重系数,能够更精确地关注目标区域。inputSkipconnection