融合Transfomer和...行注意的结直肠息肉分割算法_梁礼明.pdf

2023 年 无线电工程 第 53 卷 第 1 期209doi:103969/jissn10033106202301027引用格式:梁礼明，何安军，阳渊，等融合 Transfomer 和多尺度并行注意的结直肠息肉分割算法 J 无线电工程，2023，53(1):209219 LIANG Liming，HE Anjun，YANG Yuan，et alAn Algorithm for Colorectal Polyp Segmentation Fusing Transformer andMultiscale Parallel Attention J adio Engineering，2023，53(1):209219融合 Transfomer 和多尺度并行注意的结直肠息肉分割算法梁礼明，何安军，阳渊，朱晨锟(江西理工大学 电气工程与自动化学院，江西 赣州 341000)摘要:针对结直肠息肉图像中病灶区域尺度变化大、形状不规则和边界不清晰等复杂特点导致息肉分割精度低、分割边界存在伪影的问题，提出了一种融合 Transfomer 和多尺度并行注意网络(Fusion of Transfomer and Multiscale ParallelAttention Networks，FTMPA-Net)的结直肠息肉分割算法。选用 HarDNet 逐层提取语义信息和空间细节，采用多尺度感受场模块(Multiscale eceptive Field Block，FB)捕获不同感受野下的特征信息，串入高效通道注意力机制提取空间、通道特征的相关性信息，以抑制背景颜色的响应;通过并行解码模块逐层聚合由高效通道注意力机制得到的增强特征图，并生成初始预测分割图用于后续深层监督;提出高效多头注意力机制(Efficient Multi-Head Self-Attention Module，EMHSA)来进一步细化边缘信息，构建区域与边界之间的联系，以提高其分割性能。在 CVC-ClinicDB 数据集和 Kvasir-SEG 数据集上对该算法进行测试，平均相似性系数分别为 95.58%和 92.34%，平均交并比分别为 91.70%和 86.77%。实验结果表明，FTMPA-Net 能明显提高分割精度，减少分割边界伪影，无论是从客观的指标上还是从视觉效果上，该算法的整体性能均优于现有算法。关键词:结直肠分割;并行解码;多头注意力;细化边缘信息中图分类号:TP3914文献标志码:A开放科学(资源服务)标识码(OSID):文 章 编 号:10033106(2023)01020911An Algorithm for Colorectal Polyp Segmentation Fusing Transformer andMultiscale Parallel AttentionLIANG Liming，HE Anjun，YANG Yuan，ZHU Chenkun(School of Electrical Engineering and Automation，Jiangxi University of Science and Technology，Ganzhou 341000，China)Abstract:The complex features of colorectal polyp image，such as large regional scale variation，irregular shape and unclearboundary of lesion areas，lead to low precision of polyp segmentation and boundary artifacts This paper proposes an algorithm forcolorectal polyp segmentation that fuses Transfomer and Multiscale Parallel Attention Network(FTMPA-Net)First，the HarDNet isselected to extract semantic information and spatial details layer by layer Then the multi-scale receptive field block is adopted tocapture feature information under different receptive fields，and an efficient channel attention mechanism is incorporated to extractinformation of spatial and channel features to suppress the interference of background color The enhanced feature map resulting fromthe efficient channel attention mechanism is then aggregated layer by layer by a parallel decoder and an initial predictive segmentationmap is generated for subsequent deep supervision Finally an efficient multi-hea attention mechanism is proposed to further refine edgeinformation and construct connections between regions and boundaries to improve segmentation performance The algorithm is tested onthe CVC-ClinicDB dataset and the Kvasir-SEG dataset with MDice of 9558%and 9234%，and MIoU of 9170%and 8677%，respectively Experimental results show that FTMPA-Net can significantly improve segmentation accuracy and reduce segmentationboundary artifacts，and the overall performance of the proposed algorithm is superior to the existing algorithm in both objectiveindicators and visual effectsKeywords:colorectal segmentation;parallel decoding;multi-head attention;refining edge information收稿日期:20220926基金项目:国家自然科学基金(51365017，61463018);江西省自然科学基金面上项目(20192BAB205084);江西省教育厅科学技术研究重点项目(GJJ170491)Foundation Item:National Natural Science Foundation of China(51365017，61463018);Jiangxi General Program of Natural Science Foundation of China(20192BAB205084);Key Science and Technology esearch Project of Jiangxi Provincial Depatment of Education(GJJ170491)工程与应用2102023 adio Engineering Vol.53 No.10引言在各种癌症中，结直肠癌是最常见的恶性肿瘤之一，其发病率和死亡率均位于世界前三1。最新发布的数据显示，2020 年世界结直肠癌新发病数约为 193 万，占全部恶性肿瘤的 10%，且晚期结直肠癌死亡率高达 90%1。因此，定期通过结肠镜筛查结肠是预防结直肠癌的有效方法。尽管结肠镜检查被认为是结直肠癌筛查的金标准，但这项检查很大程度取决于内镜医生的工作经验和个人能力，导致息肉检查的漏检率高达 14%30%2。因此，在临床环境下设计一种自动准确分割的结直肠息肉算法变得十分重要。传统的息肉分割方法主要是通过提取颜色、纹理和形状等特征，然后使用分类器来区分息肉和其周围环境。如 Gupta 等3 采用一种基于边缘算法，通过检测不同区域的像素值或梯度变化显著的区域，从而分割出目标区域。Vala 等4 提出了一种基于阈值的算法，利用图像灰度值计算一个或多个阈值，并通过比较图像的灰度值与所得阈值，进而从背景中分割出目标区域。然而息肉与周围粘膜之间对比度低，且息肉在大小、颜色和形状上各异，导致传统分割方法分割性能低、泛化性能差、漏检率很高。近年来，随着深度学习在计算机视觉领域的不断发展，已经被证明明显优于传统机器学习分割方法。比如，Brandao 等5 首先使用全卷积网络(FullyConvolution Network，FCN)和预训练的 VGG6 模型在结肠镜图像中识别和分割息肉，实现了端到端的逐像素分割。Zhou 等7 在原 U-Net8 的基础上添加了一系列嵌套的密集跳跃路径，形成了一个具有深度监督密集连接的编码器解码器网络 U-Net+。Jha 等9 提出了 esUNet+，以 esNet10 作为骨干网络，结合残差块、空洞空间金字塔池化和注意力模块，对息肉分割的部分区域具有很高的准确率，但对边界处理还存在模糊和缺失等问题。Fan等11 提出了 PraNet，使用一个并行解码器来聚合高级特征，然后使用一个反向注意模块来建立区域和边界之间的关系，从而纠正一些错误位置的边界预测。Nguyen 等12 提出了 CCBANet 利用级联上下文模块来提取局部和全局特征，并提出平衡注意模块来增加对前景、背景和边界区域的注意。尽管上述方法与传统方法相比，息肉分割性能有了较大的提升，但仍然存在一些问题，例如息肉与周围粘膜之间对比度较低的区域分割精度低、分割边界存在伪影、分割图像内部不连续以及错分割和分割不足等问题。为了解决上述问题，实现更高的边界分割精度，本文提出了一种融合 Transfomer 和多尺度并行注意网络(Fusion of Transfomer and Multiscale Parallel At-tention Networks，FTMPA-Net)的结直肠息肉分割算法，主要包括以下几点工作:在跳跃连接处引入多尺度感受场模块(Multiscale eceptive Field Block，FB)和高效通道注意力机制，以重新加权编码器的特征，增强分割任务的关键特征，同时抑制背景颜色的响应;在译码部分采用并行解码模块来聚合不同尺度的特征，有效地将上下文信息进行高效融合;提出了一种新的高效多头注意力机制(EfficientMulti-Head Self-Attention Module，EMHSA)，将经过不同模块的深层特征、浅层特征和全局上下文特征相融合，减少各特征之间的语义鸿沟，细化边缘信息，构建局部与全局的联系，提升分割精度。1息肉图像基本分割框架11FTMPA-Net 网络结构由于息肉在形状、大小和位置上有很大的差异性(类内不一致)以及在运动模糊和光反射等条件下，息肉和周围背景具有高度的相似性(类间不一致)，为了克服类内不一致和类间不一致，本文以改进的密集网络(HarDNet)作为基本主干，提出了 FTMPA-Net，其主要结构包括改进