基于结构重参数化与多尺度深...-19胸部CT图像自动分割_刘金平.pdf

第 5 期2023 年5 月电子学报ACTA ELECTRONICA SINICAVol.51 No.5May 2023基于结构重参数化与多尺度深度监督的COVID-19胸部CT图像自动分割刘金平，吴娟娟，张荣，徐鹏飞（湖南师范大学信息科学与工程学院，湖南长沙 410006）摘要：基于深度学习模型的胸部CT（Computed Tomography）图像自动分割有助于辅助医生诊疗.但随着网络宽度与深度的加深，网络训练困难且推理减慢.为提高隐藏层的学习能力，深度监督机制被用于网络训练.但以往的深度监督方法没有考虑模型中多尺度特征图的分层表示以及上采样对参与损失计算的特征图质量的影响.为加强隐藏层学习过程的直接性同时加快网络推理，本文提出一种结构重参数化与多尺度深度监督分割网络（Structural Reparameterization and Multi-scale Deep Supervision Network，SR&MDS-Net），以实现 COVID-19（COrona VIrus Disease 2019）胸部 CT 图像的高效准确分割.首先构建一种结构重参数化特征变异（Structure Reparameterized Featurev ariation，SRFV）模块将网络的训练与推理进行解耦，在提高模型表达能力的同时加快推理速度；然后，提出一种新颖的多尺度深度监督机制，以加强网络监督效果，提高网络性能.在公开的COVID-19胸部CT图像数据集上进行实验，SR&MDS-Net的灵敏度、特异性、准确率、Dice分别达到了91.5%、99.5%、72.8%、80.1%，与同类其他方法比较，具有更优的性能.关键词：COVID-19；医学图像分割；深度学习；U-Net；结构重参数化；深度监督学习基金项目：国家自然科学基金（No.61971188）中图分类号：TP391.41文献标识码：A文章编号：0372-2112(2023)05-1163-09电子学报URL:http:/DOI:10.12263/DZXB.20220368Toward Automated Segmentation of COVID19 Chest CT Images Based on Structural Reparameterization and Multi-Scale Deep SupervisionLIU Jin-ping，WU Juan-juan，ZHANG Rong，XU Peng-fei（College of Information Science and Engineering，Hunan Normal University，Changsha，Hunan 410081，China）Abstract:Automatic segmentation of chest CT(Computed Tomography)images based on deep learning models is helpful to assist doctors in diagnosis and treatment.However,with the deepening of the network width and depth,the network training is difficult and the inference slows down.In order to improve the learning ability of the hidden layer,the deep supervision mechanism is used in network training.However,previous deep supervision methods did not considerthe layered representation of multi-scale feature maps in the segmentation model and the influence of upsampling on the quality of feature maps involved in loss calculation.In order to improve the directness of the hidden layer learning process and speed up the reasoning.This article proposes a structural reparameterization and multi-scale deep supervision network(SR&MDS-Net)for the purpose of achieving the efficient and accurate segmentation results of lesions in COVID-19(COrona VIrus Disease 2019)pneumonia chest CT images.Structure reparameterized featurev ariation(SRFV)module was constructed to decoupage the network training and reasoning,which improved the model expression ability and accelerated the reasoning speed.In order to strengthen the effect of network supervision and improve the performance of network,a novel multi-scale deep supervision mechanism is proposed.The experiment was carried out on the public COVID-19 pneumonia chest CT image dataset.The sensitivity,specificity,accuracy,and Dice of SR&MDS-Net reached 91.5%,99.5%,72.8%,and 80.1%,respectively,which had better performance compared with other similar methods.Key words:COVID-19;medicalimage segmentation;deep learning;U-Net;structure reparameterization;deep supervised learningFoundation Item(s):National Natural Science Foundation of China(No.61971188)收稿日期：2022-04-07；修回日期：2022-11-22；责任编辑：覃怀银电子学报2023 年1引言目前，准确的COVID-19（COrona VIrus Disease 2019）胸部CT（Computed Tomography）病灶分割是帮助医生节省读片时间、疾病分级与预后的重要手段1.纯人工手动胸部CT病灶分割依赖医生的临床经验，具有高强度、耗时长的特点，无法满足高效、准确对COVID-19肺部感染的检出和评估等实际需求，因而COVID-19胸部CT病灶区域的自动分割在临床实践中变得至关重要2.与自然图像相比，COVID-19病灶边界模糊、对比度低，给 COVID-19 病灶区域自动分割带来一系列问题.为实现COVID-19胸部CT图像病灶的准确自动分割，基于深度学习的分割方法受到国内外学者的广泛重视38.Unet采用端对端的体系结构，通过跳跃连接来融合多尺度信息，是目前医学图像分割领域中最流行的卷积神经网络之一3.为对COVID-19病灶进行有效分割，科研人员研究各种Unet变体网络46.此类变体网络通过编码端逐渐进行下采样提取目标特征，解码端不断进行上采样恢复图像尺寸，并采用跳跃连接来弥补下采样期间的信息丢失.此外，为进一步提高复杂病灶分割精度，残差连接被引入Unet变体中7，8.残差连接的引入能改善权重矩阵退化，提高网络性能，但随着模型层数加深，网络难以训练.同时网络的训练与推理结构高度内聚，减慢网络推理.为提高隐藏层学习过程的直接性，深度监督机制被用于训练网络，来加快网络收敛速度.目前的深度监督机制对每个监督层进行不同倍率上采样至原始尺寸然后与标签进行损失计算，最后表明在增加深度监督层时可提高分割性能911.但是，图像细节信息的有效获取对于医学图像极为重要，而采用不同倍率进行上采样易造成图像细节信息的侵蚀，最终影响分割准确性12.目前的深度监督机制既没有考虑上采样过程中噪声引入对参与损失计算的特征图的影响，也没有考虑特征图的分层表示.为提高网络性能且加快推理速度，本文提出一种新的基于结构重参数化与多尺度深度监督分割方法（Structural Reparameterization and Multi-scale Deep Supervis-ion Network，SR&MDS-Net）来实现 COVID-19病灶的准确分割.其中结构重参数化特征变异（Structure Reparameterized Feather Variation，SRFV）模块使模型成为更多较浅模型的隐式集合13，提高模型性能的同时加快网络推理速度.多尺度深度监督机制有效迭代优化模型，加强监督效果并均衡不同样本收敛速度.2本文方法2.1SR&MDS-NetSR&MDS-Net以编解码结构的Unet为骨干，模型结构如图1所示.编码器通过SRFV模块、修正线性单元和下采样对图像进行编码，提取表征信息；解码端由上采样、SRFV模块、修正线性单元组成，提取高层语义信息；引入跳跃连接来实现信息互补，辅助解码端上采样信息尺寸的恢复.SRFV模块在训练时为多分支拓扑结构，提高模型特征表达能力，推理时转换为单路结构，以加快网络推理速度.在此基础上，进一步引入协调注意力（Coordinate Attention，CA）机制14对可变异分支提取的特征进行水平和垂直方向分解，以综合通道和位置方向维度最具信息量的特征用于COVID-19胸部CT图像病灶分割.这是因为医学图像的通道信息与位置信息对背景复杂、对比度低的医学图像分割具有重要作用.不同通道映射图贡献度有差异，且每个通道的不同空间位置对目标特征的贡献率也不同.此外，为加强网络隐藏层的表征能力，采用多尺度深度监督机制用于学习不同尺度层次表示.对解码端中间层得到的特征信息直接与多尺度标签进行深度监督，在学习多尺度特征图层次表示的过程中，避免解码端中间层特征图不同倍率上采样对参与损失计算的特征图的侵染；同时引入动态权重因子，以缓解上采样过程噪声的影响及防止插值后特征图直接融合可能产生的混叠效应，从而起到增强最后层特征图的语义信息，进一步加强监督效果的目的.SRFV SRFV 11 卷积输出跳跃连接 最大池化修正线性单元上采样+拼接输入模块模块 图1SR&MDS-Net网络结构图1164第 5 期刘金平:基于结构重参数化与多尺度深度监督的COVID-19胸部CT图像自动分割2.2结构重参数化特征变异模块结构重参数化指训练时将重参数化结构组合到网络中，提高模型表达能力，推理时通过重参数化技巧将复杂结构进行整合，从而提高运算速度.比如，文献15 在普通卷积层中加入额外的深度卷积，不仅加速网络训练，还在多种计算机视觉任务中取得更好效果.非对称卷积块16采用三个并行的dd、1d、d1核代替原来的dd核，通过一维非对称卷积核来增强方形卷积核，可有效提高准确率.利用增强后的卷积核参数对原始模型进行初始化并部署，在提高模