基于不确定性引导和尺度一致性的肾肿瘤图像分割方法_侯冰震.pdf

基于不确定性引导和尺度一致性的肾肿瘤图像分割方法侯冰震 张桂梅 彭 昆摘 要 针对肾肿瘤图像分割中的边界模糊和特征丢失问题，在（）的基础上，提出基于不确定性引导和尺度一致性的肾肿瘤图像分割方法针对肾肿瘤图像边界模糊问题，在解码层引入不确定性引导模块，根据不确定性自适应分配权重，弱化错误像素点的影响，提高模型的边界定位能力针对下采样引起的特征丢失问题，提出尺度注意力模块和特征一致性损失，利用多尺度融合策略融合不同尺度特征，并与编码器底部特征进行尺度一致性约束，缓解特征丢失问题在公开数据集 上的肾脏和肾肿瘤的图像分割实验表明，文中方法提高肾肿瘤的分割精度此外，由于文中方法引入不确定性引导模块，分割结果具有较好的可靠性关键词 图像分割，不确定性引导，尺度一致性，注意力模块，肾肿瘤引用格式 侯冰震，张桂梅，彭 昆基于不确定性引导和尺度一致性的肾肿瘤图像分割方法模式识别与人工智能，（）：中图法分类号 ，（）：收稿日期：；录用日期：，；，本文责任编委 杨 健 国家自然科学基金项目（）资助 （）南昌航空大学 计算机视觉研究所 南昌 ，第 卷 第 期模式识别与人工智能 年 月 医学图像分割是医学图像自动分析的重要研究内容之一，旨在减轻医生负担、辅助医生诊疗传统的医学图像分割方法耗时、费力、不可重复，研究自动分割方法是解决上述问题的关键相比传统的机器学习算法，基于深度学习的方法无需人工引导，在实现自动分割的同时，分割精度也超越传统算法目前通用的医学图像分割算法也取得较好的分割效果 等提出，设计对称编解码结构，融合浅层特征与深层特征，有效利用浅层特征的位置信息，大幅提升医学图像的分割性能 等提出，在 的基础上融合不同层的特征，弥补跳跃连接时产生的语义鸿沟和信息丢失，在 、数据集上的分割效果较优此外，还采用剪枝方法，大幅减少模型参数量 等提出（），较好地缓解因网络过深而导致的梯度消失或梯度爆炸问题 等提出（），设计空间金字塔模块，聚合不同区域的上下文信息，提高网络获取全局信息的能力，在一定程度上缓解卷积过程中感受野受限的问题上述方法分别从融合特征、加深网络深度和增大感受野方面提升图像分割效果，但仍存在边界细节分割不理想、下采样导致的小目标丢失和引入过多冗余信息等问题针对上述问题，学者们将注意力机制和多尺度融合策略添加到通用网络中，缓解边界细节分割不理想及特征丢失的问题 等提出（），在跳跃连接中引入（），同时捕获高层的语义信息和低层的位置信息，并有效减少跳跃连接中的冗余信息 等提出（），聚合高级特征，生成特征指导图，基于特征指导图，并结合反向注意力模块，从低级特征中提取边界细节，在、等 个数据集上验证 的有效性 等提出，模块应用到婴儿脑部（）多模态图像分割中，提出基于 的 ，解决编码器无法整合全局信息的问题 等改进，提出，加入（）、（）及残差连接，实验表明 在 数据集上表现出较好的分割性能 等提出（），设计综合的注意力与多尺度融合策略，使网络同时关注通道、空间信息和尺度信息，从多个角度突出前景区域，在、数据集上的分割实验中取得较优结果 等提出（），实现多尺度上下文信息的多层次融合，在皮肤癌、视网膜条纹损伤等多个数据集上均取得较优的分割结果等提出 （），自适应地融合多尺度特征，较好地分割皮肤的病变区域上述方法趋向于对图像分割的通用性设计，对于肾肿瘤图像分割，近年来学者们也开展研究等提出，包括预处理、自动分割和后处理的操作，较完整地实现对肾肿瘤端到端的自动分割 等提出串联两个 模型的集成网络，分割肾肿瘤，从多个视角训练模型，在后处理阶段消除虚假预测并填补肿瘤预测中缺失的内部区域 等提出 （），利用多尺度特征提取器提取大小不同的目标，较好地实现肾肿瘤的小目标分割虽然上述各种基于深度学习的肿瘤分割方法取得一定成效，但是上述方法不能提供分割预测的可靠性信息，而医学图像分割属于高风险应用场景针对该问题，学者们提出将不确定性引入医学图像分割模型中不确定性计算的经典方法是使用蒙特卡洛 进行不确定性估计，具体操作是在训练时在每层卷积之前加入一个，在测试时打开 进行多次采样，获得互不相同的预测值，再计算某个样本的多次预测得分的方差和均值，其中方差作为神经网络预测图中不确定的区域，均值作为最终预测图 等提出对图像进行裁剪重组，利用数据增强，生成不同的预测图，计算方差，得到不确定性 等提出（），对解码器中的不同尺度进行预测，求其均值，对每层进行不确定性修正等用蒙特卡罗 抽样估计方法进行不确定性估计，并将不确定性估计应用到医学图像分割中在不确定性估计的指导下，计算不同模型间一致性损失时，过滤不可靠（不确定性高）的预测，保留可靠（不确定性低）的预测 等探索包括蒙特卡洛 在内的四种不同的不确定性估计方法，并将其应用到医学图像中，理论分析和实验结果均证明不确定性与分割错误正相关由于肾肿瘤的病变区域差异较大，对于形状较模式识别与人工智能（）第 卷小、边界不清晰的肿瘤图像分割，上述方法仍存在如下问题：）肿瘤细胞相对于器官占比较小，在分割时容易丢失；）肿瘤细胞边界模糊且与周围组织结构较接近，难以准确分割和定位；）深度学习类似黑箱模型，预测结果具有一定的不确定性，存在的不确定估计方法需要进行多次前向传播或使用额外监督的方法，计算资源消耗较大针对上述问题，本文设计基于不确定性引导和尺度一致性的肾肿瘤图像分割方法针对肾肿瘤细胞的边界模糊问题，引入不确定性引导模块（，），计算不确定性边界概率图，并将其作为权重嵌入特征图中，提高模型对肿瘤边界的定位能力和分割精度针对肿瘤组织占比较小及下采样导致的信息丢失问题，首先在编码器最后一层添加自注意力模块，获取全局信息在不同尺 度 的 解 码 层 使 用 尺 度 注 意 力 模 块（，）融合不同层的信息再对全局信息和融合信息施加一致性约束，进一步提升网络的分割性能提出不确定性估计方法，分离确定性区域和不确定性区域，赋予不确定性高的区域较小权重、不确定性低的区域较大权重，使目标的分割结果具有较高的可靠性基于不确定性引导和尺度一致性的肾肿瘤图像分割方法 网络结构本文提出基于不确定性引导和尺度一致性的肾肿瘤图像分割方法，结构如图 所示，主要在编码和解码阶段之间引入非局部通道注意力模块（，）、在解码阶段引入尺度注意力模块（）及不确定性引导模块（）用于提取全局语义信息，缓解卷积操作中感受野受限的问题 用于融合解码层不同尺度的信息，获得丰富的语义信息 用于引导网络对不确定边界进行学习，提高边界的定位精度，提升网络对边界细节分割的精度最后，全局信息与融合后的信息进行尺度一致性损失（，），进一步提升方法分割性能如图 所示，在网络左边输入肾脏图像，右边为分割后的预测图像本文方法是在 的基础上，添加两个模块和一个损失函数，而 是采用 型结构模型，编码器的骨干网络为 结构，解码器采用转置卷积的上采样结构本文采用在 上预训练好的 作为编码器的骨干网络，经下采样获得不同层的编码特征，在最后一层引入，获得全局特征 在网络结构图的右边为不同层的解码特征，其中 ，时，解码层包括及引入的，时，解码层只包括增强注意力模块图 本文方法结构图 以 作为示例，解码层的结构如图（）所示，时的结构与其相同（）包含不确定模块和增强注意力模块，（）为 时只包括增强注意力模块的部分将不同解码层的解码特征经 融合后的特征与解码器 相加生成预测图此外，对全局特征和经融合后的特征求损失，计算，进一步提高网络的分割性能（）（）图 不同时的解码层结构 非局部通道注意力模块在卷积操作中，卷积核的尺寸一般远小于特征图尺寸，导致感受野受限而无法提取全局信息，信息交互不够完善针对该问题，学者们提出多种增大感受野的方法，在一定程度上增大感受野，但仍无法提取全局特征受 等提出的非局部注第 期 侯冰震等：基于不确定性引导和尺度一致性的肾肿瘤图像分割方法意力的启发，利用自注意力方式，对自身信息进行全局交互，获得全局感受野，提取全局信息本文采用通道注意力和非局部注意力结合的方式 具体 结构如图 所示图 结构图 非局部注意力旨在解决卷积中感受野受限的问题，全局特征 （），其中，、均为经过 卷积映射的权重矩阵，为转置操作，为 卷积操作，（）为归一化函数操作由于深层次编码的特征维度较高，直接计算会产生较大资源消耗针对该问题，学者们通常采取先降低维度的方法进行自注意力计算，再通过 卷积计算恢复到原来维度由于在初始阶段采用降维操作会丢失重要特征，针对该问题，本文对特征进行通道注意力操作，为每层通道赋予不同权重同时将学习到的权重嵌入到非局部注意力中，缓解非局部注意力中由于降维引起的重要特征丢失问题 经 处理后的输出特征为：（），其中（）为通道注意力操作本文将 添加在编码器的最后一层的原因如下）在编码器阶段，采用 系列（如，等）作为编码器的骨干网络，为了利用 上的预训练模型，保留 的原有结构）由于 是以自注意力模型为基础，多次实验表明，如果在大尺度的特征图上使用，会消耗过大的算力，经过权衡，将 放入编码器最底端尺度注意力模块在解码阶段，将不同尺度的特征进行融合，目的是为了更好地利用不同尺度的特征信息和的融合操作是在编解码阶段的对应尺度的特征进行直接拼接或相加近年来也出现一些不同尺度的融合策略，将不同尺度的特征融合后添加注意力，使性能得到一定提升，但上述操作增加计算量并产生大量冗余信息针对该问题，本文提出尺度注意力模块（），结构如图所示，在聚合多尺度信息的同时，可减少冗余信息的产生图 结构图 整个过程分为两种不同的池化操作沿通道拼接后的特征为：（）（），其中，（）为通道间池化，（）为拼接操作，为特征数量索引沿水平方向拼接后的特征为：（）（），其中，（）为水平方向池化，（）为拼接操作，为特征数量索引为了恢复特征图尺寸与增大像素值，将拼接的特征矩阵与其自身矩阵的转置相乘，获得具有显著性目标区域的特征图最后将通道间池化融合后获得的特征权重分别赋予水平方向池化融合后得到的特征图，获得不同权重的特征图：（）（）（）（），其中，（）为求对角线矩阵，目的是为了突出每层特征相对的重要程度，取矩阵中相对最重要的对角线元素为通道权重，忽略其它的相对权重，最终得模式识别与人工智能（）第 卷到全局通道的相对权重本文的融合方法与以往直接特征拼接方法的区别在于：采用池化后再融合的方法可大幅减少计算资源，在背景复杂的医学图像上直接使用特征融合会降低分割性能，使用本文方法也可减少噪声和冗余信息对分割性能的干扰尺度一致性约束在解码阶段，由于降维使部分重要信息丢失，针对该问题，本文采用尺度一致性损失（）对高维的特征信息进行再次利用，可有效补充因降维丢失的部分信息具体为：将 融合后的特征 与经过 处理后的全局特征 进行一致性约束由于 与 的大小不同，为了便于一致性学习，将 进行尺度缩放至与 的尺寸相同，即（），（）其中，（）为缩放函数，为的特征尺寸，为通道数，为宽度，为高度为了突出神经元的重要性，本文采取绝对值求和的方法激活神经元，计算公式为（），（）其中，为特征图，为特征图的通道数，为通道索引经式（）处理后，进行尺度一致性学习：（，），（）其中，（），（），为压缩后的全局特征图，为压缩后的融合特征图，（，）分别为 和 的通道索引，为正则化函数，为 正则化函数不确定性引导模块本文方法针对肾肿瘤图像的分割展开研究，肾肿瘤图像分割的困难如下）由于肾肿瘤与周围组织的对比度差异较小，相对于皮肤、息肉，肾脏图像的边界更模糊，分割起来更困难；）由于下采样过程导致特征图尺寸减少、边界信息丢失，在上采样时，难以准确恢复边界信息针对该问题，本文引入不确定性引导模块（），引导边界分割，因为 可对边界信息进行像素级分类，降低因边界分割的不确定性而导致的边界误分割问题具体操作如下对解码阶段不同尺度肾肿瘤特征图使用 函数计算像素点的概率，在后续的卷积学习中根据像素点概率的高低，自适应地赋予特征图权重，减少像素的误分类，其中添加通道注意力与空间注意力使特征可自适应地聚焦目标区域的语义信息，经过 将得到的前景、背景及不确定边界的概率图拼接后嵌入下一层特征中，指导下一层特征边界的学习通过给不确定性小（