基于Transformer的血管内超声图像分割方法_李佳松.pdf

第 卷 第 期 年 月北京生物医学工程 .作者单位：首都医科大学附属北京安贞医院（北京）首都医科大学临床生物力学应用基础研究所北京市重点实验室（北京）通信作者：蔺嫦燕，教授，博士研究生导师。：.基于 的血管内超声图像分割方法李佳松 曹洪帅 舒丽霞 蔺嫦燕，摘 要 目的 提出一种基于 的血管内超声图像分割方法，以解决冠状动脉钙化病变血管内超声图像显影不完全导致的分割管腔、外弹力膜和钙化斑块精度不高的问题。方法 采用深度学习方法，在 结构的基础上用多分辨率卷积层提取不同大小类别特征，在特征编码模块与特征解码模块之间使用 联系上下文信息，同时分割管腔、外弹力膜和钙化斑块。最后以 个 血管内超声序列得到的 张训练集和 张测试集为例对上述方法进行训练和测试。结果 外弹力膜分割杰卡德系数（，）为.，豪斯多夫距离（，）为.；管腔分割 为.，为.；钙化斑块分割 为.，为.。结论 该方法能够提升血管内超声图像的分割精度，并且在钙化病变血管显影不完全时能够保持分割效果。关键词 血管内超声图像；深度学习；分割；钙化：.中图分类号.文献标志码 文章编号（）本文著录格式 李佳松，曹洪帅，舒丽霞，等 基于 的血管内超声图像分割方法北京生物医学工程，（）：，（）：，；，：（：.）【】，.，.；.，.；.，.【】；引言血管内超声（，）是冠状动脉粥样硬化的一种检查手段，通过超声探头在血管内以.速度自动回撤时记录血管以及血管外组织图像，判断斑块类型以及计算斑块负荷。由于斑块负荷 （外弹力膜面积管腔面积）（外弹力膜面积管腔面积），因此分割管腔和外弹力膜是使用血管内超声辅助医生诊疗的关键。但在临床实际操作过程中，当遇到大密度成分时，声波无法穿透，导致其后方无显影，该部分图像信息缺失。在冠状动脉钙化病变中，钙化密度大导致后方血管内超声图像显影不全，使外弹力膜分割更加困难。由于钙化病变在 岁人群中发病率高达，因此解决钙化后方无回声区域的图像分割问题对血管内超声影像辅助医生诊疗具有重要意义。目前，血管内超声图像分割方法分为传统方法和深度学习方法。年，等使用多分辨率和 方法分割管腔并提取轮廓，分割结果相似度为.，但耗时长。年，等依据管腔空间连续性特点，基于活动轮廓模型，使用前一帧图像作为后一帧图像的分割基准进行管腔轮廓分割，系数为.，存在无显影区域时 系数下降为.。传统算法存在耗时长的问题，临床应用前景不高，而深度学习方法能够解决这一问题。年，由 等提出的 形深度网络，在特征提取模块和解码模块之间加上跳跃连接层，既提取了图像特征又将底层特征与高层特征相结合保持边缘细腻度，十分适用于细腻的医学图像分割。年，等专门针对 图像分割提出，即以 为基本结构，在特征提取模块使用多尺度卷积层以分割管腔和外弹力膜，外弹力膜 系数.，但对于有未显影的图像，外弹力膜分割效果减弱到.。相对 于 以 上 卷 积 网 络 局 部 视 野 的 缺 陷，具 有 全 局 视 野 的 特 点。年，等提 出 分 类 模 型，首 次 将 应用到机器视觉领域。年，等提出 分割模型，将 编码模块与解码模块连接处的卷积层改为 层 编码模块，结合 细粒度分割以及 能捕捉全局上下文信息的特点，对 图像进行分割，取得 的效果。但 仅进行 次下采样，参数量大，对于数据量较小的血管内超声图像分割任务，难以适用，且使用传统 的单一尺寸卷积核，不能很好应对血管内超声图像不同类别之间具有固定大小差异的情况。针对以上问题，本文以 结构为基础，采用多分辨率卷积核提取不同大小特征，经过 次下采样后使用，以联系上下文信息，帮助在显影不完全 图像分割时保持血管类圆形的特点，同时减少参数量。本网络同时对血管内超声图像管腔、外弹力膜和钙化斑块进行分割，以帮助医生准确计算斑块负荷。血管内超声图像分割模型.数据集获取在首都医科大学附属北京安贞医院获取 个 检查视频，操作机器为 台 的 导管，由 名有经验的读片医生选取 帧包含钙化的 序列和 帧不包含钙化的 序列对管腔、血管和钙化进行标注。为保证 序列血管类型丰富，无钙化 序列中包含正常血管、纤维性斑块和脂质斑块。使用旋转法将数据集扩增至 张，随机将数据集分为训练集 张和测试集 张，其中包含钙化与不包含钙化的序列各占一半。.网络模型本网络（）使用 模型结构，具有 个特征提取模块和 个特征解码模块，对应的特征提取模块与特征解码模块之间有跳跃连接。输入图像为 的灰度图像，输入矩阵通过特征提取模块得到当前输出矩阵，记录当前输出矩阵，再将该当前输出矩阵通过下一个特征提取模块，以此类推。每个特征提取模块使输入矩阵的大小减半，通道加倍，具体的特征提取模块过程如下：将输入矩阵同时输入一个卷积核为、步长为 的卷积层和一个卷积核为、步长为 的卷积层，将两层卷积层输出相加后经过卷积核为、步长为 的卷积层进行特征下采样。第一个特征提取模块输出通道数为，最后一个特征提取模块中下采样层卷积核为，输出通道数为。通过 个上述特征提取模块得第 期 李佳松，等：基于 的血管内超声图像分割方法到图像特征。将图像特征展平，同时经过 个全连接层，分别得到三个矩阵并命名为、，将、输入 模块进行多头自注意力，在 模 块 中 对、三 个 矩 阵 做 矩 阵乘法：|（）式中：代表多头自注意力中头的数目，本实验中 为，经过 个 模块得到新特征。将新特征矩阵输入特征解码模块，首先经过一个卷积核为、步长为 的反卷积层，接着通过 个特征解码模块，其中每个特征解码模块为一个卷积核为、步长为 的反卷积层。最后一个特征解码模块输出通道数为类别数，输出图像分割结果。本网络中每一卷积层后使用 进行均一化和 激活函数。.网络训练使用 张训练集对 进行训练，输入 大小的灰度图像，同时分割背景、血管、管腔和钙化斑块。将 与、和 使用相同训练数据训练进行效果对比。以上所有网络，设置学习率为.，批大小（）为，训练 个。使用交叉熵损失函数（）计算图像分割结果损失。（，）（）（）（）（）（）式中：（）为金标准概率分布；（）为模型预测结果概率分布。神经 网 络 编 程 使 用 框 架，运 行 在 设备上，使用的 为 。.评价指标使用 张测试集对血管内超声图像分割模型效果进行评价。杰卡德系数（，）和豪斯多夫距离（，）是评价图像分割效果的常用指标。描述了预测结果和金标准之间的交集与并集之间的比。描述了分割结果轮廓与金标准轮廓之间的最大距离。（）（，）（）式中：为模型预测结果面积；为金标准面积；为模型预测结果边缘；为金标准边缘；（，）为点集 与 之间的距离。结果.分割模型性能比较在测试集中（表），本网络外弹力膜 为.，比 高，比 高；为.，比 和 的.和.优。本网络管腔 为.，比 和 高；结果为.，比 的.优，但比 的.差。本网络钙化斑块 为.，分别高于 和 和；为.，比 的.和.优。图 结构 北京生物医学工程 第 卷表 、和 的测试集分割性能 ，测试集外弹力膜管腔钙化 .（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）注：括号内数值为标准差。表 、和 的仅包含钙化测试集分割性能 ，测试集外弹力膜管腔钙化 .（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）.（.）图 为、和 部分分割结果，红色部分为外弹力膜结果，绿色部分为管腔结果，蓝色部分为钙化结果。其中，第一行为纤维化斑块，除 外三种网络都能达到较好的效果；第二行为脂质斑块，能达到较好的分割效果，而其余三种网络混淆斑块与管腔区域；第三行为小范围钙化斑块，和 管腔及外弹力膜分割效果均不如；最后一行为大范围钙化斑块，和 无法完整分割外弹力区域并错误分割钙化区域，但 依然具有较好的分割效果。.包含钙化测试集分割性能比较在包含钙化测试集中（表）本网络外弹力膜 为.，比 高，比 高；为.，比 和 的.和.优。本网络管腔 为.，比 高；结果为.，比 的.和 的.优。本网络钙化 为.，分别高于 和 和；为.，比 的.和.优。讨论本文以 作为基础结构，在图像特征编码模图 、和 的分割结果 ，块使用多分辨率卷积提取不同大小的特征，在特征提取模块与特征解码模块之间加上 层 编码联系上下文信息，从结果看出本网络有较其他网络更优的效果。在全部测试集上本网络的外弹力膜分割 比 高，比 高，效果差的原因可能是该网络在进行 次下采样之后就行 第 期 李佳松，等：基于 的血管内超声图像分割方法次 编码。该网络的参数量大，需要大量数据训练来寻求参数优解，本实验的数据量不足以训练，因此训练效果不佳。对于医学图像，常常无法获得很多的数据量，而本网络由于进行 次下采样后进行 次 操作，所需参数量较少，能够在小样本数据量就获得优异的分割效果。对比三种网络在测试集上的准确率（表）可以发现，多分类分割时，当不同类别之间具有固定的面积差异，使用多尺度卷积核进行特征提取比单一尺度具有更好的效果。在包含钙化测试集中（表），本网络比 外弹力膜分割效果好，比 效果好，证明本网络能够优化存在无回声区域图像中外弹力膜的分割效果。冠状动脉粥样硬化的斑块类型多样，能适用于每一种斑块是检验网络性能的一个方面。从本研究结果可以看出，对于纤维化斑块（图 第一行），斑块的表现与血管内膜和中膜图像上的表现形式相近，因此三种网络均能获得较好的结果；对于脂质斑块（图 第二行），其低密度成分与管腔内相似，和 在分割时由于卷积的局部视野因此不能很好地区分斑块成分和管腔成分导致分割效果不好，混淆脂质斑块区域与管腔区域，由于 沟通上下文信息，结合位置关系可以对管腔和斑块成分进行区分，获得好的分割结果；对于小弧度钙化斑块（图 第三行），由于未显影的血管区域较小，因此 和 尚可保持外弹力膜的分割轮廓，但分割效果不如 好；对于大弧度钙化斑块（图 最后一行），未显影的血管区域较大，其他网络已经不能保持外弹力膜的分割轮廓，并且误判钙化的分割区域。卷积的局部视野难以联系上下文特征学习到血管是类圆形的这一特征，因此在面对显影不完全的情况时，不能依照该特点进行血管轮廓的推理，而 中的 具有全局视野能联系上下文特征，学习到血管类圆形的特性后能够对未显影区域外弹力膜区域进行推理。通过以上分析可以得出，由于本网络采用 及多变率卷积核，具有联系上下文和提取不同尺度特征的能力，能够更好地应对存在钙化斑块未显影时外弹力膜、管腔和钙化的分割。但本网络也存在一定的问题，用于分割的数据量较少，使用更多数据进行训练时会有更好的结果。钙化病变的分割效果一直并不高，可能是由于钙化相对于图像整体来说面积占比小，其特征在下采样过程中丢失，在 跳跃连接处采用 全局注意力模块可能有助于解决这一问题。结论本研究提出 ，以 结构作为基底，使用多 分 辨 率 卷 积 层 提 取 不 同 大 小 特 征，采 用 联系图像上下文信息，用于分割血管内超声图像的外弹力膜、管腔和钙化斑块。实验结果显示本网络外弹力膜 为.，比其他网络性能优，尤其面对钙化病变存在血管显影不完全的情况下外弹力膜 为.，效果更优于其他网络。参考文献 ，：，（）：王伟民，霍勇，葛均波 冠状动脉钙化病变诊治中国专家共识（版）中国介入心脏病学杂志，（）：，：，：，：，：，：，：，：，：，：，：（下转第 页）北京生物医学工程 第 卷 ，（）：赵晓华，房瑞雪，荣建，等 基于生理信号的驾驶疲劳综合评价方法试验研究 北京工业大学学报，（）：，（）：，：，：于露，金龙哲，徐明伟，等 基于光电容积脉搏波的有限空间生理疲劳测量 工程科学学报，（）：，（）：赵小静，路海月，王梦悦，等 基于心率变异性的脑力疲劳检测 中国医学物理学杂志，（）：，（）：王大伟，贾荣丛，王划一 基于 的巴特沃斯滤波器设计 现代电子技术，（）：，（）：，孔令杰 脉搏图像与心电信号多信息同步采集及其应用研究兰州：兰州理工大学，：，杨琳，张松，杨益民，等 利用三次样条差值法抑制脉搏波基线漂移 北京生物医学工程，（）：