基于卷积神经网络的超声影像肝癌自动分类_李睿.pdf

Techniques and Methods技术与方法生物化学与生物物理进展Progress in Biochemistry and Biophysics2023，50（3）：基于卷积神经网络的超声影像肝癌自动分类*李睿1，2，3）许祥丛1，2，3）林静怡1，2）黄良汇1，2，3）曾亚光1，2）郑玮4）陈广义3）王雪花1，2）*韩定安1，2）*（1）佛山科学技术学院物理与光电工程学院，佛山 528225；2）佛山科学技术学院，粤港澳智能微纳光电技术联合实验室，佛山 528225；3）佛山科学技术学院机电工程与自动化学院，佛山 528225；4）中山大学肿瘤防治中心，广州 510062）摘要 目的针对从原发性肝癌中检测肝细胞癌（HCC）的灵敏度不高和诊断结果高度依赖放射科医生的专业性和临床经验，本文利用深度卷积神经网络（CNN）的方法自动学习B超和超声造影（CEUS）图像中的特征信息，并实现对肝癌的分类。方法建立并验证基于CNN的多个二维（2D）和三维（3D）分类模型，分别对116例患者（其中100例HCC和16例非HCC）的B超和CEUS影像进行定量分析，并对比分析各个模型的分类性能。结果实验结果表明，3D-CNN模型的各方面性能指标都优于2D-CNN模型，验证了3D-CNN模型能同时提取肿瘤区域的2D影像特征及血流时间动态变化特征，比2D-CNN模型更适用于HCC与非HCC分类。其中3D-CNN模型的AUC、准确率和敏感度值最高，分别达到了85%、85%和80%。此外，由于HCC和非HCC样本不均衡，通过扩充非HCC样本的数量可以提升网络的分类性能。结论本文提出的3D-CNN模型能够实现快速、准确的肝癌分类，有望应用于辅助临床医师诊断与治疗肝癌。关键词 深度学习，卷积神经网络，肝癌分类，超声影像中图分类号 TP391.4，TP183，R735.7DOI：10.16476/j.pibb.2022.0101原发性肝癌是目前世界上第5位常见恶性肿瘤及第3位肿瘤致死病因，严重威胁人们的生命和健康1。原发性肝癌依据发病机制、生物学行为、组织学形态、治疗方法以及预后等方面的差异，可主 要 分 为 肝 细 胞 癌（hepatocellular carcinoma，HCC）、肝内胆管癌（intrahepatic cholangiocarcinoma，ICC）和其他罕见型2，其中HCC占85%90%3。HCC恶性程度较低，通常采用经动脉化疗栓塞术（TACE）或微创消融的治疗方法，且预后效果较好。而ICC和HCC-ICC混合型恶性程度高，一般采用手术切除或肝移植的方式进行治疗，且预后效果差4。为了提高医生对肝癌患者诊断的准确率，临床上通常将原发性肝癌划分成 HCC 和非 HCC，其中非 HCC 包括 ICC、HCC-ICC混合型和其他罕见肿瘤。因此，从肝癌病灶中准确地筛选出HCC，对治疗肝癌患者具有重大临床意义。超声检查因操作简便、实时无创、移动便捷等特点，是临床上常用的肝脏影像学检查方法5。超声检查肝肿瘤的主要方式是 B 超与超声造影（CEUS）。在B超图像中，由于脂肪细胞以及坏死、纤维化和活性的生长组织相互交织，导致HCC在癌变后期通常会清晰地呈现出一个大小为35 cm的高回声、不均匀区域6。B超检查可早期、敏感地检出肝内占位性病变，鉴别其是囊性或实质性、良性或恶性，并观察肝内或腹腔内相关转移灶、肝内血管及胆管侵犯情况等5。在CEUS影像中，由于恶性肿瘤特有的密集而复杂的血管结构，HCC显得更加突出，通常在动脉期呈高强化，在门静脉期和延迟期表现为显著消退7。CEUS检查可呈现肝肿瘤的血流动力学变化8，帮助鉴别诊断不同性质肝肿瘤9，在评价肝癌的微血管灌注和引导介入治疗及介入治疗后即刻评估疗效方面具有优势10。然而，由于肿瘤的高度异质性，肝脏病灶 广东省重点领域研究与发展计划（2020B1111040001），国家自然科学基金（61805038，62075042，61705036，61771139）和粤港澳智能微纳光电技术联合实验室研究基金（2020B1212030010）资助项目。通讯联系人。王雪花 Tel：18718560259，E-mail：韩定安 Tel：15118799767，E-mail：收稿日期：2022-03-18，接受日期：2022-06-07李睿，等：基于卷积神经网络的超声影像肝癌自动分类2023；50（3）669 的形状、纹理、位置和血流变化在B超和CEUS影像中表现出复杂性和多样性11。放射科医生需依靠裸眼同时获取多维度的信息，并依据不同特征评估疾病，对专业性和临床经验要求较高。诊断结果依赖于个人主观因素，可能导致部分HCC混入非HCC类别，HCC的检测灵敏度不高11。因此，需发展计算机智能辅助诊断系统提高诊断和治疗肝癌的效率。深度卷积神经网络（CNN）模型可从大量输入数据中自动学习或提取多维的影像特征并实现目标任务12，能检测放射医师难以发现的深层成像特征，更好地辅助医生诊断疾病13。目前，多种CNN模型结构已被开发出来，在肝脏医学影像的应用领域已取得了显著成果14-19。例如，Lee等20在 B 超图像上使用预训练的超分辨率测试序列（VGG）模型对肝纤维化进行分级，该模型的AUC（接收者操作特征曲线下的面积）值达到0.857，明显高于5位放射科医生。Jin等13在2D剪切波弹性成像和B超图像上对慢性乙型肝炎患者是否会发展成HCC患者进行预测，AUC达到0.9，高于常规的肝硬化测量和其他临床预后评分，具有高准确性、有效性和可操作性。Mitrea等6使用ResNet、DenseNet和VGGNet等模型将B超和CEUS影像的特征融合应用于自动检测HCC，其AUC值高于单独使用B超或CEUS图像，使模型能够区分HCC与演变后的肝硬化实质。由于上述方案基于 2D-CNN模型只利用了2D图像上的信息，忽略了针对HCC诊断重要的血流动态变化特征。因此，将 3D-CNN 模型用于定量分析 CEUS 视频来预测HCC患者对经第一次TACE治疗后的个性化反应，其AUC值达到0.93，高于常规的HAP评分系统1。本 文 基 于 深 度 学 习 的 方 法，分 别 建 立 多 个 2D-（VGG、ResNet、DenseNet）和 3D-（3D-CNN、Res3D、Dense3D）CNN 模型用于定量分析 B 超和CEUS影像数据集，从而实现对肝癌病例中HCC与非HCC的自动分类，并对比分析各模型的性能。1数据和方法1.1患者和图像数据1.1.1患者本次研究的数据来自中山大学附属肿瘤医院，机构审查委员会在该医院审查并批准了这项回顾性研究。数据纳入了20042016年间在该医院接受超声检查的患者，并排除部分数据以获得性能优异的模型。数据纳入标准如下：a.年龄大于 18 岁；b.有B超图像和CEUS影像；c.诊断信息保存完整。排除标准如下：a.影片晃动幅度太大；b.肿瘤位置难以确定；c.视频采样的图片质量差；d.阴影遮住肿瘤；e.肿瘤越出视频边界；f.视频数据远远不足30帧；g.不能提供完整B超图像和CEUS影像。最后，回顾分析这些患者的临床诊断、B超图像以及CUES影像检查结果，以病理检查作为金标准，从292例肝癌患者中，筛选出116例作为本次实验的数据集，其中100例为HCC患者，16例为非HCC患者。1.1.2B超图像采集B 超检查采用 Acuson Sequoia 512（Siemens，Mountain View，CA，USA）进行，探头为4C1电子宽角度凸阵探头，机械指数为0.19，动态范围固定在80 dB。该仪器能够显示肝脏内转移性占位性病变的复合回声，存储为JPG格式图像。所有B超图像由经验丰富的放射科医生独立审查。1.1.3B超数据集制作B超图像预处理流程如图1所示，从每位患者的B超图像中挑选出一张肿瘤最清晰的图像。为了避免模型过多地提取正常组织的特征而降低其性能，只选取肿瘤感兴趣区域。某些B超图像上含有仪器参数等信息，利用Matlab图像处理的方式去除。将图像统一调整为 112112 像素便于模型训练。1.1.4B超图像数据扩充HCC占原发性肝癌的85%90%（本数据集中100例为HCC，16例为非HCC），不平衡的数据会导致模型性能急剧下降，以致无法对肝癌进行有效分类。因此，需扩充非HCC数据，使数据达到相对的均衡。从每例非HCC患者的B超图像中再挑选出5张作为扩充后的数据，总计可获得96例非HCC数据。扩充后的非HCC和HCC样本达到同一Fig.1The preprocessing of B-ultrasound image 670 2023；50（3）生物化学与生物物理进展 Prog.Biochem.Biophys.个数量级，按712的比例分为训练集、验证集和测试集。1.1.5CEUS影像采集B超检查可以得出病灶的数量、大小、位置和回声，在注射造影剂之前可微调超声仪器的采集位置，以确保在CUES影像中可较清晰地观察到肝结节血流的动态变化。将 2.0 ml Sonovue（Bracco，意大利）造影剂注射至肘前静脉，连续扫描肝脏病变长达4 min21。在1 min以内，CEUS影像以视频的格式储存，1 min后，由于肝癌的血流消退变化缓慢，每隔 30 s 以图像的格式进行存储。所有CEUS 影像均经过经验丰富的放射科医生独立审查。1.1.6CEUS数据集制作CEUS影像中血流的消退程度是区分HCC和非HCC一个重要的临床标准11。为了使3D-CNN模型能够学习到肿瘤区域血流从出现到消失这一变化过程的信息，将CEUS影像重新制作成视频数据。制作流程如图2所示，对于以视频格式储存的数据，开始出现肿瘤回声时存储为第一帧图像，以 1帧/2 s的频率对视频进行采样，一般收集25帧，对于60 s后的图片格式数据，以1帧/30 s的频率抽样，一般收集5帧，每例患者共选取30帧图像制成视频。此外，为了避免过多正常组织干扰网络的性能，提取肿瘤感兴趣区域的图像，并统一调整尺寸为6464像素。1.1.7CEUS影像数据扩充非HCC病例的CEUS视频也需要扩充，跟据每例非HCC的视频依次选取前1 s和后1 s的图像制作成新的视频，16 例非 HCC 的视频扩充到 48例，再进行水平翻转，共得到96例非HCC视频。其中，扩充图像中肿瘤感兴趣区域（region of interest，ROI）的提取以原ROI作为参考：若肿瘤超出原ROI边界，微调选取的区域；若不包含明确的肿瘤位置，则用前一帧或者其他帧代替，以确保采样的图像中均包含肿瘤信息。HCC和非HCC视频按相同的比例分为训练集、验证集和测试集用于训练3D-CNN模型。1.2卷积神经网络模型（CNN）1.2.1建立预测HCC模型本次实验采用多个CNN模型对B超和CEUS图 像 进 行 预 测，包 括 VGG22、ResNet23和DenseNet243 种 2D 模 型，以 及 3D-CNN25-26、Res3D27和 Dense3D283 种 3D 模 型。其 中，VGG模型作为一个经典的分类网络，可以从B超图像中提取肿瘤尺寸、位置、纹理等空间特征信息，并实现分类。本文建立的VGG模型由输入层、隐藏层和输出层构成（图3），输入为1121123的B超图像。隐藏层由4组卷积层以及4个最大池化层组成，每组卷积层包含两个33的卷积层，最大池化层在每组卷积层之后，其步长为2，核大小为2。在池化操作后，卷积层的输出特征通道数提高到原来的2倍，输出层先通过全连接层叠加各个尺度下的特征图，再经过压平层降低全连接层的维度，最后通过Softmax激活函数对图像进行分类。ResNet和DenseNet模型是在VGG基础上通过短路机制分别加入残差模块和建立前面所有层与后面层的密集连接而成。3D-CNN模型结构（图4）不仅可以提取2D空间信息，还可以通过时间维度上的卷积来捕捉图像帧与帧之间的相关性。本文建立的3D-CNN模型以CEUS视频作为输入，首先经过内核尺寸为333的3D卷积层，接着是333的