基于深度卷积神经网络的甲状腺超声图像良恶性结节识别方法研究.pdf

854 安徽医科大学学报 Acta Universitatis Medicinalis Anhui 2023 Ma y；58(5)网络出版时间：2023-04-21 11：07：24 网络出版地址:h t t ps：/k n s.c n k i.n et/k c ms/d et a il/34.1065.R.20230420.1341.024.h t ml基于深度卷积神经网络的甲状腺超声图像 良恶性结节识别方法研究姚文君,殷超然3,朱宏庆1,江健敏,庞小溪,孙怡宁$摘要目的探讨深度卷积神经网络在甲状腺结节超声图 像的自动检测和良恶性分类中应用价值。方法回顾性选 取1 012幅甲状腺结节的超声图像并对其进行标记，构建 YOLOv5网络模型，精准定位甲状腺结节所在位置并自动裁 减结节所在区域，同时构建Go o g LeNet网络模型对裁减后结 节的图像进行良恶性分类。结果在所采集的数据集中，目 标检测网络对甲状腺结节位置检测的平均精确度均值为 96.2%；分类网络对良恶性结节分类的敏感度为0.885，特异 度为0.822,准确度为0.866,AUC值为0.92,显著高于Al ex-Net 模型(AUC=0.81)、VGG 模型(AUC=0.86)和 Mo-bil eNet模型(AUC=0.76)。结论 深度卷积神经网络模型 对超声图像中的甲状腺良恶性结节具有较高的定位和识别 能力,有助于提高影像自动诊断的准确性。关键词甲状腺结节；超声图像；深度卷积神经网络;Y0L0v 5网络中图分类号 R816.6；R320.1140文献标志码A 文章编号1000-1492(2023)05-0854-05 d o i:10.19405/j.c n k i.issn l OOO-1492.2023.05.025近几十年来，甲状腺癌的发病率在全世界范围 内迅速上升，由于早期甲状腺癌治愈的可能性极 大，因此，对甲状腺良恶性结节的早期鉴别至关重 要。超声虽然被广泛应用于甲状腺结节的诊断 和随访，但视觉评估的图像耗时、主观性强,迫切需 要一种准确、高效、客观的辅助诊断方法。目前计算 机辅助诊断已有一定的研究基础，而卷积神经网2022-11-29 接收基金项目:安徽省自然科学基金(编号：2008085QH406)；安徽医科大 学第二附属医院临床研究培育计划(编号：2020LCYB05)；安徽省转化医学研究院科研基金(编号：2021zh y x-C45)作者单位:安徽医科大学第二附属医院1放射科、5核医学科，合肥 2306012中国科学院合肥物质研究院智能机械研究所，合肥 2300313安徽省第二人民医院超声科，合肥2300114安徽大学电子信息工程学院，合肥230601作者简介:姚文君，女,副主任医师；孙怡宁，男,研究员，博士生导师，责任作者:E-ma il:y n su n iim.a c.c n络的兴起使其表现出了更多的实用价值，如 Go o g LeNet常用于医学图像的分类。然而，超声 图像分辨率低、对比度低,识别难度较大，且目前大 部分利用手动分割，故诊断的精度和自动化水平有 待提高。基于此，该研究利用YOLOv 5神经网络的 深度学习方法，构建甲状腺结节区域卷积神经网络 检测模型，自动获取结节区域图像并利用Go o g LeNet 图像分类网络对结节进行良恶性分类,从而实现影 像全过程的自动化诊断，有效缩短阅片时间，规避主 观因素对诊断造成的影响,提高甲状腺结节的识别 和诊断水平,避免过度治疗带来的损伤。1材料与方法1.1病例资料回顾性选取安徽省第二人民医院 及安徽医科大学第二附属医院2019年6月一2022 年6月的甲状腺超声图像，共1 012例，其中男性 352例，女性660例。纳入标准:超声图像清晰。排 除标准:超声资料不完整；同时患有其他肿瘤疾病;桥本氏甲状腺炎;甲状腺弥漫性钙化性结节;伪影较 多影响图像质量。本研究经安徽医科大学第二附属 医院伦理委员会通过，免除知情同意书(批准号:YX2021-001)o超声仪器为GE S8、GE S9及迈瑞 R7T,采用712 MHz高频线阵探头。1.2甲状腺结节的分类与标注 由2名高年资影 像医师共同对结节范围进行定位标注,并进行良恶 性分类，再由1名副主任医师对上述结果进行判别 修正。良性分类标准为:TI-RADS 2级或有2次以 上随访无变化的3级结节、或确诊为良性的结节。恶性分类标准为:穿刺活检或手术后病理为恶性或 TI-RADS 4b以上的结节。最终建立甲状腺结节数 据集，共1 012个结节，其中703个标注为良性,309 个被标注为恶性。本研究将数据集按照8：2的比 例划分为训练集与测试集，其中数据集的分布情况 见表1。1.3数据预处理13.1数据筛选 数据集中含有1 012幅原始甲 状腺结节超声图像，由于不同制造商生产的各种安徽医科大学学报 Acta Universitatis Medicinalis Anhui 2023 Ma y；58(5)855表1数据集分布表（个）数据集良性结节 恶性结节合计训练集564247811测试集13962201合计7033091 012型号的超声波设备生成超声图像格式不尽相同,首 先将所有甲状腺超声图像转换为JP G格式。为了 确保数据集中原始图像具有较高质量,对所有甲状 腺图像进行筛选，去除含有严重伪影（如运动伪影、折射伪影等）或图像分辨率显著过低的低质量原始 图像。1.3.2 提取感兴趣区域（r eg io n o f in t er est,ROI）原始超声图像包含噪声信息（如超声设备的参数、原始图像的测量标尺等）通常分布在原始图像的外 围部分,本研究将原始图像外围包含噪声信息的部 分手动去除，并对图像进行对比度增强,以提升图像 质量,突出甲状腺结节特征,帮助网络更好检测结节 位置和判断结节良恶性。1.4模型建立1.4.1 甲状腺结节区域检测模型 首先采用 Y0L0v 5目标检测网络，构建适合甲状腺影响的甲 状腺结节区域检测模型。Y0L0v 5是单阶段目标检 测方法，其在模型训练以及推理时间上具有良好的 表现，并且已经成为了最为广泛应用的目标检测网 络之一。Y0L0v 5网络包含输入端、骨干网络、颈部 网络和输出端四部分，结构见图1。1.4.2 甲状腺结节良恶性分类模型 Go o g LeNet分 类网络提出了新的In c ept io n深度学习结构，可以有 效解决由于深度学习网络加深带来的梯度消失和梯 度爆炸等问题In c ept io n结构的提出还使网络更高 效的利用计算资源。而Go o g LeNet网络中含有9个 In c ept io n结构，通过In c ept io n结构的重复提取，能 够在一定计算资源下提取到图像中更深层的特征。在Go o g LeNet结构中,还含有两个辅助分类器用于 向前传导梯度，避免梯度的消失。Go o g LeNet网络 流程图见图2。1.4.3方法流程 首先将经过预处理的甲状腺结 节图像输入Y0L0v 5检测网络，输出甲状腺结节的 位置，然后自动从原图像中裁剪出甲状腺结节区域，并对该区域图像进行去噪及调整大小,得到甲状腺 结节图像，之后将图像送入Go o g LeNet分类网络得 到结节的分类结果。方法的总体流程见图3。输入端骨干网络In pu T1H1CBL1c$pi_i1COLCBLstspk a jtr.-C5J2_j!J IUpHirnpiai 5I I-卜CnncalHI1*:11CB4j jlLfpt*呷 1*颈部网络Ccinv图1 YOLOv5甲状腺结节检测网络流程图裁剪Go o g LeNet网络结构图2 GoogLeNet甲状腺结节图像分类网络流程图In c ept io n 结构辅助分类器结构 856 安徽医科大学学报 Acta Universitatis Medicinalis Anhui 2023 Ma y;58(5)恶性图3方法总体流程图1.5评价指标 在本研究中使用了目标检测网络 和分类网络。对于目标检测网络来说，常用的性能 评价指标为平均精确度均值(mea n a v er a g e pr ec isio n,mAP),即mAP的值越大其对应的目标检测模 型的定位与识别性能越高。平均精确度均值mAP 的定义公式如式(1)所示：(1)mAP=N其中,P(R)为检测结果的准确率与召回率曲线,N 为检测种类数。对于分类网络来说，本研究采用敏感度(sen sit iv it y,SENS)、特异度(spec if ic it y,SP EC)、准确度(a c c u r a c y,ACC)、k a ppa 系数、正确率(pr ec isio n,P REC)和曲线下面积(a r ea u n d er c u r v e,AUC)值衡 量分类网络性能。其中敏感度表示所有正例中被分 类正确的比例，特异性表示所有负例中被分类正确 的比例,准确度表示所有被分为正例中实际也为正 例的比例,正确率表示所有分对的样本占总体样本 的比例。计算公式如式(2)(6)所示：TPsens=tpTfnTN spec=tnTfp(4)ACC=_丫卩+丫“_(丿 TP+FP+FN+TNTpPREC二丽帀(6)KAPPA=警 丁e其中,TP和TN分别表示被分类网络正确诊断 的良性和恶性结节数,FP和FN分别表示被分类网 络错误诊断的良性和恶性结节数。P e为偶然一致 性误差。此夕卜，通过受试者工作特征曲线(r ec eiv er o pera t in g c h a r a c t er ist ic,ROC)及AUC评估各算法的性 能。2结果2.1 甲状腺结节检测结果本研究采用了 YOLOv 5目标检测网络对甲状腺结节的位置进行检 测。首先,利用训练集对YOLOv 5模型进行训练，直 到损失函数收敛，然后利用训练后的模型在测试集 中检测甲状腺结节位置。结果表明，YOLOv 5检测 甲状腺结节mAP达到了 96.2%,YOLOv 5网络对甲 状腺结节的定位精度较高。训练后的模型在测试集 中部分检测结果示例见图4。2.2甲状腺结节的图像分类结果及一致性检验为了评估Go o g LeNet分类方法的性能,将其与ALex-Net、VGG和Mo bil eNet三种常见的分类方法进行对 比实验。对比实验均在本研究所构建的训练集上进 行训练、测试集上获得分类结果，各方法分类结果见 表2,结果表明，Go o g LeNet对甲状腺结节分类的正 确率达到了 0.918,高于其它几种方法。各分类网 络ROC曲线见图5。表2甲状腺结节分类结果对比标签敏感度特异度准确度正确率k a ppa系数AUC值Al ex Net0.8850.7740.8510.8980.6530.81VGG0.8920.7250.8410.8790.6240.86Mo bil eNet0.9420.5000.8050.8090.4910.76Go o g LeNet0.8850.8220.8660.9180.6930.923讨论甲状腺癌是内分泌系统最常见的恶性肿瘤之 一，发病率逐年上升。2018年甲状腺癌诊疗规范中 推荐所有触诊或机会性筛查等方式发现甲状腺结节 者均应行超声检查，从而增加了影像科医师工作强 度，缩减了每位患者的平均诊断时间，直接影响结果 的准确性,因此临床迫切需要一种高效、准确的方法 辅助影像医师提高工作效率及准确性。本研究利用安徽医科大学学报 Acta Universitatis Medicinalis Anhui 2023 Ma y;58(5)857*图4 YOLOv5部分检测结果红色矩形框为模型检测岀来的甲状腺结节位置，矩形上表示检测岀目标的置信度图5各网络对甲状腺结节分类的ROC曲线深度卷积神经网络对甲状腺超声图像中的结节进行 自动检测和良恶性分类,结果表明,结节位置检测的 mAP达到了 96.2%;同时对良恶性结节分类敏感度 为0.885,特异度为0.822,准确度为0.866,正确率 为 0.918,