面向AS-OCT的两阶段巩膜突自动定位算法_张汝雪.pdf

西北大学学报（自然科学版）年 月，第 卷第 期，（）收稿日期：基金项目：国家自然科学基金重大科研仪器研制项目（）；陕西省重点研发计划一般项目（）第一作者：张汝雪，女，河南郑州人，从事机器学习算法及其应用研究，。通信作者：张敏，女，陕西礼泉人，副教授，从事计算机辅助诊断和医学影像分析研究，。医疗与人工智能面向 的两阶段巩膜突自动定位算法张汝雪，张 敏，付子蔚，何 媛（西北大学 数学学院，陕西 西安；西安医学院 第二附属医院，陕西 西安）摘要 随着青光眼等前节疾病发病率的增加，眼前节图像的分析受到越来越多的关注。其中，巩膜突（，）的精确定位对眼前节结构参数的测量和临床诊断具有重要意义。面向眼前节光学相干断层扫描图像提出了一种由“粗”到“细”的两阶段巩膜突自动定位网络。首先，通过一个 区域检测网络来识别以巩膜突为中心的 区域，在骨干网络中加入 模块，提升了网络的特征提取能力。然后使用轻量级网络 作为微调修正网络进一步提取 图像细节特征，基于热图回归得到更加精确的巩膜突位置。最后通过在两个数据集进行验证，分别将巩膜突定位平均误差降至 和 。实验证明该方法优于现有其他基于深度学习的方法，具有良好的定位效果。关键词 巩膜突定位；眼前节光学相干断层扫描；深度卷积网络中图分类号：，（，；，），（），；近年来，越来越多的人意识到眼部健康的重要性，定期进行眼部健康的检查变得尤为重要。眼部检查的方法，包括房角镜，超声生物显微镜（），眼前节相干光断层扫描（）等。其中 是一种基于不同组织有不同光学散射性的特性，应用光干涉法进行眼前节成像和定量分析的新技术，因其具有快速、非接触性等优点在临床中得到了广泛应用，但对于 图像自动化分析的相关研究较少。图像分析的一个重要内容是对眼前节结构性参数的定量分析，如前房深度（，），前房宽度（，），晶状体拱高（，）等，其中一些参数是闭角疾病的危险因素，如原发性闭角型青光眼（）等。大多数眼前节结构性参数的测量与巩膜突自动定位密切相关。例如，前房宽度指两巩膜突间距离，前房深度指角膜下表面到晶状体前表面间的距离，该距离在测量时需要先找到两巩膜突连线的中垂线。此外，房角参数的测量更是离不开巩膜突，如房角开放距离是以巩膜突为圆心的圆与角膜内表面和虹膜交点间的距离。由此可知，巩膜突的自动定位精度直接影响了房角参数测量精度。故巩膜突的定位对眼前节结构性参数的测量具有重要意义。巩膜突是角膜与巩膜连接处的一个微小突起，从图 中可以看出，巩膜突的位置相对隐蔽，形状特征不明显，即使在房角开放状态下也难以精准定位。当房角处于关闭状态时，虹膜与巩膜紧密贴合，巩膜突更加难以分辨。因此在临床上巩膜突的定位仍然依赖于人工评分员手动识别和标记，之后通过测量眼前节结构性参数的值来量化前房角状态。这种做法既耗时又较为主观，而这种主观人为因素的引入已被证明导入了显著的观察者内和观察者间的变异性，且该误差在一定程度上会为疾病诊断和治疗带来影响，如巩膜突的不一致标记会影响 诊断和治疗的有效性及疾病严重程度的监测。因此，巩膜突的自动定位研究对于眼科学的发展具有重要的意义。图 巩膜突的位置 人工智能在医疗领域的应用越来越广泛，大大提升了医疗效率和治疗效果。近年来，巩膜突的自动定位研究取得了较大的进展，但现有算法在精度上仍具有较大提升空间。基于此，面向 图像提出了一种由“粗”到“细”的“两阶段”巩膜突自动定位算法，通过输入 图第 期 张汝雪，等：面向 的两阶段巩膜突自动定位算法像实现巩膜突的自动定位。该算法考虑到巩膜突在整张 图像上占比较小、形状特征较为隐匿的特点，采取由“粗”到“细”的策略，先利用一个目标检测网络定位到巩膜突所在的感兴趣区域（，），然后在 图像上进一步提取图像细节信息最终得到巩膜突所在位置。在公开数据集和自建数据集进行的大量实验证明了所提方法的有效性和先进性。研究现状.巩膜突的自动定位方法关于巩膜突的定位研究算法大致可以分为两类：基于模型的方法和基于数据的方法。基于模型的方法主要是通过探究前房各个组织间的位置关系来进行定位。如 等人提出了一种基于施瓦尔布线（）检测高清晰度（）参数计算方法，该方法使用 得到角膜下表面边缘线、晶状体上表面边缘线、虹膜上表面边缘线等，通过各个线的交点及位置关系得到巩膜突的位置；等人提出了一种结合 结构的分割、测量和定位的标签转移系统，搜集大量的 图像进行标注建立系统数据库，通过待定位图像与系统中图像的对比进行初步定位，然后通过微调得到各个结构的分割结果，进而得到巩膜突的位置。基于模型的方法得到的巩膜突位置不够精确，且过程较为复杂。随着深度学习的发展，在许多领域的研究中都已经证明了基于数据的方法在性能和效率上都要远优于基于模型的方法，但基于数据的方法在前期训练时都需要大量的样本。然而，在早期的研究中，没有用于研究巩膜突定位的公开数据集，无法对不同方法进行性能的对比，因此相关研究较少。年中山大学中山眼科中心协办了闭角型青光眼评估（，）挑战赛，该比赛提供了一个大型数据集用于闭角型青光眼的分类和巩膜突的定位，在比赛中涌现出 类巩膜突自动定位算法，分别为基于值回归的方法、基于二值掩模分割的方法和基于热图预测的方法。其中，基于热图预测的方法结果普遍优于其他两种方法，这一点在关键点定位领域也得到了大量的验证。由于比赛还需要进行图像分类任务，因此提出的方法大多在分类网络（例如，、或）的基础上直接加入回归分支或者预测分支进行巩膜突的定位。综上所述，目前基于数据的巩膜突自动定位算法较少，对于 图像特征和巩膜突位置特征提取还有待提高。考虑将巩膜突定位问题抽象成为一个目标检测问题，使用目标检测网络提取图像的深层语义特征，从而提高巩膜突的定位精度。.目标检测目标检测作为计算机视觉的基层任务之一，近年来得到了快速发展，其算法主要包括两阶段（）算法和单阶段（）算法。在实际临床应用中，巩膜突的定位需要满足即时性和高效性，且需要高精度的定位结果，否则会对之后眼前节参数测量结果及病情诊断产生影响；而两阶段检测虽然精度较高，但是耗时长且算法复杂，因此选择在单阶段检测算法上进行改进。单阶段目标检测算法主要包括 及 系列算法，该类型算法直接利用卷积网络提取特征，从而实现物体定位和分类，在检测速度上有了大幅度的提升，且参数量较小，具有实时性和便捷性的特点，但其准确率较低。随之出现了一系列对于单阶段目标检测网络的改进和研究。目前单阶段的算法在保持较高的检测效率的同时，在性能上逐渐也可以与两阶段算法相媲美。对于单阶段目标检测网络的改进策略，主要体现在特征提取网络，特征选择和融合方式及检测器 个方面。随着深度神经网络的发展，在特征提取网络的选择方面出现了一系列性能优越的网络模型，在分类任务上有着良好的性能，如，等。这些网络均可以直接作为骨干网络提取图像不同尺度和不同分辨率的特征，且参数量小。在特征融合方面，由于目标检测任务需要同时预测目标的位置和类别，因此需要将浅层网络中的几何信息和深层中的语义信息进行融合，融合方式主要有两类，一类是以、为代表的自顶向下的方法；一类是以 为代表的自底向上的方法。在检测器的设计上，由于其作用是直接根据特征输出类别和结果，因此一般包含分类器和定位器两部分，其中分类器设计较为简单，所以对于该部分的改进主要是在定位器上。在定位器上主要关注的是锚（）策略和预测机制，其中 策略西北大学学报（自然科学版）第 卷主要分为两类，一类是以、为代表的人工选择的方式；一类是以 为代表的通过聚类进行选择的方式。考虑到巩膜突在定位过程中的实际困难，采取了两阶段的自动定位方法。与传统两阶段算法不同，上文所述的两阶段是一个从“粗”到“细”的定位策略。首先，在 的网络基础上进行了改进，通过加入 模块使骨干网络具有更加良好的特征提取能力，通过检测器得到巩膜突所在的 区域，该区域中心点为巩膜突的“粗”定位。然后，使用 在 区域上提取图像不同尺度的信息，对巩膜突位置进行微调修正，得到巩膜突的“细”定位。研究方法本文提出了一个面向 的“两阶段”定位网络用于巩膜突的自动定位。巩膜突一般位于房角处，临床上专业医生一般通过角膜与巩膜交界处灰度值变化及虹膜的位置进行定位，即对于一张 图像，医生一般先找到两个房角的位置观察房角处的状态，然后再进行巩膜突的进一步定位。文中所提出的自动定位算法基于这一观察规律，采用由“粗”到“细”的策略设计了一个两阶段定位网络进行巩膜突的逐步定位。第一阶段为 区域检测网络，第二阶段在此基础上进一步提取 区域图像的细节特征，得到巩膜突所在位置坐标。整体算法框架图如图 所示。对于该算法，输入 图像，最终输出巩膜突坐标，计算过程如式（）所示。（）（）式中：，；（，）；和分别表示 区域检测网络和巩膜突定位网络。图 巩膜突定位算法框架图 .区域检测在第一阶段对 网络进行了改进，提出了 区域检测网络。首先构造了检测目标为以巩膜突为中心、边长为 像素的矩形区域 ，。对于该矩形区域尺寸的选择主要考虑以下两方面。首先，该尺寸能够包含巩膜突附近角膜、巩膜和虹膜部分，便于第二阶段根据各个组织之间的关系进一步获取巩膜突位置；其次，第二阶段的网络要求输入图像大小为 像素，因此该尺寸便于将检测到的 区域不经过填充、裁剪、放大或者缩小等图像增强操作，直接送入第二阶段，较好的保留了原图的细节特征。输入原始 图像，通过一系列图像处理由公式（）得到。（）（）（）式中：为特征提取操作；为特征融合操作；为预测器。具体而言，先通过一个改进的 网第 期 张汝雪，等：面向 的两阶段巩膜突自动定位算法络作为骨干网络（）提取图像不同尺度的特征，然后通过特征金字塔（，）进行特征融合，最终得到巩膜突所在的 区域。在特征提取阶段，选用一个改进的 网络作为骨干网络（），网络作为基础网络在图像分类、图像分割、目标检测等计算机视觉底层任务中都获得了较好的性能。近年来也出现了许多该网络的变体，如、等，都是针对基础卷积块（）进行的改进，主要目的是通过使用组卷积等方式引入分层注意力机制提取图像特征。随着视觉自注意力模型（，）的出现，基于自注意力的模块在许多视觉任务上取得了与卷积神经网络（，）相当甚至更好的性能，其灵活性使模型能够自适应地关注不同区域，并捕获更多的信息特征。笔者所提出的改进也是在基础卷积块上进行的。如图 所示，的基础卷积块是由两个 卷积和一个 卷积构成，文中使用 模块代替原始的 卷积。该模块通过重构卷积和自注意力两个模块，证明了两者在对输入特征进行映射时具有相同的计算开销和类似的分解过程，因此通过共享相同的重操作重新整合了这两个模块。该模块结合了卷积操作和自注意力模块的优点，具有更强的特征提取能力。图 基础卷积块（）的改进 模块结构如图 所示，首先经过并列的 个 卷积，然后分成两个支路：卷积支路和自注意力支路。在卷积支路，通过一个全连接层（），之后根据核位置进行平移和聚合操作，得到该分支结果。在自注意力支路，将 个 卷积操作得到的结果分别看作查询（），键（）和值（），通过注意力权重的计算和值矩阵的聚合，收集局部特征。在特征融合阶段，使用 结构。选取 中第，层特征，通过上采样操作，自上向下的将相邻层特征图进行拼接来进行特征融合。此外将最高分辨率特征图进行两次下采样分别得到两组新的特征图。由于已经获得了丰富的多尺度特征，因此预测器直接采用基于卷积的权重共享的两个相同分支分别进行分类和定位任务。如图 所示，每个分支都由 个 的卷积和非线性层（，）组成，然后分别再通过 个 的卷积得到预测结果，其中 代表类别数，代表在每个特征层生成的 数，定位分支得到结果为预测框的中心点坐标（，）预测框的长 及宽。这两个分支在训练时共享参数。公式（）为本阶段损失函数，由分类损失 和回归损失 组成，式中 表示 区域总个数。使用 损失函数来计算分类损失，具体如公式（）所示。该损失函数通过加入平衡因子 和，解决了正负样本不均衡的问题，大大提高了单阶段检测器的检测精度。通过计算预测坐标和真实坐标间的平均误差即 损失来计算回归损失，该方法为常用的回归损失计算方法，具体如公式（）所示，式中 和 分别为真实向量和预测向量，均为 维向量，