基于耦合配准网络的MR脑图像标签迁移算法_崔鹏程.pdf

第 卷 第 期 年 月北京生物医学工程 .论著基金项目：中国医 学科 学院医 学与健 康科技 创新 工程项 目（）资助作者单位：中国医学科学院基础医学研究所，北京协和医学院基础学院（北京）通信作者：张唯唯。：基于耦合配准网络的 脑图像标签迁移算法崔鹏程 李恩慧 李振宇 张童禹 张唯唯摘 要 目的 提出一种单图谱标签迁移算法并命名为，以期在队列分析中快速有效提取与神经退行性疾病相关的 脑影像标记物和解剖结构。方法 首先对初始图谱图像施加旋转变换，获得旋转图谱图像组；其次为主配准网络送入合并后的初始图谱图像与个体图像，预测形变场及候选标签；再次为副配准网络送入合并后的旋转图谱图像与个体图像，结合主网络相关特征预测候选标签；最后通过投票法融合多个候选标签获得个体图像标签。结果 在 和 数据集的实验结果显示，算法在两个测试集上重要解剖结构 相似性系数均值分别为 和，精确率均值为.和.，平均表面距离均值为.和.，均优于目前主流算法 和。结论 本文提出的 算法可以快速有效实现脑神经图谱标签迁移并提高评价指标准确度，对神经退行性疾病分析所需的影像特征提取具有潜在的临床应用价值。关键词 脑图像；图谱配准；标签迁移；耦合配准网络；脑神经退行性病变：.中图分类号.文献标志码 文章编号（）本文著录格式 崔鹏程，李恩慧，李振宇，等基于耦合配准网络的 脑图像标签迁移算法北京生物医学工程，（）：，（）：，：（：.）【】，；，；，；，.，.，；，【】；引言随着人口老龄化，以阿尔茨海默病为主的神经退行性疾病发病数日益增多，预计到 年全球患病人数将达.亿，严重威胁人类健康和生活质量。近年来，磁共振（，）结构成像结合图像分析方法，促进临床逐渐了解该类病变人群与正常人群之间影像标记物的差异性，并推荐作为早期检测的主要手段之一。例如，阿尔茨海默病患者海马体积减少 ，内侧颞叶随疾病进展萎缩更甚。但是，如何从 结构成像中快速有效提取特定的影像标记物或大脑解剖结构为队列研究作进一步分析一直备受挑战。基于此，以图谱配准实现数据标签迁移进而分割图像的方式得到广泛认可和应用。在智慧医疗背景下，通过对这种方法深度学习化的创新性开发可为神经退行性病变提供人工智能化的辅助检测和分析工具。脑神经影像标记物的提取作为本研究的主旨经历了手动到自动的演变，解决方法的关键点也从分割算法转移到配准算法。以往的脑解剖结构标注工作由临床影像专家对所有个体图像逐层逐像素手动勾勒完成，图像注释质量优异并作为“金标准”，但耗时长久、过程繁琐，依赖于专家经验存在主观性差异，在大规模队列分析中不易推广。常见的脑结构半自动分割技术，如基于区域生长的方法，缓解了人力需求，但初始种子点的选择对分割结果影响明显；自动分割技术如基于阈值的方法实施简单、计算量小，但忽略了图像空间信息。从图像配准的角度来看，个体脑影像实现感兴趣区域（，）提取，可以利用单图谱的标签迁移的方法来间接实现。基于单图谱的配准算法仅需一例脑图谱标注数据就能建立图谱图像与个体图像之间的体素坐标对应关系，并使用获得的形变场有效地将脑图谱标签迁移至目标个体。这一过程中更为关注的是图像配准的准确性，即如何精确搜索图像对之间的体素坐标一一对应关系。常用的医学图像配准算法在刚性配准或仿射配准的基础上将图谱图像与个体图像的脑实质大致对齐，生成初始图谱图像，然后以大规模参数的迭代优化、逐步最小化能量函数的方式来实现初始图谱图像与个体图像之间非线性的变形配准以提高其准确性，例如高级归一化工具的对称归一化算法（，）采用梯度下降法、多分辨率优化策略，基于速度场变换获得微分同胚形变场，实现初始图谱图像与个体图像之间的平滑变换，配准效果出众。但是，该类配准算法需要针对每例图像逐一进行优化，并消耗大量计算资源和时间，同样不适宜在大规模队列分析中应用。近年来，深度学习算法在医学影像大数据应用中得以普及。在图像配准的神经网络中，随着和 空 间 转 换 器 网 络（，）的提出使得图像对之间的形变场可以求导，引出以 为代表的无监督深度学习配准算法。它显示出与常规配准方法相媲美的配准效果，速度大大加快，配准时间在 内。等在此基础上添加形变场概率变量，通过重参数化技巧估计形变场中每个体素位移量的不确定性，基于此进行采样来预测形变场。等引入多个 成像图谱直接生成个体图像的多个候选标签，校正单一图谱配准产生的较差结果，但需构建多个不同的年龄特异图谱。然而，上述两种方法是基于单个或几个固定角度的初始图谱图像进行配准，缺乏对图谱信息的有效利用。脑内解剖结构的形态变化复杂，例如灰质沟回延伸走向十分不规则，使得体素在图像局域需要搜索多个角度的位移量，基于固定角度的初始图谱图像估计与个体图像间的北京生物医学工程 第 卷形变场在准确性方面仍有不足。在初始图谱图像基础上增加多角度旋转的信息表征，构建与个体图像间的多角度形变场并综合寻优，是缓解此难题的一个可行性思路。综上所述，为了有效利用单图谱信息，提高基于图谱配准的准确度，实现有效的标签迁移，改善神经解剖结构差异性分析的队列研究，本文提出基于主副耦合结构和多角度旋转图谱图像组的配准神经网络模型。在公开的大规模专家标注脑影像数据集 和 标注人脑连接组计划 数据集上的实验表明，提出的算法改进了单图谱标签迁移性能。研究方法.模型算法框架如图 所示，对初始图谱图像施加微小旋转变换生成旋转图谱图像组（图 左侧方框），个体图像保持一致，初始图谱图像和其他旋转图谱图像分别与其组为不同图像对，并划分不同的学习路径。图 耦合配准网络训练框架 训练时，初始图谱图像 与个体图像 输入主网络（图 上部），生成 与 之间的形变场；之后随机选取旋转图谱图像组中的一幅 与个体图像 输入副网络（图 下部），生成 与 之间的形变场：（，），（，）（）式中：对应于主网络及其参数；，对应于主副网络及其相应参数 和。随后利用缩放展平层保持拓扑可逆性，采用空间转换网络对相应的图谱图像施加形变，计算形变后图谱图像 与个体图像间相似性损失函数并反向传播。测试时，主网络生成单一形变场，副网络生成从旋转图谱图像组到个体图像的多个形变场，将其应用于对应的图谱附属标签，生成个体图像的多个标签，并利用投票法实现标签融合。.模拟仿射后旋转图谱图像组一般情况下，给定移动图像和固定图像，仿射配准会不断调整自由度，多轮迭代优化后相似度会在微小范围内波动，此时斜率趋近于。为了近似得到仿射配准过程中产生的一系列图谱图像（移动图像），采用对仿射后的初始图谱图像施加微小旋转变换的方法，得到一系列旋转后图像，形成前文所述的旋转图谱图像组：，|（）式中：为仿射配准后生成的初始图谱图像；为依据设定的旋转变换矩阵 和 生成的旋转图谱图像，变换前后相似度未发生明显变化，。本文所有实验均基于 图像，所以选择从矢状面、冠状面、横截面 个维度分别施加 次微小旋转变换来获得旋转图谱图像组，周角为，变换的多角度参数为，。.主配准网络如图 上部所示，主网络通过多层卷积激活提取初始图谱图像 与个体图像 图像对 尺寸的高层特征，并独自推理对应形变场。在主副网络中，均采用 形网络的编码器来学习上下文特征信息，使用 步长的卷积来进行下采样，在解码器中使用最近邻插值来实现上采样，所有卷积核为 的尺寸。.副配准网络如图 下部所示，副网络相较于主网络减少在原图尺寸上的多层卷积、激活运算，有效减少了推理计算量。同时，为了更准确推断旋转图谱图像 与个体图像 之间的形变场，将主网络提取到的相关大感受野、高层编解码器特征嵌入副网络对应层级，并参与副网络后续的解码过程。训练过程中，主第 期 崔鹏程，等：基于耦合配准网络的 脑图像标签迁移算法网络与副网络的损失函数同等重要，可表示为：（，）（）（，）（）（）式中：代表形变后移动图像和固定图像之间的均方误差损失函数；代表对形变场的 平滑正则项。图 模型生成的形变场及标签与金标准结果对比 .标签融合在测试推理阶段，副网络根据需要获得 个相关图像对的形变场，对图像组中的 个旋转图谱图像的附属标签进行形变，期间采用最近邻方式插值。本文采用多数投票算法进行标签融合获得更优结果。的标记为 的概率可以通过计算（，）中出现 的次数来计算，选择概率最高的标签确定为个体图像中 的标签，可以表示为：（），（），（，）（）式中：为个体图像中的每个体素位置；为对图谱图像附属标签 形变后的结果；（，）是候选标签在 处投票给标签 的后验概率。实验与结果.数据预处理本研究使用 数据集的 例脑磁共振扫描及专家标注（其中 例因图像异常被剔除）。数据重采样至各向同性 ，预处理进行了 偏置场校正、仿射至图谱空间、数据标准化，裁剪至 体素的图像尺寸。采用专家标注中包含皮层区域分割的版本，按照临床习惯将多个皮层区域或左右侧脑结构合并，形成皮层下第三脑室、第四脑室、脑干、侧脑室、大脑白质、丘脑、尾状核、壳核、苍白球、海马体、杏仁核以及皮层灰质边缘叶、岛叶、额叶、颞叶、枕叶、顶叶共 个重要大脑解剖结构。为了验证本方法对图谱选择的稳健性，进行了 次重复实验，每次实验随机选取数据集中 例个体图像及专家标注作为图谱数据，例作为训练集，例作为测试集。除上述外，本文采用了 数据集中 例 加权 脑影像，各向同性.，预处理进行了 刚性配准、偏置场校正、颅骨剥离、非线性配准到图谱空间和数据标准化，裁剪至 体素的图像尺寸。参考文献中的方式，本研究采用包含 皮层区域标注的版本，合并形成 个重要大脑解剖结构。共进行了 次重复实 验，每 次 实 验 随 机 选 取 例 个 体 图 像 及 标注作为图谱数据，例作为训练集，例作为测试集。.实验细则比较 模型与目前的主流算法，包括、（）、北京生物医学工程 第 卷（），实现框架为 和，均采用 优化器，次迭代，每隔 轮保存模型，为缓解模型间差异以多个模型进行测试，选取其中的较优结果作为最终结果。和 部署在不同服务器上。.评估指标本文采用三种指标评估各类算法标签迁移结果，包括 相似性系数：（）精确率（）：（）平均表面距离（，）：（，）（，）（）式中：为该算法对此结构标签迁移的体素集合；为专家标注或 标注结果的体素集合；和 分别为对应的边缘体素集合；代表体素集合 中的体素数目，（，）表示体素 和体素集合 中所有体素的最小欧几里得距离。.结果与分析.定性评估结果图 展示了不同旋转角度生成的旋转图谱图像组（图 第 行）和个体图像，副网络生成的形变场（图 第 行）以及形变后候选标签（图 第 行），投票法融合后标签（图 左下）和个体图像的专家标注结果（图 右下）。从放大细节图可以看出，相对于副网络生成的单一标签，融合后的标签结构清晰，边缘处平滑，同时减少了错误标签的出现，接近金标准结果。.对照实验定量评估结果图（）显示在 测试集上，本文提出的 与、三种对照算法对全脑 个解剖结构的标签迁移结果 箱形图，图中指 值小于.。通过配对样本 检验，比较 结果与本文提出的 结果，显示除脑干外其余 个结构呈显著性提升（.），均值由.提高到.，对于脑干结构无显著性差异（.）。图（）显示在 测试集上，种算法的标签迁移结果 箱形图，所有结构结果均显著性提升（.），总均值由.提升至.。总体上，数据集结果的标准差为.，第三脑室、第四脑室标签迁移结果优于杏仁核、苍白球，皮层分叶中岛叶结果较好；而 数据集标准差为.，苍白球、杏仁核结果优于第三脑室、第四脑室，皮层分叶中额叶结果较好。表 每列左侧显示在 数据集重复实验中 种算法对全脑 个解剖结构标签迁移的、和 指标平均值及标准差。相较图 四种算法在 测试集（）和 测试集（）上标签迁移结果的 箱形图 （）（）第 期 崔鹏程，等：基于耦合配准网络的 脑图像标签迁移算法表 种算法重复实验的全脑标签迁移平均结果 解剖结构皮层下结构 脑干.侧脑室.丘脑.壳核.尾状核.海马体.大脑白质.苍白球.杏仁核.第四脑室.第三脑室.皮层分叶 额叶.颞叶.枕叶.岛叶.顶叶.边缘叶.注：指在 数据集有显著提升（.），指在两个数据集均有显著提升（.）。于深度学习配准算法，模型结果的 平均值由.提升至.，个大脑解剖结构中 个呈显著性提升（.），包括皮层下结