基于特征金字塔网络和密集网...的肺部CT图像超分辨率重建_申利华.pdf

2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1612-1619ISSN 1001-9081CODEN JYIIDUhttp：/基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建申利华*，李波（武汉科技大学 计算机科学与技术学院，武汉 430081）（通信作者电子邮箱）摘要：针对肺部计算机断层扫描（CT）图像的超分辨率（SR）重建中需要加大对肺结节的关注度、满足重建后的特征具有客观存在性等问题，提出一种基于特征金字塔网络（FPN）和密集网络的肺部图像SR重建方法。首先，在特征提取层利用FPN提取特征；其次，在特征映射层设计基于残差网络的局部结构，再用特殊的密集网络连接此类局部结构；再次，在特征重建层利用卷积神经网络（CNN）将不同深度的卷积层逐渐降为图像大小；最后，利用残差网络融合初始低分辨率（LR）特征与重建的高分辨率（HR）特征，形成最终的SR图像。对比实验显示，FPN中2次特征融合和特征映射中5个局部结构连接的深度学习网络效果更佳。所提出的网络相较于超分辨率卷积神经网络（SRCNN）等经典网络重建SR图像的峰值信噪比（PSNR）更高，并且可以获得更好的视觉质量。关键词：肺部计算机断层扫描图像；超分辨率重建；特征金字塔网络；密集网络；残差网络中图分类号：TP183；TP391.4 文献标志码：ASuper-resolution reconstruction of lung CT images based on feature pyramid network and dense networkSHEN Lihua*，LI Bo（School of Computer Science and Technology，Wuhan University of Science and Technology，Wuhan Hubei 430081，China）Abstract:To pay more attention to pulmonary nodules and satisfy the objective existence of reconstructed features in lung Computed Tomography（CT）image Super-Resolution（SR）reconstruction，a lung image SR reconstruction method based on Feature Pyramid Network（FPN）and dense network was proposed.Firstly，at the feature extraction layer，FPN was used to extract features.Secondly，the local structure based on residual network was designed at the feature mapping layer，and then the special dense network was used to connect the local structure.Thirdly，at the feature reconstruction layer，Convolution Neural Network（CNN）was used to gradually reduce the convolution layers with different depths to the image size.Finally，the residual network was used to integrate the initial Low-Resolution（LR）features and the reconstructed High-Resolution（HR）features to form the final SR image.In comparison experiments，the deep learning network with two feature fusion in FPN and five local structure connections in feature mapping has better effect.Compared with classic networks such as Super-Resolution Convolutional Neural Network（SRCNN），the proposed network has higher Peak Signal-to-Noise Ratio（PSNR）and better visual quality of the reconstructed SR images.Key words:lung Computed Tomography(CT)image;Super-Resolution(SR)reconstruction;Feature Pyramid Network(FPN);dense network;residual network0 引言 医学图像是现代医学诊断中应用频率很高的辅助工具，高分辨率（High-Resolution，HR）的医学图像能帮助医生作出更准确的诊断。医学图像超分辨率（Super-Resolution，SR）重建有两个关键要求：清晰度和真实感，只有清晰且真实的SR图像才能有效地帮助医生观察如肺结节等是否病变。然而，硬件限制会影响医学图像的获取。为解决因传感器获取的数据稀少而造成医学图像分辨率低的问题，以及让患者尽可能少地暴露在成像时的辐射下1，科研工作者提出了医学图像SR重建技术。SR重建技术作用于序列SR图像2和单幅SR图像，本文通过SR重建技术提高单幅肺部电子计算机断层扫描（Computed Tomography，CT）图像的分辨率。如今大多数SR重建技术都应用于普通的彩色图像，应用于医学图像重建的还较少。医学图像纹理要求更复杂，并且对图像结构的准确还原度要求更高。而低分辨率（Low-Resolution，LR）医学图像缺乏高频细节信息，难以识别病变，不利于辅助医生诊断疾病。SR重建技术能将LR医学图像重建为HR医学图像，辅助医生诊断疾病。因此，医学图像SR重建技术成为图像处理中研究的热点，也是现代医学界与人工智能技术联系的一个重要方面。传统的图像SR重建方法有：1）基于插值的图像超分法，如最邻近元法、双线性内插法、三次内插法等。这类方法算法简单易实现，计算速度快，但产生的图像过于平滑、有伪影，高频细节无法恢复3，生成的 SR图像清晰度有限、精度较低。2）基于重建的方法。该方法通常都是基于多帧图像文章编号：1001-9081（2023）05-1612-08DOI：10.11772/j.issn.1001-9081.2022040620收稿日期：2022-05-07；修回日期：2022-07-18；录用日期：2022-07-22。作者简介：申利华（1999），女，湖北恩施人，硕士研究生，主要研究方向：计算机视觉、医学图像处理；李波（1975），男，湖北武汉人，教授，博士，主要研究方向：机器学习、智能计算。第 5 期申利华等：基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建的，要结合其先验的知识，如凸集投影法、迭代反投影法、贝叶斯分析法等；但是这类方法计算非常复杂，需要使用大量计算资源。3）基于机器学习的超分方法，如稀疏表示法、知识向量回归法等。4）基于深度学习的超分法，如由 Dong等4设计的传统超分辨率卷积神经网络（Super-Resolution Convolutional Neural Network，SRCNN），通过三层卷积完成特征提取、非线性映射以及特征重建。Umehara等5将卷积神经网络（Convolution Neural Network，CNN）运用于肺部 CT图像SR重建中，并获得了优异的结果，尤其是2放大。Abdel-Zaher等6用CNN对乳腺CT图像进行分析，实现了乳腺癌的自动检测系统。Priya等7提出了基于CNN的间质性肺病辅助诊断法，提高了分类识别多种肺病的诊断率。SRCNN 可通过训练集自动优化，在清晰度上有所进步；但SRCNN会对初始图像作放大处理，所以速度较慢。为了提高训练速度，Dong 等8又 提 出 了 快 速 超 分 辨 率 卷 积 神 经 网 络（Fast SRCNN，FSRCNN），以及 Shi 等9提出的高效亚像素卷积神经 网 络（Efficient Sub-Pixel Convolutional Neural network，ESPCN）。以上都是单尺度前馈网络，为了使用 LR 图像与HR图像之间依赖关系，Zhang等10针对医学图像SR重建还提出了一种并行结构，使多分支之间交叉投影用于交换信息，这也是并行结构应用于单图像超分重建任务的首次尝试。基于方法的研究进入瓶颈后，科研工作者开始从深度上进一步研究。基于 He等11提出的残差网络，Kim 等12提出了非常深的超分辨率（Very Deep Super-Resolution，VDSR）网络 和 深 度 递 归 卷 积 网 络（Deeply-Recursive Convolutional Network，DRCN）。此类网络通过加深网络深度来优化超分效果。此后科研工作者将拉普拉斯金字塔以及通道注意力机制这类网络结构用于医学图像 SR 重建。Du等13就采用迭代上采样和下采样，分层提取浅层和深层医学图像的特征，并且引入通道注意力机制，调整通道权重，抑制噪声。这类方法都是基于像素空间优化的方法，由于缺少高频信息，导致视觉模糊。为了提高视觉感知质量，有学者将生成对抗网络（Generative Adversarial Network，GAN）应用到超分辨率中，提 出 了 超 分 辨 率 生 成 对 抗 网 络（Super-Resolution Generative Adversarial Network，SRGAN）14。SRGAN 用内容损失和对抗损失提高了重建图像的视觉感知质量，获得了更自然的纹理；但该纹理细节并非全然真实，因此SRGAN不太适用于医学应用或监测（所以本文实验与经典算法比较时没有选择SRGAN）。Wang等15将反馈机制用于GAN的生成器网络，将残差通道注意力机制与对抗性损失结合，使生成对抗网络的优化效果更加明显。普通图片对细节的要求较低，对整体的要求较高。因此，普通图像SR重建是对整体图片的分辨率重建，没有针对性。而肺部图像重点在于辅助对肺结节的判定以及肺部CT图像内部细节边缘的清晰化，应当将注意力关注到肺结节和纹理细节这样的小目标。对肺部图像的SR重建，首先要放大图像，从视觉上帮助医生更好地判断病情；其次，帮助医疗辅助系统更准确地判定结节的位置，比如提高肺结节检测的精度，以及提高肺结节良恶性分类的准确度。医学图像 SR重建区别于普通图像重建的两点是：1）重建图像要求具备真实性，不能凭空产生；2）更关注肺结节和纹理细节这类小目标的描述。基 于 上 述 问 题，本 文 提 出 了 基 于 特 征 金 字 塔 网 络（Feature Pyramid Network，FPN）和密集网络的肺部图像超分辨率重建（FPN and Dense Super-Resolution，FDSR）网络。为了获得更好的医学图像超分辨率的效果，本文的主要工作有：1）在特征提取层引入了FPN结构。通过下采样提取小物体的特征，增强对肺部图像中小目标结节及边缘细节的关注度，继而提高对肺结节检测的精度，以及提高肺部图像超分重建后的视觉效果。2）在特征映射层引入了残差网络与特殊密集网络结合的网络结构。充分利用LR图像的特征，将LR特征通过残差学习融入特征重建的卷积层；并在残差组合网络（Residual Com