基于深度学习的显微图像计算机辅助诊断_王艳.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第3期总第331期文章编号：1006-2475（2023）03-0054-06收稿日期：2022-04-01；修回日期：2022-05-28基金项目：教育部产学合作协同育人项目（201802003031）作者简介：王艳（1998），女，山东潍坊人，硕士研究生，研究方向：机器学习，人工智能，E-mail：wangyan_；杨丰蔚（1997），男，山西阳泉人，硕士研究生，研究方向：卫生数据分析，E-mail：；翟兴（1981），男，河南开封人，副教授，硕士生导师，硕士，研究方向：信息分析，健康信息学，E-mail：；王丽（1979），女，天津人，副教授，硕士生导师，硕士，研究方向：医学信息学，健康管理，E-mail：；唐燕（1977），女，河南南阳人，副教授，硕士，研究方向：医学数据分析，E-mail：tangyan97_；刘哲（1982），男，陕西汉中人，助理研究员，研究方向：大数据，数据挖掘，E-mail：；通信作者：韩爱庆（1979），男，河北石家庄人，副教授，硕士生导师，硕士，研究方向：医学数据分析，人工智能，E-mail：。0引言艾滋病（HIV/AIDS）、疟疾和结核病（TB）是全球3大传染病，在低收入和发展中国家仍占据较高的流行率和死亡率。根据世界卫生组织（WHO）2021年发布的全球疟疾报告和结核病报告1-2，2020年全球大约有2.41亿疟疾病例和987万新发结核病患者，其中非洲和东南亚是疟疾和结核病的高发地区，分别占全球所有病例的51%和44%3。随着COVID-19的爆发，这种流行性疾病导致的长期封闭隔离使很多人无法基于深度学习的显微图像计算机辅助诊断王艳，杨丰蔚，翟兴，王丽，唐燕，刘哲，韩爱庆（北京中医药大学管理学院，北京 102488）摘要：根据世界卫生组织发布的报告，全球疟疾、结核病的发病率仍高居不下。手动显微镜检查厚薄载玻片和痰涂片是疟疾和结核病诊断的重要手段，这种方法的缺点之一是高度依赖医学检验师，容易出现主观误判。在低收入和发展中国家的偏远地区高技能实验室人员缺乏，加上显微图像中疟原虫和结核杆菌存在形状多变、体积较小和某些细胞体不确定等因素，导致疟原虫和结核杆菌检测困难。本文提出一种基于Faster R-CNN的改进算法，用于从显微图像中自动筛选疟原虫和结核杆菌。首先在原始Faster R-CNN框架上加入卷积滤波器层，采用深度残差网络提取特征，来提升模型的检测性能，然后评估改进后的模型在2种不同显微任务上的性能：在厚血涂片疟疾显微图像数据集上AP值达到94.55%，在痰涂片结核病显微图像数据集上AP值为97.96%，比原始Faster R-CNN模型提升了7.40个百分点和8.04个百分点。结果表明，修改后Faster R-CNN模型可以从智能手机的显微镜目镜上捕获的图像中检测疟疾寄生虫和结核杆菌位点，减少手动显微镜检查的依赖，辅助研究人员诊断，表明该模型适合部署在资源匮乏的地区。关键词：深度学习；Faster R-CNN；显微图像；疟疾；结核病；辅助诊断中图分类号：TP391.4文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.03.010Computer Aided Diagnostic on Microscopic Images Based on Deep LearningWANG Yan，YANG Feng-wei，ZHAI Xing，WANG Li，TANG Yan，LIU Zhe，HAN Ai-qing（School of Management，Beijing University of Chinese Medicine，Beijing 102488，China）Abstract：According to a report released by the World Health Organization，the global incidence of malaria and tuberculosis remains high.Manual microscopy of thick and thin slides and sputum smears are an important method for the diagnosis of malariaand tuberculosis，and one of the disadvantages of this approach is that it is highly dependent on medical inspectors，prone to subjective misjudgment.The lack of highly skilled laboratory personnel in remote areas of low-income and developing countries，coupled with the variable shape，small size and uncertainty of plasmodium and mycobacterium tuberculosis in microscopic images and factors of some cell body uncertainty，resulted in difficult detection of plasmodium and mycobacterium tuberculosis.This paper proposes an improved faster R-CNN-based algorithm for automatic screening of plasmodium and mycobacterium tuberculosis from microscopic images.Firstly，the proposed algorithm addes a convolutional filter layer to the original Faster R-CNN framework and uses a deep residual network to extract features to improve the detection performance of the model.Then，this paper evaluates the performance of the improved model on two different microscopy tasks：AP value reached 94.55%on thethick-blood smear malaria micrograph image dataset，and 97.96%on the sputum smear tuberculosis microscopic image dataset.Compared with the original Faster R-CNN model，the improvement is 7.40 percentage points and 8.04 percentage points.The results show that the modified Faster R-CNN model can detect plasmodium and mycobacterium tuberculosis sites from images captured on a microscope eyepiece on a smartphone，reducing the dependence on manual microscopy and assisting researchers in diagnosis，which shows that the model is suitable for deployment in under-resourced areas.Key words：deep learning；Faster R-CNN；microscopic images；malaria；tuberculosis；auxiliary diagnosis2023年第3期获得非COVID-19传染病的治疗，大部分疾病流行的国家在提供服务方面都经历了中等程度的中断，使得艾滋病、疟疾和结核病的发病率增加，增大了全球疾病负担3。疟疾主要由疟原虫属寄生虫引起，其中恶性疟原虫最常见，根据感染的程度分为环、滋养体、裂殖体和配子体等4个生命周期。结核病是由单一传染源结核杆菌引起，会攻击组织器官，比较常见疾病的是肺结核。这些疾病几乎完全重叠，导致疟疾与结核病同时发生率增高4-5。在全球范围内，控制疟疾和结核病的发病率里程碑目标还未达到，加上突发的COVID-19，给防控工作增加了更大的挑战。若缺乏及时的诊断和治疗会导致严重的健康并发症，甚至死亡。采用光学显微镜目视检查染色的厚薄载玻片是疟疾诊断的手段。而对结核杆菌检测最快速准确的方法为涂片镜检法，是WHO推荐用于结核病诊断的重要依据6-7。传统的光学显微镜具有简便、价廉和直观性等优点，是很多疾病的标准诊断方法，在资源匮乏、疾病负担高的地区使用广泛。但这种方法的准确性、一致性和诊断速度依赖于专业技术人员，在发展中国家的偏远地区，技术和资源短缺，且传染病季节性爆发带来成倍的工作量，会影响基于显微图像诊断结果的正确率，出现的误诊和漏诊会导致更高的死亡率、耐药性以及额外的药物经济负担8。因此需要计算机辅助诊断（Computer Aided Diagnosis，CAD）技术实现显微图像评估的自动化，快速检测和量化疾病。本文阐述深度学习在显微图像诊断中的应用，在低资源环境下，以疟疾和结核病2种传染病的显微图像为例，提出一种基于Faster R-CNN模型的改进检测算法，增加卷积滤波层优化模型的网络结构，使用残差网络优化特征提取网络，提升模型的检测效果。该模型可以在缺乏专业技术人员的情况下加快和改善资源匮乏地区的疾病诊断，对于减少手动显微镜检测的依赖，减轻技术人员的工作量，辅助医师提供高质量疾病诊断具有重要意义。1相关工作目标检测是深度学习计算机视觉的热门方向，研究领域包括无人驾驶、智慧医疗和人脸检测等。当前目标检测算法主要是基于卷积神经网络（Convolutional Neural Network，CNN）9，可以通过共享权重来降低复杂度和参数以提升神经网络的泛化能力。2013年，Girshick等10首次提出了R-CNN，其是基于区域的卷积神经网络，检测精度有了大幅提升，R-CNN 通过选择搜索生成候选框，将其调整成统一大小送入神经网络提取特征，最后用SVM分别训练分类器和回归器。针对R-CNN输入尺寸固定导致图像失真的不良影响，He等11在2014年提出了SPP-Net，只需要对原始图像进行一次特征提取，就能得到整幅图像的特征图。针对R-CNN速度慢、结构分散和无法实时检测等缺点，Fast R-CNN12设计感兴趣区域池化层（ROI Pooling Layer），将分类和回归步骤添加到深度网络中同步训练。但 Fast R-CNN 仍需使用外部算法提取候选框，耗费时间。Faster R-CNN13在此基础上提出区域候选网络（Region Proposal Network，RPN）提取建议框，实现了真正意义上的端到端的目标检测算法，由于大部分计算共享，检测速度也大大提升。以上都属于两阶段目标检测算法，基于候选区域进行检测。还有研究人员提出了YOLO14和 SSD15等单阶段目标检测算法。YOLO是基于回归的目标检测算法，只进行一次前馈网络计算，就可以识别出目标位置和类别，但其对小目标检测效果不好。SSD提出对多尺度特征图进行目标检测，深层特征图用于对大尺度特征图进行预测，主要用来分类，而浅层特征图用于对小尺度特