基于自注意力卷积的新冠肺炎CXR图像识别.pdf

DOI:10.14182/J.cnki.1001-2443.2023.03.003基于自注意力卷积的新冠肺炎CXR图像识别吕嫄（芜湖职业技术学院基础教学部，安徽芜湖241000）摘要：2019冠状病毒病（COVID-19）是近年来对世界经济发展影响最大的流行病。早期发现是治疗COVID-19患者的关键，而胸片作为一种快速有效的辅助诊断方法被广泛用于实际的医疗案例中。基于深度学习的图像识别方法能更快、更准确地诊断CXR图像，可以取得较好的效果。然而，常见的深度学习模型在对数据进行特征提取时没有针对性。对此，本文提出基于卷积注意力的新冠肺炎图像识别网络，提升对COVID-19阳性样本的敏感性和特异性，并且增加的模型参数量和训练时间可以忽略不计。本文结合VGG16、MobileNet、InceptionV3、ResNet50等经典深度学习网络搭建了卷积注意力模型，并在COVIDRD公开数据库上进行了验证。实验结果表明本文提出的网络架构有效的提升了对新冠肺炎识别的准确性、敏感性和特异性。关键字：新冠肺炎；CXR图像；深度学习；卷积注意力中图分类号：P315.69文献标志码：A文章编号：1001-2443（2023）03-0217-05引言新型冠状病毒病（COVID-19）被世界卫生组织命名为“2019冠状病毒病”。2020年2月11日，世卫组织总干事谭德赛在瑞士日内瓦宣布了新型“冠肺炎COVID-19”冠状病毒感染肺炎。3月11日，世卫组织认为，当前爆发的COVID-19疫情可称为全球大流行。截至2022年5月5日中欧夏季时间（中国标准时间2022年5月6日），全球共有确诊病例513384685例，累计死亡病例6246828例。防止COVID-19感染的传播刻不容缓，并且需要对患者进行有效的筛查和及时的医疗应对。逆转录聚合酶链反应（RT-PCR）是目前临床筛查COVID-19患者最常见的方法，采用呼吸道标本检测1。RT-PCR作为检测COVID-19患者的参考方法，但该技术是手工操作，并且复杂、费力、耗时。此外，RT-PCR供应容易出现短缺，这可能导致疾病预防工作的延误2。X-Ray图像也是诊断COVID-19的方法之一，X-Ray图像可以帮助早期发现疑似病例3-4，但放射科医生在医院长时间工作之后可能导致误诊。因此，使用计算机辅助诊断（CAD）可以更快、更准确地诊断CXR图像，已有许多研究人员进行应用5-10。国内外很多人士都使用深度学习方法对识别新冠肺炎图像进行研究，Narin 等人11采用预训练的ResNet50模型进行了正常和COVID-19、正常和病毒性肺炎、正常和细菌性肺炎三种二元分类任务。Magh-did等人12已经使用了一个改进的预先训练的AlexNet模型来检测COVID-19。Jaiswal等人13提出了一种经过修剪的基于高效网络的COVID-19检测模型。Minaee等人14提出了使用深度迁移学习预测covid-covid-19。Heidari等人15对进行了直方图均衡化和双边低通滤波器作为预处理。然后，利用基于迁移学习的卷积神经网络模型得到了分类结果。Hemdan等人16提出了一种使用改进的VGG19模型的COVIDX-Net来检测COVID-19。Afshar等人17实施了一个名为COVID-CAPS的框架，该框架基于COVID-19检测的胶囊网络。Chowdhury等人18利用深度学习中的TL方法，基于从公共数据库获得的数据集来区分COVID-19和病毒性肺炎。使用 423 例 COVID-19、1458 例病毒性肺炎和 1579 张正常胸片图像，对胸部 x 线图像进行训练。第46卷第3期2023 年 5 月Vol.46 No.3M a y.2 0 2 3安徽师范大学学报（自然科学版）Journal of Anhui Normal University（Natural Science）吕嫄：基于自注意力卷积的新冠肺炎CXR图像识别收稿日期：2023-02-23基金项目：安徽省教育厅科技项目（KJ2020A0914）；安徽省教育厅项目“技术技能型大师工作室”（2020dsgzs40）.作者简介：吕嫄（1983），女，安徽芜湖市人，硕士，高级讲师，主要从事数据挖掘研究.引用格式：吕嫄.基于自注意力卷积的新冠肺炎CXR图像识别 J.安徽师范大学学报（自然科学版），2023，46（3）：217-221.2023 年安 徽 师 范 大 学 学 报（自 然 科 学 版）Mahmud等人19利用深度CNN作为COVXNet，基于不同的扩张率进行修改，进行特征提取、优化、叠加算法和基于梯度的鉴别定位，对 COVID-19 和其他类型的肺炎进行分类。王剑锋等人20提出了一种基于DenseNet模型优化的新冠肺炎CT图像检测算法。陈国祥等人21针对新冠肺炎识别与诊断这一课题，从新冠肺炎特征表征、肺部软组织语义分割及新冠肺炎阳性患者病变位置定位三个层面进行了研究，提出了基于深度学习的新冠肺炎X-ray图像识别算法，并完成了新冠肺炎识别与诊断系统的设计与实现。已完成的研究人员的工作，侧重点在于区分新冠肺炎和普通肺炎之间的区别，忽略了新冠肺炎和病毒性肺炎部分特征之间的相似性，导致新冠肺炎的检测精度达不到更高的标准，因此本文提出了基于注意力的新冠肺炎图像识别方法。1方法本文提出的模型结构如图1所示，主要由卷积神经网络、卷积注意力模块（CBAM）22和分类层三个部分组成。图1基于卷积注意力的网络结构Fig.1Network structure based on convolutional attentionCBAM在特征图的通道上注入两个独立的空间维度，以提高网络的表征能力，关注重要特征，抑制不必要的特征。CBAM可以看作是串联的通道注意模块和空间注意模块。通道注意模块如图2所示，计算过程可以描述如下。Mc(F)=(MLP(AvgPool(F)+MLP(MaxPool(F)=(W1(W0(Fcavg)+W1(W0(Fcmax)（1）其中，为sigmoid函数，W0RC/r C，W1RC/r C。注意，MLP的权重W0和W1都是共享的，W0的激活函数是relu。我们使用深度学习网络模型提取的特征图（772048）作为输入特征F，输入特征F通过基于空间的全局最大池和全局平均池，分别输出两个维度为112048的特征图。然后将它们分别发送到MLP（两层神经网络）中，第一层神经元的数量为C/r（C为通道，r为还原率），激活函数为relu，共享两层神经网络的网络权值。然后，由MLP输出的两个特征映射进行元素级加法操作，并经过sigmoid激活函数生成通道注意特征MC。最后，MC和输入特征映射F进行元素级乘法运算，生成空间注意模块所需的输入特征 F，维度为772048。空间注意模块如图3所示，计算过程可描述如下。Ms(F)=(f7 7(AvgPool(F);MaxPool(F)=(f7 7(Fsavg;Fsmax)（2）其中为sigmoid函数，f7 7表示滤波器大小为77的卷积运算。以通道注意力模块输出的特征图F作为本模块的输入特征图。首先，特征图F通过基于信道的全局最大池化和全局平均池化，输出两个维度为771的特征图，然后对这两个特征图进行元素级乘积操作。然后，用大小为77的滤波器进行卷积操作。将维数降为1个通道，经过sigmoid激活函数生成空间注意力特征MS。最后，将该模块的特征MS和输入特征F相乘，得到最终生成的特征F。218吕嫄：基于自注意力卷积的新冠肺炎CXR图像识别46卷第3期图2通道注意力模块Fig.2Channel attention module图3空间注意力模块Fig.3Spatial attention module2实验2.1COVID-19数据集和评价指标为了验证本文提出的方法的有效性和可行性，我们使用了公开数据库COVIDRD23。该数据集来自卡塔尔大学和孟加拉国达卡大学的一个研究人员团队，以及来自巴基斯坦和马来西亚的合作者与医生合作，创建了COVID-19阳性病例的胸部x光图像以及正常和病毒性肺炎图像数据库。此数据库包含1200张新冠状动脉肺炎、1341张正常和1345张病毒性肺炎胸片（CXR）图像24-25，如图4所示。（a）COVID-19（b）正常（c）病毒性肺炎图4COVIDRD数据集Fig.4COVIDRD data set在这项工作中，为了进行公平的比较，我们随机选择70%的图像作为训练集，10%的图像作为验证集，其余20%的图像作为测试集。为了保证分类器的有效性，我们保证了用于构建训练集和验证集的患者不会被用于测试集。本研究报告的分类结果中使用的评价方法是准确性、敏感性和特异性，敏感性和特异性是可用于报告COVID-19分类模型性能的两个适当指标。在本实验中，敏感性和特异性仅代表COVID-19类的指标，敏感性越高，模型对COVID-19的区分能力越强，定义如下。sensitivity=TPTP+FN（3）specificity=TNTN+FP（4）TP（真阳性）是正确分类的图像的数量，FP（假阳性）是错误的分类图像的数量，FN（假阴性）是图像的数量被检测到一个类作为另一个类，和TN（真阴性）图像的数量不属于一个类，没有被归类为那个类。2192023 年安 徽 师 范 大 学 学 报（自 然 科 学 版）2.2实验结果本文使用ImageNet上的预训练模型来加快模型的训练速度，并采用余弦退火的学习速率衰减策略来帮助模型更快地收敛到最优解。所有实验均是在同一台设备上进行的，并使用特斯拉V100 GPU和CUDA10.2和cuDNN v9进行加速。为证明卷积注意力可以提升模型对COVID-19的准确性、敏感性，我们用原始的深度学习网络和基于卷积注意力的网络对COVIDRD进行训练，训练中所有的配置、学习率、训练次数都保持一致。实验结果如表1和表2所示。表中对比了VGG、MobileNet、InceptionV3、InceptionResNetv2、ResNet等深度学习模型在无卷积注意力和有卷积注意力时对COVIDRD数据集的准确率、敏感性和特异性。MethodVGG16VGG19MobileNetV1MobileNetV2InceptionV3InceptionResNetv2ResNet50V2ResNet50Accuracy0.97680.97949.97420.97420.97940.97940.98200.9820Sensitivity0.99580.98750.99170.99580.99170.99580.99580.9958Specificity0.99630.99811.000.99811.000.99631.001.00表2有卷积注意力模型结果Tab.2Results of model with convolutional attentionMethodVGG16VGG19MobileNetV1MobileNetV2InceptionV3InceptionResNetv2ResNet50V2ResNet50Accuracy0.97680.97160.96390.97160.97680.96520.97550.9768Sensitivity0.97080.97080.97920.98750.99170.97500.97920.9792Specificity0.99811.001.000.99810.99810.99631.001.00表1无卷积注意力模型结果Tab.1Results of model without convolutional attention从表中结果可以看出，在添加了卷积注意力之后，每个网络的准确率都有一定的提高，另外从敏感性的评估可以判别模型对COVID-19阳性样本的识别性能，网络层数较浅的VGG16和VGG19模型的敏感性提高了 2.5%和 1.67%，轻量化模型 MobileNetV1 和 MobileNetV2 的敏感性提高了 1.25%和