嵌入压缩—激励机制ResNet的民族药植物图像识别_周婷.pdf

第 22卷 第 2期2023年 2月Vol.22 No.2Feb.2023软 件 导 刊Software Guide嵌入压缩激励机制ResNet的民族药植物图像识别周婷，杜建强，朱彦陈，冯振乾（江西中医药大学 计算机学院，江西 南昌 330004）摘要：针对民族药植物图像数据集稀缺、样本量少、图像背景复杂以致图像特征提取困难的问题，构建TibetanMP数据集，提出一种嵌入压缩激励机制ResNet并结合迁移学习的图像识别方法。该方法对ResNet34在ImageNet上的预训练模型进行迁移学习，以减少过拟合现象，同时在网络浅层中引入SE机制，使网络聚焦图像中的关键特征，最后对模型进行微调。为了评估所提方法的性能，在TibetanMP、Oxford 102 flowers和CIFAR-10数据集上进行实验，模型分别取得96.33%、98.81%和91.92%的识别准确率。与其他主流CNN图像识别模型进行比较，发现该模型具有更高的识别精度，具有一定的工程实用性。关键词：图像识别；民族药植物图像；ResNet；压缩激励；迁移学习DOI：10.11907/rjdk.221181开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP391.4 文献标识码：A 文章编号：1672-7800（2023）002-0001-07Image Recognition of Ethnic Medicinal Plants Embedding Squeeze-and-Excitation Mechanism ResNetZHOU Ting，DU Jian-qiang，ZHU Yan-chen，FENG Zhen-qian（College of Computer Science，Jiangxi University of Chinese Medicine，Nanchang 330004，China）Abstract：Aiming at the problems of scarcity of ethnic medicinal plants image data set，small sample size complex image background，which make image feature extraction difficult，the TibetanMP data set is constructed and an image recognition method with embedded Squeeze-and-Excitation mechanism ResNet combined with transfer learning was proposed.In this method，the pre-training model of ResNet34 on ImageNet is transferred to reduce the over-fitting phenomenon.Meanwhile，SE mechanism is introduced in the shallow layer of the network to focus the key features in the image.Finally，the model is fine-tuned.In order to evaluate the performance of the proposed method，on the TibetanMP，Oxford 102 flowers and CIFAR-10 datasets，the model achieved recognition accuracy of 96.33%，98.81%and 91.92%，respectively.Compared with other mainstream CNN image recognition models，this model has higher recognition accuracy.Experiments show that this method can effectively improve the image recognition performance of ethnic medicinal plants，and has certain engineering practicability.Key Words：image recognition；ethnic medicinal plants images；ResNet；squeeze and excitation；transfer learning0 引言中国拥有世界上最丰富的药用植物资源，对药用植物的发掘、使用和栽培有着悠久的历史1。民族药是传统医药的重要组成部分，包括藏药、蒙药、维药、彝药、傣药、壮药、瑶药、苗药等在内的药品数量达8 000余种2，在防病治病和卫生保健事业中发挥着重要作用。在实际应用中，收稿日期：2022-02-24基金项目：国家重点研发计划项目（2019YFC1712301）；国家自然科学基金项目（62141202）；江西省自然科学基金项目（20202BAB202019）；江西省一流学科建设科研启动基金专项（JXSYLXK-ZHYI060）；江西省教育厅科学技术研究项目（GJJ190683）；江西省教育厅科学技术研究项目（GJJ150862）；江西省研究生创新专项（YC2020-S370）作者简介：周婷（1996-），女，江西中医药大学计算机学院硕士研究生，研究方向为图像识别、数据挖掘；杜建强（1968-），男，江西中医药大学计算机学院教授、博士生导师，研究方向为医药大数据与人工智能、自然语言处理；朱彦陈（1980-），男，江西中医药大学计算机学院副教授、硕士生导师，研究方向为图像处理；冯振乾（1997-），男，江西中医药大学计算机学院硕士研究生，研究方向为机器视觉。本文通讯作者：杜建强。2023 年软 件 导 刊民族药主要依靠专业人员的感官和经验进行识别，这种人工识别方法工作繁琐、效率低，且具有一定的主观性，常会有误判现象。因此，探索一种智能化、高效率、高准确性的方法实现对民族药的自动识别具有重要现实意义。图像识别是计算机视觉领域的一个重要分支，其包含的特征提取和图像分类技术有助于民族药的识别。在传统机器学习中，研究人员提出局部二值模式（Local Binary Pattern，LBP）3、尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）4、基于 FAST 角点的特征点检测（Oriented Fast and Rotated Brief，ORB）5和Gabor滤波6等方法对图像进行特征提取。而图像分类通常使用支持向量机（Support Vector Machine，SVM）7、随机森林（Random Forest，RF）8、K 近邻（K-Nearest Neighbor，KNN）9和反向 传 播 神 经 网 络（Back Propagation Neural Network，BPNN）10等方法。然而，传统的图像识别方法依赖人为设计特征，无法提取到图像的高级语义特征11。近年来，深度学习技术在图像识别中广泛应用，其能很好地将底层特征映射到高层领域，得到更加本质的特征表 示。自 2012 年 以 后，AlexNet12、VGGNet13、GoogLeNet14、ResNet15等经典神经网络模型被相继提出，许多研究者开始将卷积神经网络（Convolutional Neural Network，CNN）应用于植物图像识别中。例如，Lee等16采用反卷积网络从 44种植物图像中学习识别特征，证明了通过 CNN 学习特征优于传统的手动提取特征；冯海林等17使用AlexNet等4个网络模型在大数据集ImageNet18上进行预训练，迁移到目标树种数据集上，将训练得到的4个CNN集成得到最终模型，较大提升了复杂背景的树种图像识别精度；何欣等19在 ResNet18网络基础上引入多卷积以提升网络的特征提取能力，对一般程度葡萄叶片病害的识别准确率较高，对严重程度的病害识别率有所下降，模型的鲁棒性尚不够；Zhu等20提出一种改进的深度卷积神经网络用于对植物叶片特征的识别，将原始图像分割成子图像加载到网络中，获得了较高的识别率，但对于复杂环境中小物体进行检测和分类的效果则不如简单背景；张帅等21通过构建8层CNN对简单背景和复杂背景的植物叶片图像进行识别，发现对简单背景下的图像识别效果较好，但复杂背景下的识别率较低。目前，利用深度学习技术对民族药图像进行识别分类尚有许多亟需解决的问题。一方面，民族药分布广泛、生长环境特殊、品种稀缺等原因给民族药植物图片的采集增加了难度，数据集样本量较少，易导致网络过拟合；另一方面，所采集到的民族药植物图像大多具有土壤、石头、杂草、枯叶等不能表征类别的无效区域，加大了图像特征提取的难度。为解决上述问题，本文自建民族药植物图像数据集，结合民族药植物图像数据的特点，提出嵌入压缩激励（Squeeze and Excitation，SE）机制的 ResNet 结合迁移学习的图像识别方法（SE-ResNet34-Transfer）。该方法在ResNet34网络的浅层部分引入 SE机制，实现浅层细粒度特征与深层高级语义特征的融合，有效提升模型在背景复杂图像中的特征表现力；同时采用模型参数迁移对网络微调训练的方式，减少小样本数据集对网络性能的影响；最后通过多个数据集上的多组比较实验，证明了该方法的有效性。1 相关方法1.1ResNetResNet的核心为残差块，加入的残差连接直接将输入信息通过跳跃结构传给输出，一定程度上保留了信息的完整性，提高了网络的映射能力，从而缓解CNN中由于层数增加导致梯度消失的网络退化问题。假设x为网络输入，H(x)为对应的输出，当输入维度与输出维度一致时，残差连接可以表示为H(x)=F(x)+x，转化为学习的残差函数F(x)=H(x)-x，若残差为 0，存在恒等映射H(x)=x，即通过拟合残差拟合恒等映射关系。图1为ResNet中的一个残差块。对于输入样本x，通过网络层后得到的输出为：F(x，W)=W2(W1x)（1）式中，W、W1、W2表示权重，表示ReLU激活函数22。将该输出与原始输入x相加，得到网络的最终输出为：y=(F(x，W)+x)（2）式中，y为网络的输出向量，F(x，W)为待学习的残差映射。公式（3）为残差块在反向传播时的梯度计算表达式，在梯度计算中每个导数值加1，一定程度上解决了由于网络深度增加，误差反向传播过程中导数连乘后的梯度值逐渐增大或减小，最终出现的梯度爆炸或弥散问题，使网络有效地进行反向传播。H(x)x=F(x)x+1（3）1.2SE机制SENet23中提出一种能够使网络对特征进行校准的SE机制，其通过学习卷积中不同特征通道的重要性赋予各通道不同的权重，即关注信息量大的有效通道特征，抑制不重要的通道特征，进而提升网络模型的特征表现力。如图2所示，SE模块主要包含压缩（Squeeze）和激励（Excitation）两个模块，假设卷积得到的特征图大小为W H Weight layerWeight layer()xxF+()xFxReluxRelu Fig.1ResNet residual module图1ResNet残差模块 2第 2 期周婷，杜建强，朱彦陈，等：嵌入压缩激励机制ResNet的民族药植物图像识别C，W和H分别表示特征图的宽和长，C表示通道数。首先对特征图在空间维度W H上进行压缩操作得到1 1 C的向量，即通过一个全局平均池化（Global Average Pooling）得到通道级的全局特征，压缩模块的公式为：zc=Fsq(uc)=1H Wi=1Hj=1Wuc(i，j)（4）式中，zc表示压缩操作输出特征图，uc表示输入特征图，Fs