基于SE-ResNeXt的苹果叶片分类方法_白旭光.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第1期总第329期0引言苹果的种植资源非常丰富，世界各地都有栽培。根据西汉司马相如的 上林赋 记载，中国最早的苹果栽培历史可以追溯到公元前125年，到现在的2000多年里，苹果新品种不断被选育，导致苹果品种混杂频繁，苹果产业效益低。因此，如何高效、简便、准确地识别苹果品种是一个重要课题，对优质苹果品种的推广与苹果产业的发展至关重要。传统的苹果品种分类方法，需要苹果种植户或育种人员依靠自己的直觉和专业知识对果园中的果实、树木、树枝和树叶的植物学特征进行现场观察和分析，这种方法过多依赖人员的知识经验储备和主观判断，此外由于不可量化，并不适合在大规模的果园中使用；另一种方法是依靠专业人员在实验室中使用物理、化学和生物技术分析苹果的理化性质从而识别苹果品种，这种方法不仅昂贵和耗时，且对普通种植者非常不友好。目前，随着数字图像处理技术和计算机视觉技术在农业中的应用，人们提出并研究了许多利用植物叶片图像进行植物分类的机器学习方法，如k-最近邻（KNN）、决策树、支持向量机（SVM）1-8。传统的机器学习方法需要人工设计和提取判别特征，而人工提取的特征在不同植物间的迁移性较差，因此不同植物品种需要设计不同的判别特征。受人工特征选择的影响，传统机器学习模型的稳定性、鲁棒性与泛化性较差，无法满足实际科研和生产的需要。近年来，卷积神经网络（CNN）已发展成为计算机模式识别任务的最佳分类方法之一，判别特征不再需要人工设计，而是由卷积神经网络通过多次卷积操作自动提取图像中的低维和高维特征。卷积神经网络在基于图像识别中的突破性应用激发了其在智慧农业中植物分基于SE-ResNeXt的苹果叶片分类方法白旭光，刘成忠，韩俊英，高嘉蒙，陈俊康（甘肃农业大学信息科学技术学院，甘肃 兰州 730070）摘要：基于现有深度学习技术，采用基于残差神经网络ResNet的变体SE-ResNeXt，构建可以自动进行苹果品种分类的卷积神经网络模型，并基于迁移学习方法训练模型。数据来源于甘肃省静宁县苹果产业基地拍摄的20类苹果叶片图像，其中每类苹果叶的图片数据量为 50 幅，合计 1000 幅。在该数据集上，对 ResNet50、ResNet101、SE-ResNet50、SE-ResNet101、SE-ResNeXt50、SE-ResNeXt101这6个模型进行对比实验。结果表明，SE-ResNeXt101的结果优于其它对比模型，最高准确率达到97.5，单张图片推断时间仅0.125 s。本文方法为今后苹果种植过程中高效、准确地识别苹果品种提供了一种手段，对辅助农技科研与苹果种植具有较大的帮助作用。关键词：深度学习；残差神经网络；迁移学习；苹果分类；苹果叶片图像中图分类号：S323；TP183文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.01.004Classification Method of Small Sample Apple Leaves Based on SE-ResNeXtBAI Xu-guang，LIU Cheng-zhong，HAN Jun-ying，GAO Jia-meng，CHEN Jun-kang（College of Information Science and Technology，Gansu Agricultural University，Lanzhou 730070，China）Abstract：Based on the existing deep learning technology，this study adopts the variant SE-ResNeXt based on residual neuralnetwork to construct a convolutional neural network model wich can automatically classify apple varieties and train the modelbased on transfer learning method.The data is taken from 20 types apple leaves images taken at the Apple Industry Base in Jingning County，Gansu Province.There are 50 pictures of each type of apple leaves，1000 pictures in total.On this dataset，six models，likes ResNet50，ResNet101，SE-ResNet50，SE-ResNet101，SE-ResNeXt50 and SE-ResNeXt101，are carried out comparison experiments.The results show that SE-ResNeXt101 outperforms other comparison models，with the highest accuracy rate of97.5%and the inference time of single image only 0.125 s.The method proposed in this paper provides a mean for identifyingapple varieties efficiently and accurately in the future，and can be a great help for assisting agricultural research and apple planting.Key words：deep learning；residual neural network；transfer learning；apple classification；apple leaf image文章编号：1006-2475（2023）01-0018-06收稿日期：2021-12-13；修回日期：2022-03-16基金项目：甘肃省高等学校创新基金资助项目（2021A-056）;甘肃省自然科学基金资助项目（20JR5RA023）;甘肃省高等学校产业支撑计划项目（2021CYZC-57）;甘肃农业大学研究生重点课程建设项目（GSAU-ZDKC-2006）作者简介：白旭光（1988），男，甘肃镇原人，硕士研究生，研究方向:农业信息技术，E-mail:；通信作者:刘成忠（1969），男，甘肃天祝人，教授，硕士生导师，硕士，研究方向:人工智能，农业信息技术等，E-mail:。2023年第1期类和识别研究中的广泛应用。近年来，国内外针对植物叶片图像识别的研究取得了不错的成果。Yalcin等9提出了一种卷积神经网络结构，使用叶子图像对不同的作物进行分类。郑一力等10通过使用Inception V3预训练模型得到的植物叶片图像测试集准确率为95.40%，有效提高了识别准确率。Dyrmann等11通过使用卷积神经网络，对22种处于早期生长阶段的杂草和作物图像训练和测试，分类准确率达到 86.2%。Lee等12提出了一种基于植物多器官的卷积神经网络HGO-CNN，通过融合植物器官和植物整体的信息，支持使用不同数量的植物图像进行分类，在PlantClef 2015基准测试中的表现优于其他网络。郑艳梅等13使用 BiseNet卷积神经网络对苹果叶片图像自动分割，并进行引导滤波处理，对174种苹果叶片试验，精确率达到98.99%。李鑫然等 14 提出一种改进的Faster RCNN模型，对5种苹果叶片病害进行检测，平均精度均值达82.48%。周宏威等 15 通过构建VGG16、ResNet50、Inception V3这3种神经网络模型，使用迁移学习的方法，对5种病害苹果叶片进行识别，精度分别达到97.67%、95.34%和100%。以上研究中，基于叶子图像输入的卷积神经网络对植物进行分类已经成为智慧农业中的一个焦点与挑战，引起了全球学者及从业人员的广泛关注，但目前该方向仍处于起步阶段，相关研究成果较少，特别是在特定植物品种上。因此，本文从实际生产与研究问题出发，以主流的苹果品种为研究对象，使用深度残差网络SE-ResNeXt101，基于深度学习提出一种基于苹果叶片图像的苹果品种分类方法，用于解决科学研究与实际生产中的苹果品种分类问题。1材料与方法1.1样本数据集将采用尼康COOLPIX B700数码相机在位于甘肃省平凉市静宁县的苹果产业基地所拍摄的苹果成熟叶片作为图像数据集。苹果叶片图像数据集包含20 种苹果，分别为（a）宝斯库普、（b）紫云、（c）西伯利亚白点、（d）花奎、（e）金花、（f）甜黄魁、（g）战寒香、（h）甜帅、（i）帕顿、（j）早生赤、（k）伏红、（l）毕斯马克、（m）60-15-9、（n）维斯塔贝拉、（o）齐河短金冠、（p）矮黄、（q）1192、（r）矮红（荷兰）、（s）张家口短枝、（t）红星。对存在背景干扰的图片使用GrabCut算法分割图像提取苹果叶片目标，剔除背景干扰，优化模型从而对目标识别。20种苹果叶片类别如图1所示。（a）宝斯库普（b）紫云（c）西伯利亚白点（d）花奎（e）金花（f）甜黄魁（g）战寒香（h）甜帅（i）帕顿（j）早生赤（k）伏红（l）毕斯马克（m）60-15-9（n）维斯塔（o）齐河短（p）矮黄（q）1192（r）矮红（s）张家口（t）红星贝拉金冠（荷兰）短枝数据集共包含20个苹果品种，每个品种有50幅苹果叶片图像，按照8:2的方式分离为训练集与测试集。对训练集进行随机数据增强处理，缓解了原数据集数据量过少的问题。对苹果叶片图像良好的数据增强操作会提高模型的精度，降低模型的运行开销。分析数据集样本的数量、分布和一致性。针对数据集数据量较少的问题，在保证不丢失数据特征信息的情况下增强数据特征。通过随机缩放策略将图片缩放至不同大小，在不改变模型的前提下改变了模型的感受野，模型可以提取更多特征；通过随机旋转策略和随机水平和垂直翻转策略来模拟从不同角度拍摄的图片；通过向图片中添加适量的高斯噪声来扭曲图片的低频和高频特征，增强模型的学习能力，提高模型的泛化能力与鲁棒性。1.2模型方法模型训练的总体结构如图2所示。将拍摄的不同种类苹果叶片图像数据预处理，按照8:2的比例随机分成训练集和测试集，并对训练集图像进行数据增强。使用基于 SE-ResNeXt101 的迁移学习（TransferLearning）模型，将训练集数据导入模型训练，在所有的训练结束后使用测试集检验模型最终的精确度（Accuracy）与损失率（Loss）。至此，得到基于苹果叶片图像数据集的苹果品种分类模型。该模型是一种卷积神经网络模型，在模型训练的过程中，每张图像都以3224224的尺寸依次输入模型，模型通过多层卷积操作可以提取出图像从低级到高级的复杂特征。在初始卷积阶段获取图像局部、细节信息；深层卷积阶段获取图像复杂、抽象的信息；经过所有卷积层的卷积操作最终得到特征矩阵（Feature Map），再通过全连接层（Fully Connected Layer）与 Softmax 函数将分类结果转化成概率分布，从而实现苹果叶片品种的分类。SE-ResNeXt10116深度卷积神经网络模型是由ResNet网络的变体ResNeXt16网络以及在残差结构图120类苹果叶片图像白旭光，等：基于SE-ResNeXt的苹果叶片分类方法19计算机与现代化2023年第1期（Residual Block）中添加SE（Squeeze and Excitation）模块组成，101指网络的深度为101层。理论上不断扩展网络的深度，可以让网络学习到更多维度的信息，提升网络的最终学习效果。但在实际情况中一味扩展网络的深度会造成梯度消失（Vanishing Gradi