基于卷积神经网络的牧草种子图像识别_何欣.pdf

DOI:10.11829/j.issn.1001-0629.2022-0504何欣，王雪萌，张涵，宋瑞，田沛鑫，刘萍，毛培胜，贾善刚.基于卷积神经网络的牧草种子图像识别.草业科学,2022,39(11):2338-2349.HEX,WANGXM,ZHANGH,SONGR,TIANPX,LIUP,MAOPS,JIASG.Convolutionalneuralnetwork-basedimagerecognitionofforageseeds.PrataculturalScience,2022,39(11):2338-2349.基于卷积神经网络的牧草种子图像识别何欣，王雪萌，张涵，宋瑞，田沛鑫，刘萍，毛培胜，贾善刚（中国农业大学草业科学与技术学院,北京100091）摘要：传统的灰度图像处理方式会降低数据集的复杂性，进而降低模型识别相似种子的准确率。因此，将卷积神经网络中传统的图像灰质化处理方法改进为归一化典型判别分析(nCDA)算法与卷积神经网络(CNN)相结合的方法(CNN-nCDA)，该方法基于多光谱仪采集的种子图像信息，以深度学习框架 TensorFlow 为基础，利用卷积神经网络构建种子识别算法，可区分高相似度牧草种子。结果表明，仅依靠传统灰度图难以区分形态相似的种子(62.11%72.5%)，而采用 CNN-nCDA 策略对不同类别种子分类的准确率可达 100.0%，优于单独使用 nCDA(90.0%100.0%)、线性判别分析(LDA)(97.3%100.0%)、支持向量机(SVM)(92.4%97.5%)的准确率。综上所述，多光谱成像技术中的 nCDA 算法与卷积神经网络相结合技术，具有较高的校准和验证能力，对现场快速筛选种子具有良好的应用前景。关键词：TensorFlow；卷积神经网络；多光谱；种子识别；图像识别；牧草种子文献标志码：A文章编号：1001-0629(2022)11-2338-12Convolutional neural network-based image recognition of forage seedsHEXin,WANGXuemeng,ZHANGHan,SONGRui,TIANPeixin,LIUPing,MAOPeisheng,JIAShangang(CollegeofGrasslandScienceandTechnology,ChinaAgriculturalUniversity,Beijing100191,China)Abstract:Thetraditionalmethodofseedidentificationbasedongrayscaleimageprocessingreducesimagedatacomplexityandpredictionaccuracy.Thisstudyimprovedthismethodtoamoreefficientmethodnamedconvolutionalneuralnetworkscombinedwithnormalizedcanonicaldiscriminantanalysis(CNN-nCDA),whichcombinestwotechniques,nCDAandCNN.CNN-nCDAemploysthedeeplearningframeworkTensorFlowtodistinguishforageseedsbasedonmultispectralimaging,and its seed recognition algorithm is conducted by CNN.The results showed that for seed identification with similarmorphology,theaccuracyrateoftheCNN-nCDAstrategycouldreach100.0%.Thisisavastimprovementovertraditionalgrayscaleimageprocessing(62.11%72.5%),nCDA(90.0%100.0%),lineardiscriminationanalysis(97.3%100.0%),andsupportvectormachine(92.4%97.5%).Inconclusion,theCNN-nCDAstrategyhashighcalibrationandverificationcapabilitiesandholdspromiseforthepurposeofrapidseedidentification.Keywords:TensorFlow;convolutionalneuralnetworks;multispectral;seedidentification;imageidentification;forageseedsCorresponding author:JIAShangangE-mail:收稿日期：2022-06-18接受日期：2022-08-22基金项目：现代农业产业技术体系(CARS-34)；中国农业大学基本业务费(2019TC257、2020TC189)第一作者：何欣(2001-)，女，浙江武义人，在读本科生，研究方向为牧草种子学。E-mail:通信作者：贾善刚(1980-)，男，山东龙口人，副教授，博士，研究方向为牧草种子学。E-mail:2338-2349草业科学第39卷第11期11/2022PRATACULTURALSCIENCEVol.39,No.11http:/种子是农业生产过程的重要生产资料，其品质对农业经济有着至关重要的影响1。牧草种子物种数量众多，草种形态多样且信息量大，特别是部分物种在形态上相似度较高，如紫花苜蓿(Medicagosativa)与黄花草木樨(Melilotus officinalis)种子等，相似的形态给物种识别增大了难度2。种子老化是种子活力自然衰退的过程3，具体表现为种子变色、发芽率低、生长势差、作物减产等4。除此之外，豆科植物种子的物理休眠(硬实种子)也是影响种子出苗的重要因素之一，这是由于种皮(或果皮)致密组织阻碍了种子吸水从而抑制种子萌发的现象5，在实际生产中种子的硬实性会导致出苗时间长及出苗不整齐等问题6-7。随着种子产量和进口量的不断增加，种子混杂可能发生在播种、脱粒、运输、交易、储藏等环节8，导致作物产量和品质受损。种子纯度与真伪鉴别是品种选育、质量检测以及农业生产的重要环节1，然而老化种子和硬实种子与正常种子相比在外部形态上几乎没有差异，给种子检测工作带来了巨大的困难。如今，对形态相似种子的鉴别技术多种多样9，但这些方法通常局限于特定的某两个或几个物种，难以实现快速普及和准确鉴别，且对种子具有破坏性、成本较高，此外人工操作对技术人员的专业素质水平要求高，导致种子检测存在主观性的误差10。卷 积 神 经 网 络(convolutional neural networks,CNN)通常包括输入层、卷积层、池化层、全连接层、输出层，通过多层结构不断降低数据量庞大问题的维度，实现数据集的训练学习11,12。目前，构建 CNN 来识别种子有许多成功案例，例如，利用优化 完 成 后 的 CNN 筛 选 花 生(Arachis hypogaea)种子，准确率为 98.21%13；利用分水岭算法结合 CNN模型对玉米(Zea mays)种子进行质量检测，测试结果显示鉴别两类种子平均准确率达到 94.18%14；基于多层卷积神经网络构建的禾本科牧草种子分类识别模型，发现该模型对 10 类纹理特征极为相似的禾本科牧草种子图像的识别率达到 91.67%，比其他方法高出 7%44%15。多光谱成像(multispectralimaging,MSI)技术是一种新型的分析检测技术，结合了空间成像系统和光谱探测系统，可同时获取被测物的光谱和空间信息，具有简便、实用、检测成本较低和无破坏性等优点16。nCDA 是一个基于 MSI 变换的监督模型，其策略是最小化类内观测距离，和最大化类间观测距离17。研究表明，应用多光谱成像技术结合多元分析模型实现了紫花苜蓿和草木樨种子的快速无损检测18，结果显示 LDA 模型检验效果最好，验证集的正确率高达 99.58%。使用 nCDA 分类的方法对11 个番茄(Lycopersicon esculentum)品种进行识别和分类，准确率达到 80%100%19。此外，多光谱技术可以保证种子活力和生活力测定的准确性，通过对蓖麻(Ricinus communis)种子的研究发现，nCDA模型区分死种子和活种子的准确率为 96%，四唑染色试验得到了相同分类结果，证明多光谱技术在种子质量检测方面存在巨大的发展潜力20。目前国内外使用多光谱结合多元分析技术和卷积神经网络的研究主要集中在农作物籽粒如玉米、水稻(Oryzasativa)、花生等方面13-14,21，而用来鉴别牧草种子活力、区分牧草种子品种的研究较少。为此，以形态差异明显的种子 紫花苜蓿和燕麦(Avena sativa)种子、形态差异小的种子(紫花苜蓿和草木樨种子)、同一品种不同状态种子(紫花苜蓿硬实种子与非硬实种子以及老化种子与未老化种子)为研究对象，基于 TensorFlow 深度学习框架构建深度卷积神经网络模型并结合 nCDA 算法(CNN-nCDA)，利用多光谱成像技术采集的种子图像信息对模型进行训练，使模型具有自动区分种子类别的能力，通过测试 CNN-nCDA 的表现，并比较不同算法识别种子的正确率，以期提出高效、无损鉴别种子技术，为草种业健康发展提供理论基础。1 材料与方法 1.1 试验环境模型的训练在 TensorFlow 框架下完成，硬件环境：AMDRyzen53550H 主板；联想 LNVNB161216(3827)，16GBDDR42666Samsung 内存；AMDRadeon(TM)Vega8Graphics1GB 显存。软件环境：Python3.9.5；TensorFlow2.7.0；Windows1064位操作系统；编程语言为 Python。1.2 试验材料紫花苜蓿、燕麦和草木樨种子均由中国农业农村部牧草与草坪草种子质量监督检验测试中心(北第11期何欣等：基于卷积神经网络的牧草种子图像识别2339http:/京)提供。试验材料中苜 2 号，2017 年从内蒙古鄂托克旗赛乌素紫花苜蓿种子田收获。2019 年 11 月将含水量调至 10%的紫花苜蓿种子置于 45、湿度100%条件下对种子进行 14d 的人工加速老化处理，之后密封于防水袋，放置于 20 环境保存。然后对未老化种子及老化 14d 的 2 组种子，各取 100粒进行多光谱数据采集。硬实种子是通过发芽试验从紫花苜蓿种子中筛选获得的。首先采集种子的多光谱图像并按顺序将种子逐一摆盘，按照中华人民共和国国家标准草种子检验规程发芽试验(GB/T2930.42017)的规定，将种子置于 11cm11cm 的培养皿中，于 20的培养箱(光照 16h、黑暗 8h)中发芽，按照编号筛选出硬实种子。1.3 多光谱图像获取使用多光谱仪(VideometerLab,VideometerA/S,Herlev,Denmark)进行种子图像的获取。在采集光谱信息前，系统预热 30min 以避免周围环境干扰，确保得到稳定的样品信息。50 粒种子为一组置于培养皿中放置在一个空心积分球下。在图像采集过程中，球体在采样台上闭合，创造光学闭合条件，从而完成图像信息的采集，获得种子的 RGB 图像(图 1A)。1.4 图像预处理在获取光谱图像时，主要的目标是种子，所以需要通过背景分割的方法去除背景，完成图片背景均一化(图 1B)，并将每粒种子的图片按相同的比例分割出来，存入相应的文件夹中(图 1C)，每一类别各取种子图片 200 张。上述操作均在 VideometerLab软件中执行。1.5 数据增强本研究原采用传统方法将图片统一灰质化后