基于深度学习的马铃薯病害智能识别_陈从平.pdf

基金项目:国家重点研发计划项目(2018YFC1903101)收稿日期:20210419修回日期:20210422第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02021404基于深度学习的马铃薯病害智能识别陈从平1，钮嘉炜1，丁坤1，姜金涛2(1 常州大学机械与轨道交通学院，江苏 常州 213164;2 内蒙古智诚物联股份有限公司，内蒙古 乌兰察布 012000)摘要:针对现有通过叶片病斑识别马铃薯病害的方法中，只对简单背景下的单片叶片进行病害识别处理，难以应用于真实复杂环境的问题，提出了一种基于深度学习的现场环境下马铃薯病害智能识别的方法。首先采用 Deeplab v3+语义分割网络在生长背景中分割出马铃薯叶片，然后使用自适应对比度增强和颜色空间转换的方法提取马铃薯病斑，最后结合病斑的纹理特征和 VGG16 网络提取的特征，通过搭建一维卷积神经网络识别出病害。实验结果表明，上述方法能准确有效地识别复杂背景下的马铃薯病害。关键词:病害识别;语义分割;特征融合中图分类号:TP183文献标识码:BIntelligent Identification of Potato Diseases Based on Deep LearningCHEN Congping1，NIU Jiawei1，DING Kun1，JIANG Jintao2(1 School of Mechanical Engineering and ail Transit，Changzhou University，Changzhou Jiangsu 213164，China;2 Inner Mongolia Zhicheng IOT Co，Ltd，Ulanqab Inner Mongolia 012000，China)ABSTACT:In view of the existing methods of identifying potato diseases by leaf spot，it is difficult to apply to a realand complex environment，and only a single leaf under simple background is identified and processed A method of in-telligent identification of potato diseases in a field environment based on deep learning is proposed First，the Deeplabv3+semantic segmentation network was used to segment the potato leaves in the growing background，and then the po-tato lesions were extracted using the method of adaptive contrast enhancement and color space conversion Finally，combining the texture features of the lesions and the features extracted by the VGG16 network，the disease was identi-fied by building a onedimensional convolutional neural network Experimental results show that this method can ac-curately and effectively identify potato diseases in a complex backgroundKEYWODS:Disease recognition;Semantic segmentation;Feature fusion1引言马铃薯生长过程中出现的各种病害严重影响了马铃薯的产量和品质，在大面积、无人化种植的情况下，需要通过信息化、自动化的手段来识别马铃薯生长过程中的病害，以提高马铃薯病害诊断的实时性与准确性。机器视觉是目前用于监测作物生长期病害有效的技术手段之一，其原理主要是通过识别作物叶片病斑特征来对其进行病害诊断。在使用传统机器学习方法识别作物病害方面，范 振 军 等1 根 据 SIFT(Oriented FAST and otatedBIEF)2 和 OB(Scale Invariant Feature Transform)3 关键特征点提取病害的 OI 区域，基于支持向量机(SVM)分类器融合纹理和颜色特征实现马铃薯病害识别。赵建敏等4 使用最大类间方差法(OTSU)分割出马铃薯叶片中的病斑，再提取病斑颜色、形状和纹理特征使用 SVM 分类器完成马铃薯病害识别。Mohammadpoor 等5 使用模糊 C 均值算法突出显示每片葡萄叶的患病区域，最后使用 SVM 判断葡萄叶片是否患病。在使用深度学习方法识别作物病害方面，胡志伟等6 基于注意力卷积块和残差卷积块提出注意力残差网络ANet(Attention residual network)，采用 44295 张图片训练模型，实现番茄病害的识别。Bin Liu 等7 采集和扩充了107366 幅葡萄叶图像，搭建密集的 Inception 卷积神经网络(DICNN)模型，能有效地识别葡萄叶病害。Wan jie 等8 提出了一种基于 CNN 的稻瘟病诊断系统，该模型在 5808 张患412病图像的数据集上进行了训练，在识别准确度方面实现了令人满意的性能。然而，虽然上述研究方法都能够在一定程度上有效地识别相应的病害，但均是以人工采摘出的独立叶片图像作为样本，忽略了作物生长环境中背景图像的干扰信息，而实际监测应该在真实的种植环境中进行，需要在复杂的背景下分割出叶片及叶片上的病斑图像，这给该技术的实际应用带来了极大的挑战。本文以机器视觉在线监测马铃薯在真实的生长环境下的病害为研究对象，着重解决马铃薯叶片、病斑分割、病斑特征提取、病害类型诊断等关键技术问题。首先采用深度学习方法从复杂背景中分割出马铃薯叶片，经自适应增强后将叶片补图转换到 HSV 颜色空间，通过对补图的 H 分量像素值重新赋值实现病斑提取;最后构建一维卷积神经网络实现马铃薯病害的识别。2复杂背景下马铃薯叶片分割由于实际场景中的马铃薯叶片处于复杂背景下，需要提取丰富的语义信息才能将叶片与背景准确分割。深度学习具有强大的语义提取功能，其中基于深度学习的 DeepLabv3+网络采用了空间金字塔池化模块，能够在多尺度下获取马铃薯叶片图像的语义特征信息，提高了分割的准确率9，因此本文选择 DeepLabv3+网络完成复杂背景下马铃薯叶片的分割。2.1数据集制作在实际场景中拍摄 600 幅含病斑的马铃薯叶片图像，然后通过旋转、平移、亮度调整等操作将图像数量扩充至 2000幅，其中 1700 幅图像用于训练马铃薯叶片分割模型，300 幅图像用于训练和测试马铃薯病害识别模型，最后将图像调整为 224224 分辨率，部分样本如图 1 所示。图 1马铃薯叶片图像2.2语义分割模型DeepLabv3+结构如图 2 所示，首先图像在 Encoder 部分经过 Xception 的特征提取模块提取特征图像，再将特征图像通过空间金字塔池化模块(ASPP)实现多尺度特征提取，最后使用 11 的卷积完成通道的压缩。在 Decoder 模块中，先将 Encoder 模块得到的特征信息通过 4 倍的上采样操作，后与 Xception 提取的特征信息经过 11 的卷积降维后进行拼接，再通过 33 的卷积进行特征融合，最后采用 4 倍上采样。对搭建的 DeepLabv3+网络模型进行训练，并用训练好的网络对马铃薯叶片进行分割，部分结果如图 3 所示，可见获得了良好的分割效果。图 2DeepLabv3+网络结构图 3叶片分割3病斑提取马铃薯病害类型主要由叶片病斑特征来体现，因而在诊断之前，还需要将病斑从叶片中分割。为提高病斑分割时边缘的准确性，首先对叶片图像进行增强，再求其补图，进一步转换到 HSV 颜色空间下，最后根据 H 分量对其上的病斑进行提取。3.1自适应对比度增强由于已分割出来的叶片图像为 GB 彩色图像，如果纯粹的分别对、G、B 三通道分量图像增强，并直接对增强后的三通道分量图像合并则会引起图像色相的变化，其图像颜色会发生改变，因此为解决增强后图像色相发生变化，首先将叶片图像由 GB 颜色空间转换成 HIS 颜色空间，而 H 和 S通道分别表示色调和饱和度不需要对其增强，所以只需对 I(亮度)通道分量图像进行对比度增强。512设 I(i，j)为(2n+1)(2n+1)像素大小的窗口中心点的像素值，则点(i，j)的 2n+1 邻域内像素平均值 m(i，j)和标准方差 分别为m(i，j)=1(2n+1)2i+nk=inj+nl=jnI(k，l)(1)=1(2n+1)2i+nk=inj+nl=jn(I(k，l)m(i，j)2(2)其中 n 为非负整数，k 和 l 表示为在(2n+1)(2n+1)像素大小的窗口内的坐标值。令 为 I 分量图像的全局像素平均值，为 0，1 区间的参数值，则对 I(i，j)增强后的像素值 G(i，j)可表示为G(i，j)=*(I(i，j)m(i，j)+m(i，j)(3)对增强后的 I 通道分量图像与 H、S 通道分量图像重新合并，再转换合并后的图像颜色空间，由 HIS 颜色空间转换为 GB 颜色空间，完成叶片图像的对比度增强。设对比度增强后图像为 Q，因为图像 Q 是、G、B 三通道图像，则其任意通道的互补像素值 C(i，j)可表示为C(i，j)=255 Q(i，j)(4)图像 Q 经过式(4)分别求出其、G、B 三通道分量图像的互补图像，对求出的各个分量的互补图像合并，最终得到图像 Q 的补图。3.2病斑分割对自适应对比度增强后的叶片图像求出的补图进一步的利用颜色空间转换，转换到 HSV 颜色空间下，然后提取 H分量，按式(5)对 H 分量重新赋值，进而获得病斑图像，并经形态学操作去除病斑周围可能存在的部分噪点，提取出完整的病斑，其过程和结果如图 4 所示。H i，j=0if H i，j Hmean()H i，j=255if H i，j Hmean()(5)其中 H(i，j)表示对某像素点 H 分量的赋值，Hmean()表示H 分量的平均像素值。图 4病斑提取过程4病斑特征提取马铃薯病害主要为早疫病和晚疫病，其病斑具有丰富的纹理、颜色和形状特征，其中，在纹理方面，早疫病会出现同心轮纹，而晚疫病没有类似的轮纹状纹理，因而该类特征易于用模型来量化描述;在颜色和形状方面，这两种病害的病斑均近似为褐色，且都近似于圆形，这两类特征难以用模型来完备地定义和提取。由于纹理特征属于人工定义的特征，不能够完整的描述病斑图像的表征信息，且人工定义的特征在特征学习和识别方面有一定的局限性，而深度学习网络模型提取的特征信息是人工无法定义的更深层次的抽象特征，因此采用深度学习网络进一步提取病斑特征。常用于提取特征 的 深 度 学 习 网 络 主 要 有 VGG1610，esNet11，AlexNet12 等，其中 VGG16 在图像分类和检测方面都具有良好的效果并且结构简洁，所以采用 VGG16 网络提取病斑特征，并和纹理特征进行融合。纹理特征提取方面，通过计算病斑灰度游程矩阵参数来反映图像中纹理的粗细、均匀程度和变化情况1314，常用的灰度游程矩阵参数有 11 个，即短游程优势、长游程优势、灰度不均匀性、长游程不均匀性、游程百分比、低灰度级游程优势、高灰度级游程优势、短游程低灰度级优势、短游程高灰度级优势、长游程低灰度级优势和长游程高灰度级优势，各个参数的含义见表 1 所示。表 1