基于多尺度特征融合的轻量化苹果叶部病理识别_王等准.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0210005-1研究论文基于多尺度特征融合的轻量化苹果叶部病理识别王等准1，2，李飞1，2，严春雨1，2，刘瑞欣1，2，闫建伟3，张文勇4，谢本亮1，2*1贵州大学大数据与信息工程学院，贵州 贵阳 550025；2半导体功率器件可靠性教育部工程研究中心，贵州 贵阳 550025；3贵州大学机械工程学院，贵州 贵阳 550025；4贵州大学计算机科学与技术学院，贵州 贵阳 550025摘要 苹果叶部病害的发生极大地影响了苹果的品质和产量，对病害的监测是确保苹果产业健康发展的重要措施。在ResNet结构基础上，提出了一种基于多尺度特征融合的轻量化病害识别模型。首先，采用特征融合机制，提取并融合网络高低维特征，加强卷积层之间语义信息的传递，增强识别细微病斑的能力。其次，加入多尺度深度可分离卷积，利用多尺度卷积核结构对不同尺度的病害特征进行提取，提高特征的丰富度，同时约束模型的参数量。最后，为验证所提模型的有效性，采用一个包含 5种苹果叶部病害数据集进行了实验。实验结果表明，该模型取得了 98.05%的识别准确率，模型参数量和计算量仅为 4.02 MB 和 0.92 GB，与其他模型相比同样具有优势，可为农业自动化精准识别病虫害提供新的方案。关键词 图像处理；深度学习；病害识别；多尺度；轻量化；ResNet中图分类号 TP181；S432；TP391.41 文献标志码 A DOI：10.3788/LOP212261Lightweight Apple-Leaf Pathological Recognition Based on Multiscale FusionWang Dengzhun1,2,Li fei1,2,Yan Chunyu1,2,Liu Ruixin1,2,Yan Jianwei3,Zhang Wenyong4,Xie Benliang1,2*1College of Big Data and Information Engineering,Guizhou University,Guiyang 550025,Guizhou,China;2Semiconductor Power Device Reliability Engineering Research Center of the Ministry of Education,Guiyang 550025,Guizhou,China;3School of Mechanical Engineering,Guizhou University,Guiyang 550025,Guizhou,China;4School of Computer Science and Technology,Guizhou University,Guiyang 550025,Guizhou,ChinaAbstract The occurrence of apple leaf diseases has a significant impact on apple quality and yield.Disease monitoring is therefore an important measure to ensure the healthy development of the apple industry.Based on the ResNet structure,a lightweight disease recognition model based on multiscale feature fusion is proposed.First,the feature fusion mechanism is used to extract and fuse the high-dimensional and low-dimensional features of the network,strengthen the transmission of semantic information between convolution layers,and enhance the ability to distinguish subtle lesions.Next,multi-scale depth separable convolution is added to extract disease features of different scales by using multi-scale convolution kernel structure,which improves the richness of features and restricts the parameters of the model.Finally,a dataset containing five kinds of apple leaf diseases is used to verify the effectiveness of the proposed method.The experimental results show that the recognition accuracy of the model is 98.05%,and that the number and calculation of the model network are only 4.02 MB and 0.92 GB,respectively.Compared with other models,it also has advantages,and can provide a new scheme for the accurate identification of diseases and pests in agricultural automation.Key words image processing;deep learning;disease identification;multiscale;lightweight;ResNet收稿日期：2021-08-16；修回日期：2021-10-12；录用日期：2021-11-15；网络首发日期：2021-12-01基金项目：国家自然科学基金（61562009）、贵州大学人才引进科研项目（贵大人基合字（2015）29号）、半导体功率器件教育部工程研究中心开放基金项目（ERCMEKFJJ2019-（06）、贵州科技计划项目（黔科合成果 2019 4279号，黔科合平台人才 2019 5616号）、国家重点研发计划课题（2021YFD1100307）通信作者：*0210005-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展1引言我国是世界上最大的苹果生产国和消费国之一1，而苹果叶部病害问题关乎苹果的品质和产量，是当前苹果产业健康发展面临的主要挑战2。及时准确地识别苹果叶部病害并进行防治，能够有效地提高苹果产量3。随着社会科技的进步，机器视觉的发展和计算机数据处理能力的不断提升4，机器学习技术5在图像处理方面的优势，为苹果叶部病理识别提供了新的解决方案。从已有研究看，传统的植物叶部病虫害识别一般通过叶部病斑的颜色、纹理、边缘等特征进行分类6。吴露露等7采用色度学模型、边缘提取和形态学等图像 处 理 方 法 对 叶 瘟 病 斑 进 行 识 别，准 确 率 达 到 了90.26%。Padol等8采用 K-means 算法提取病虫害区域，以颜色和纹理作为特征输入，结合支持向量机（SVM）分类方法，对两种葡萄叶片病害的识别准确率达 88.89%。张云龙等9采用改进的 Mean-shift 算法分割病害图像病斑，获取病虫害图像的颜色特征和差直方图，结合 SVM 分类方法，对 3 种苹果叶部病害的识别率达 96%。以上方法虽取得了不错的效果，但传统方法选取特征依赖于设计者的经验，而且受光照变化、背景噪声、目标形态多样性等因素的影响较大，难以设计出适应性好、稳定性高的特征提取模型10。深度学习模型可以通过逐层非线性变换提供丰富的判别特征，省略了复杂的图像预处理和特征提取操作11，现已广泛应用于农作物病害诊断中。黄林生等12提出了一种多尺度注意力残差网络模型，该模型在 8种农作物病害数据集上的平均识别准确率达到 95.62%。何欣等13在设计葡萄叶片病害图像识别模型时引入多尺度卷积以改变 ResNet底层对不同尺度特征的响应，结合SENet提升网络的特征提取能力，病害识别准确率达 90.83%。郭小清等14设计了一种基于 AlexNet的基础模型，该模型通过不同尺度卷积核提取特征实现多感受野识别，并部署于 Android系统，其对番茄病害图像识别准确率达 89.2%。张宁等15提出了 AT-InceptionV3卷积神经网络，结合多尺度卷积和注意力机制模块提高番茄叶部病害的表征能力，该模型在 5种番茄常见叶片图像分类准确率达到 98.4%。陆仲达等16提出了一种双分支网络的苹果叶部病理识别方法，该方法采用不同的空洞卷积核大小进行图片的多尺度提取特征提取，并引入通道、高度、宽度多维注意力机制，病害识别准确率达 97.66%。王健等17提出了一种基于深度可分离卷积的苹果叶病理识别方法，该方法以 MobileNets_V2为基础模型，采用概率数据增强、迁移学习等方法进行重新建模，在目标设备上识别准确率达 85.96%。多尺度特征融合可以增加网络的深度与宽度，在计算机视觉任务上都有优秀的识别效果18-20，但也会导致模型复杂度升高、检测速度降低。使用轻量级模型时，虽然模型复杂度较低、参数量较少，但是检测能力又有所欠缺。因此，本文提出了一种基于多尺度特征 融 合 的 轻 量 化 模 型。首 先，在 深 度 残 差 网 络（ResNet）21的基础上，依次建立多级别特征映射，将网络中深层语义信息与浅层细节信息进行融合，提高模型对小尺寸病斑识别准确性。其次，利用多尺度卷积核（33，55，77）组合改进残差网络，解决病害特征提取尺度单一、信息丰富度不足的问题。实验结果表明，该模型具有较小的计算量与参数量，并取得了较好的识别效果，为模型部署于硬件条件受限的情况下提供了有效的技术手段。2苹果叶部病理识别模型2.1整体网络模型构建所提基于多尺度特征融合的轻量级模型整体架构如图 1所示，整个架构由残差特征提取网络、多尺度特Afeature matrix P feature map F3feature map ai residual feature extractor networkConv Block_0Conv Block_1Conv Block_2Conv Block_3feature fusion blockF3F3a3a2a1F1F2APFPconvolution layerpart feature matrix FP multiscale information feature map Amultiscale feature extraction network224224input image图 1整体模型架构Fig.1Total model architecture0210005-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展征提取网络、特征融合模块和特征矩阵P等 4 部分组成。ResNet能够堆叠成不同网络层数，常见的有 18层的 ResNet18、50 层的 ResNet50 及 101 层的 ResNet101等。首先，因为本研究的病害数据集规模较小，所以不需要过多层次的残差网络，否则模型在训练中容易出现过拟合现象。其次，模型部署到移动设备时，缺乏高性能计算单元，难以完成复杂的参数运算。因此，选择ResNet18为模型特征提取主干网络并进行以下修改：1）利 用 多 尺 度 深