基于改进的LinkNet的苹果叶片图像分割算法_朱世松.pdf

浙江农业学报 Acta Agriculturae Zhejiangensis，2023，35(1):202 214http:/www zjnyxb cn朱世松，马婉丽，赵理山，等 基于改进的 LinkNet 的苹果叶片图像分割算法J 浙江农业学报，2023，35(1):202 214DOI:10.3969/j issn 1004-1524.2023.01.22收稿日期:2022-04-06基金项目:国家自然科学基金(41871333);河南科技智库调研课题(HNKJZK-2021-56C);河南省教育科学“十四五”规划重点课题(2021JKZD06)作者简介:朱世松(1965)，男，河南焦作人，博士，教授，研究方向为智能图像处理。E-mail:zss hpu edu cn*通信作者，芦碧波，E-mail:lubibo hpu edu cn基于改进的 LinkNet 的苹果叶片图像分割算法朱世松1，马婉丽1，赵理山1，郑艳梅1，郑先波2，芦碧波1，*(1 河南理工大学 计算机科学与技术学院，河南 焦作 454003;2 河南农业大学 园艺学院，河南 郑州 450002)摘要:使用传统方式对苹果叶片进行图像分割进而测量叶片几何参数，虽精度尚可，但效率较低。针对该问题，提出一种基于深度学习语义分割模型和迁移学习的苹果叶片图像分割算法，完成对叶片的快速、准确分割。所提方法以 LinkNet 为基本网络结构，进行了4 个方面的改进:采用 ResNet18 作为编码器主干网络，融合迁移学习的思想加速模型拟合;减小编码解码块的数量，降低网络复杂度;改进通道约减方案，减少上采样中的参数量;使用子像素卷积进行上采样，降低计算量。结合焦点损失函数，将改进的 LinkNet 网络应用于标准苹果叶片数据集上。试验结果表明，所提算法的分割精度为 97.27%，与原 LinkNet 相比精度相当;推理时间仅为 7.82 ms，相较于原网络缩短 39.89%;模型参数量和浮点数计算量大幅减少;且改进网络的推理速度远快于 FCN、U-Net、DeepLabV3+等网络。所提算法在快速分割叶片主体的同时，还能较好地保持叶片边缘锯齿等细节特征，能够真正实现高效、精准地分割苹果叶片，为快速测量叶片面积和其他几何参数提供了新的思路。关键词:深度学习;语义分割;苹果叶片;LinkNet;子像素卷积中图分类号:S682.36文献标志码:A文章编号:1004-1524(2023)01-0202-13Apple leaf image segmentation algorithm based on improved LinkNetZHU Shisong1，MA Wanli1，ZHAO Lishan1，ZHENG Yanmei1，ZHENG Xianbo2，LU Bibo1，*(1 College of Computer Science and Technology，Henan Polytechnic University，Jiaozuo 454003，Hennan，China;2 College of Horticulture，Henan Agricultural University，Zhengzhou 450002，China)Abstract:The traditional methods of segmenting apple leaf images and measuring leaf geometric parameters are mod-erately accurate but inefficient To address this problem，an apple leaf image segmentation algorithm based on a deeplearning semantic segmentation model and transfer learning was proposed to accomplish efficient and accurate seg-mentation of apple leaves The proposed method used LinkNet as the base structure，with the following improve-ments:ResNet18 was utilized as the backbone network of the encoder and incorporates transfer learning ideas to ac-celerate model fitting;The number of encoder and decoder blocks was reduced to decrease network complexity;Thechannel reduction scheme was modified to decrease the parameter quantity in up-sampling;The sub-pixel convolutionwas introduced to replace the final block to reduce computational costs Combined with the focal loss，the effective-ness of the improved LinkNet was verified on the standard apple leaf dataset The experimental results showed thatthe proposed method achieved a segmentation accuracy of 97.27%and an inference time of 7.82 ms，inference timewas decreased by 39.89%compared to the original LinkNet with a slight difference in precision，and the parameterquantity and floating point of operations were significantly reduced In addition，the inference speed of the improvedLinkNet was much faster than that of popular methods such as FCN，U-Net and DeepLabV3+Therefore，the pro-posed method could segment the leaf body quickly while better maintaining detailed features such as blade edge serra-tions It enabled the efficient and accurate segmentation of apple leaves and provided a novel approach to thinking forfast measurement of leaf area and other geometric parametersKey words:deep learning;semantic segmentation;apple leaf;LinkNet;sub-pixel convolution叶片是植物进行光合作用的物质基础，是合成有机物的主要器官1，也是与环境接触面积最大的器官之一。叶面积是衡量作物光合作用效能、观察生理变化、预测果实产量的关键因素，也是研究植物表型2、品种改良、培育种植等的重要指标3。因此，如何快速、准确地测量叶片面积、周长等几何参数在现代化农业生产中具有重要意义。叶面积测定分为单叶、单株、群体 3 个维度，本文研究内容针对的是单叶叶面积的测量。传统的单叶叶面积测量方法包括方格法、纸样称重法、打孔称重法、系数回归法和叶面积仪法4 6。但以上方法主要依赖人工操作，效率较低，而且存在测量结果不稳定、后期处理复杂等问题7 11。叶面积仪12 基于光电转换原理测定叶面积，能测量叶长、叶宽、叶面周长等多种参数，操作简单、精度较高，功能强大且方便携带，对农业、林业等领域的科研工作具有重要意义，但成本较高，限制了大规模的使用。因此，传统的叶面积测量方法效率低、成本高，不利于广泛应用。基于数字图像处理技术的叶面积测量方法通常先对图像进行分割，然后再通过算法测量叶片的几何参数。例如，张万红13 通过色域转换、OSTU 法分割苹果叶片图像，再根据叶片边缘像素坐标与数量计算几何参数和叶片面积。刘哲等14 提出的叶面积测量方法采用双远心镜头、图像边缘增强、最小类间误差阈值分割和亚像素边缘提取等方法分割叶片并计算叶片面积，精度较高，但需借助双远心镜头，成本较高，而且分割过程复杂，效率较低。施滢等15 给出了一种可变参照的叶面积测量方法，该方法在分割叶片图像后，选择与叶片大小近似的棋盘格为参照矩形，对图像进行几何畸变校正，并根据比例关系计算出叶片面积;该方法虽然精度较高，但是角点检测、几何失真校正等算法复杂，处理大量图像耗时较长。与传统叶面积测量方法相比，基于数字图像处理技术的测量方法成本低廉、可靠性高，但处理过程复杂，对操作者的专业性要求较高，也不易广泛应用16 17。与传统方法相比，深度学习具有极强的迁移学习能力，应用范围广泛。近年来，随着全卷积神经网络(fully convolutional network，FCN)18、U-Net19、DeepLab20 23 系列等经典语义分割模型的提出，越来越多的学者开始研究将其应用在农业领域中。比如，赵兵等24 使用 FCN 对病害葡萄叶片进行分割，实现了复杂光照条件和背景下的叶片图像自动分割;Tassis 等25 使用 U-Net对有病虫害的咖啡树叶进行分割，分割效果较好，精度较高;Hussein26 等使用 DeepLabV3+对完整植物叶片标本数据集进行分割试验，相比目标检测方法(包括 Faster R-CNN27 和 YOLOv5)，使用深度学习语义分割模型取得了更好的分割结果。李余康等28 使用以 ResNet101 为主干网络的 DeepLabV3+，完成了自然光照环境下的葡萄叶片分割。采用经典语义分割网络分割植物叶片的方法虽取得了较高的分割精度，但模型参数多、效率低，在移动端部署较为困难，缺乏实用性。针对经典语义分割网络模型体积大，不易进行嵌入式开发的问题，研究人员提出了 ENet29、双边分割网络(Bilateral segmentation network，BiSeNet)30、LinkNet31 等实时语义分割网络。这些网络在保证分割准确性不会过低的前提下，尽可能地减少参数，压缩模型，通常对设备的要求不高，比较适合农业上应用。例如，郑艳梅等32 使用 BiSeNet 进行苹果叶片图像分割，速度较快;该研究还使用引导滤波对分割结果进行后处理，以解决叶片边缘细节分割效果较差的问题。302朱世松，等 基于改进的 LinkNet 的苹果叶片图像分割算法综上可知，传统方法效率较低，基于数字图像技术的方法的处理过程比较复杂，利用经典语义分割网络的叶片分割算法模型体积较大，不易在移动端进行部署，而采用实时语义分割网络的方法对细节的分割效果较差，需要进行后处理。针对这些问题，本文提出了改进的 LinkNet，采用预训练模型 ResNet1833 作为特征提取层的主干网络，加速模型拟合;通过减少编码器和解码器的数量、改进解码器中的通道约减方案，以及替换最终块中的反卷积上采样为子像素卷积，来压缩模型，提升分割效率。本文在标准的苹果叶片数据集上验证了所提方法的性能，并与其他同类算法进行