基于叶片匹配的作物植株图像分离与计数方法_张连宽.pdf

2023 年 5 月May 2023第 44 卷第 3 期Vol 44No 3doi:10 3969/j issn 1671 7775 2023 03 007开放科学(资源服务)标识码(OSID):基于叶片匹配的作物植株图像分离与计数方法张连宽1，2，肖德琴1，岑冠军1，于永浩2(1 华南农业大学 数学与信息学院，广东 广州 510642;2 广西作物病虫害生物学重点实验室，广西 南宁 530007)摘要:构建了从连续采集的田间图像中提取作物植株的算法，为图像采集植株微观生长信息提供算法支撑 首先，从图像中分割出叶片，根据叶片距离分离出单个植株;将连续相邻的两幅图像进行拼接获得拼接变换，并将两幅图像中各植株图像与空图像按照获得的拼接变换计算出植株拼接变换图;其次，求出各株拼接变换图的叶片图像质心，采用距离门限的方法判断两植株图像是否为同株作物;在此基础上，采用传递闭包获得各株作物在不同图像中的集合，并用距离中心最小的方法从各株集合中选择出最佳图像，用 5 种作物对该算法进行验证，结果表明:株数检测准确率达到了 100%，提出的方法也成功地将各植株图像精确地提取出来，同时算法显示出高效的计算效率关键词:作物;机器视觉;图像采集;叶片匹配;图像拼接中图分类号:TP39141文献标志码:A文章编号:1671 7775(2023)03 0293 09引文格式:张连宽，肖德琴，岑冠军，等 基于叶片匹配的作物植株图像分离与计数方法J 江苏大学学报(自然科学版)，2023，44(3):293 301收稿日期:2021 09 02基金项目:广西作物病虫害生物学重点实验室基金资助项目(17 259 47 KF 4);广东省重点领域研发计划项目(2019B020214002)作者简介:张连宽(1976)，男，江苏连云港人，副教授(zhangliankuan scau edu cn)，主要从事人工智能与农业信息化的研究于永浩(1981)，男，山东文登人，研究员(通信作者，yxp1127163 com)，主要从事有害生物综合治理的研究Individual plant extraction and counting fromfield images based on leaf matchingZHANG Liankuan1，2，XIAO Deqin1，CEN Guanjun1，YU Yonghao2(1 College of Mathematics and Informatics，South China Agricultural University，Guangzhou，Guangdong 510642，China;2 Guangxi KeyLaboratory of Biology for Crop Diseases and Insect Pests/Institute of Plant Protection，Guangxi Academy of Agricultural Sciences，Nanning，Guangxi 530007，China)Abstract:A method was constructed to extract individual plant image from the continuously-collectedimages The leaf surface region segmentation was obtained，and the individual plant image was separatedbased on leaf surface image by leaf distance The two consecutive adjacent images were stitched together，and the newly-formed images were transformed and stitched with empty images to produce individual plantimage for determining the centroid The distance between the centroid of all stitched images in theprevious image and the centroid of all the stitched images in the subsequent image was compared Thedistance threshold method was used to identify whether the two images were the images of the same cropTransfer closure was applied for obtaining the plant image set of each crop in multiple continuous images，and the image closest to the center was selected as the best image Five crops were used to verify theproposed method The results show that the accuracy of plant number reaches 100%The proposedmethod can successfully and precisely extract individual plant image with high computational efficiencyKey words:plant;machine vision;image extraction;leaf matching;image stitching294第 44 卷传统大田农作物信息的采集由人工采样方式进行，其检测与分析方法的工作量大、覆盖面积小、效率较低、成本高、专业性强，不能满足现代农业的自动化和智能化生产要求 随着图像采集与传输技术的发展，大田作物图像信息的采集已越来越多地应用于农业生产与科研领域 从图像信息中自动提取单个植株的生长信息，如株高、植株数量、出苗率、种植密度、行距与株距、叶片形态与颜色等信息，从而分析作物的长势，评估病虫害的影响，对大田作物生产的精准化和智能化管理具有重要价值，是当前农业图像领域研究的重要方向目前，从大尺度田间图像中提取作物生长宏观信息的报道较多 文献 1采用无人机采集油菜遥感影像，并用回归分析方法建立油菜株数与其外接矩形长宽比、像素分布密度以及周长栅格数的线性关系 文献 2 先采用彩色分割法去除背景，然后在提取骨架的基础上检测图像角点，以角点个数作为田间玉米株数 文献 3用无人机采集玉米视频图像，在彩色空间中采用阈值分割法获得玉米苗数量，与人工计数的相关系数达到 0.89 文献 4 用无人机采集小麦图像，采用颜色分割法去除小麦背景图像，并用支持向量机识别前景目标来估计作物密度状况 文献 5将图像采集装置安装在玉米收获机上，采集玉米收割后的留高茬地块视频，用近圆形识别法识别玉米秸秆断面，从而得到玉米植株总数 文献 6提出了分段垂直投影的水稻秧苗中心线提取方法，准确率达到了 94.50%以上相关报道主要从大尺度田间图像中估算作物生长的宏观信息，如植株数量、出苗率、叶面积指数等，但是不能提取单个植株生长的微观信息从大田作物图像中分割出单个植株，并获取植株生长的微观信息，如叶片与果实的大小、纹理与空间分布以及受病虫害损害的程度等，能够构建出准确的作物生长模型7 8、获取详细的作物表型信息9 10、准确地识别病虫害11 15，为精准的田间管理提供关键信息 文中拟构建基于叶片匹配的识别算法，从按行连续移动相机采集的近距离作物图像中，分离出单个植株图像，为植株生长微观信息的图像采集提供算法支撑1材料与方法1.1材料本试验图像采集于华南农业大学教学与实验基地和广东省良种推广总站基地 试验采集生菜、花椰菜、紫甘蓝、青花菜、甘蓝苗期或生长期的图像，连续两株作物叶片距离在 8 cm 以上 图像采集采用单反相机 Cannon EOS 700D(分辨率为 5 184 3 456 像素)和 Apple 7 智能手机(分辨率为4 032 3 024 像素)选择微风天气，手持相机在作物上部，距离作物20 60 cm，让镜头朝下，连续沿作物行移动拍摄 动态采集图像时相机不需要精心设置位置，具有较大灵活性，表现在以下几个方面:手持相机沿着行行走拍摄时，仅大体让相机沿着行作物拍摄，相机的角度不必刻意保持一致，相邻两张照片采集时相机角度可以在一定角度变化(通常小于30);相机与作物距离20 60 cm，在沿着行移动相机时相对于地面的距离也不刻意保持一致，前后照片相较于地面可以相差数厘米;相机也不需要严格沿着作物行中心线移动，可以偏移中心线，只要目标作物包含在采集照片的上下边界内;由于方案采用了拼接技术，为了保证拼接图像的进行，连续两张照片需要有 15%重叠部分，除此之外，沿着行采集图像时，采集图像的距离也不需严格保持一致1.2方法作物植株的图像提取算法框架如图 1 所示图 1基于叶片匹配的作物植株图像分割算法首先对采集的图像去除背景中的土壤和杂草等背景，获得作物叶片图像 然后根据叶片距离将图像中每个作物的叶片从图像中分离出来 对单株作物可能会在不同图幅中重复出现的问题，采用基于图像拼接的方法实现图片匹配，获得各株作物在不同图幅中的位置关系 最后，对每株作物，通过匹配关系提取各株作物图像，统计作物株数1.2.1去除背景文中采用了文献 16方法，首先，通过颜色分割去除非绿色部分(GB 的绿色通道值大于红色通道与蓝色通道值)，再通过光滑度去除杂草和噪声光滑度的公式如下:Smooth(p)=1NqD(|(p)(q)|)，(1)第 3 期张连宽等:基于叶片匹配的作物植株图像分离与计数方法295式中:D 为一个 9 9 区域;p 为图像某个像素;为彩色图像灰度值函数 不同作物的光滑度不同，通常杂草的光滑度高于叶片的光滑度 图 2 中第 1 行是连续采集的5 幅番茄苗图像，对应的第2 行图像为去除背景后的结果，经过背景去除，原始图像中每株番茄苗的叶片都被很好地从背景中分离出来图 2番茄苗图像的背景去除1.2.2各作物植株叶片的归类如图 2 所示，作物的枝茎光滑度差，经过背景去除后，作物图像不仅去除了土壤等背景，也会将枝茎删除掉，仅剩下叶片图像，且一些叶片处于分离状态 株内作物的叶片之间虽然分离，但距离较小，株间作物的叶片距离较远，根据这一特点，设置距离门限(按作物不同株叶片的图像距离设置)若距离小于门限的叶片被认为属于同一株作物，否则被认为属于不同株作物 为分析整株作物状况，图像中采集到某株作物的部分图像(边界部分含有的作物叶片图像)将会被删除，由于是按行连续拍摄，该植株的完整图像将会在其他图像中出现，并被提取出来 通过基于距离的分类处理与边界消除，图 2 中原始图像里属于各番茄植株的叶片被正确分类，结果如图 3 所示，图像中植株自左至右编号，用数字表示图 3番茄植株叶片的归类1.2.3作物植株去重与数量统计连续采集的图像中，同株作物图像可能会在不同图像中出现，因此需要识别出重复的株图像 在图 2 连续拍摄的 5 幅图像中，共有 8 株番茄苗，但实际上是 3 株番茄苗呈现于不同的图像中，如图 3所示从图 2 和 3 可以看出，在沿作物行连续拍摄采集的作物图像中，同株作物的图像存在如下特征:同株作物在不同图幅中的位置不同 由于摄像头可能存在晃动、拍摄角度变化，同株作物在不同图幅中的位置不同，变化规律也不同;同株作物只可能出现在连续相邻的 2 幅或者多幅图像中 如 1号番茄出现在 a 图和 b 图两幅图中，c 图中没有出现，说明从 c 图开始摄像头已经离开了 1 号番茄的采集范围，后面拍摄的图像也不会出现 1 号番茄根据上述两个特