叶片尺度的玉米幼苗三维表型信息提取方法_李少辰.pdf

第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展0210002-1研究论文叶片尺度的玉米幼苗三维表型信息提取方法李少辰1，2，3，张爱武1，2，3*，张希珍1，2，3，杨志强1，2，3，李梦南1，2，31首都师范大学资源环境与旅游学院，北京 100048；2首都师范大学三维信息获取与应用教育部重点实验室，北京 100048；3首都师范大学空间信息技术教育部工程研究中心，北京 100048摘要 植物三维表型结构信息在生物育种和基因组研究中尤为重要。为了能够有效、快速、无损地实现对植物三维表型信息的提取，以玉米为例，提出一种从图像生成的三维点云提取玉米幼苗叶片尺度的三维表型结构信息的方法。首先利用运动恢复结构算法将手机获取的图像重建生成三维点云；然后结合 ExGR 指数、条件欧氏聚类算法从环境背景中自动提取玉米幼苗，进而采用区域增长算法分割叶片；最后计算玉米幼苗的株高、三维体积、叶片面积和叶片周长等三维表型结构信息，并分析表型信息随时间的动态变化。结果表明，与真实值相比，所提方法计算的株高、叶片面积和叶片周长的均方根误差（RMSE）分别为 0.77 cm、1.62 cm2和 1.21 cm，平均绝对百分比误差（MAPE）分别为 3.23%、8.27%和4.75%，且决定系数 R2均达 0.98以上。所提方法可以有效地无损提取玉米幼苗三维表型结构信息，并可以拓展到对其他柱状结构植物的表型信息提取方面。关键词 三维点云；植物表型；可见光植被指数；叶片分割；动态监测中图分类号 TP391；S513 文献标志码 A DOI：10.3788/LOP2127023D Phenotypic Information Extraction Method of Maize Seedlings at Leaf ScaleLi Shaochen1,2,3,Zhang Aiwu1,2,3*,Zhang Xizhen1,2,3,Yang Zhiqiang1,2,3,Li Mengnan1,2,31College of Resource Environment and Tourism,Capital Normal University,Beijing 100048,China;2Key Laboratory of 3D Information Acquisition and Application,Ministry of Education,Capital Normal University,Beijing 100048,China;3Engineering Research Center of Spatial Information Technology,Ministry of Education,Capital Normal University,Beijing 100048,ChinaAbstract In biological breeding and genomic research,the three-dimensional phenotypic structure information of plants is especially crucial.To extract the three-dimensional phenotypic information of plants efficiently,quickly,and nondestructively,taking corn as an example,a method for extracting the three-dimensional phenotypic structure information of maize seedling at leaf-scale from a three-dimensional point cloud produced from an image is proposed in this study.First,using a motion recovery structure algorithm,the image obtained from a mobile phone is rebuilt to produce a three-dimensional point cloud and then integrated with the ExGR index and conditional Euclidean clustering algorithm to automatically extract the corn seedlings from the surrounding environment.We employ the regional growth algorithm to segment the leaves.Finally,the three-dimensional phenotypic structure information of corn seedlings,including height,three-dimensional volume,leaf area,and leaf perimeter,are computed,and the dynamic changes of phenotypic information over time are examined.The findings demonstrate that the method in this study compares with the real value;the root mean square error(RMSE)of plant height,leaf area,and leaf circumference is 0.77 cm,1.62 cm2,and 1.21 cm,respectively;the mean absolute percentage error(MAPE)is 3.23%,8.27%,and 4.75%respectively;and the determination coefficient R2 reaches above 0.98.The proposed method can efficiently and nondestructively extract the three-dimensional phenotypic structure information of corn seedlings and can be extended to the extraction of other columnar structure plant phenotypic information.Key words 3D point cloud;plant phenotype;visible light vegetation index;leaf segmentation;dynamic monitoring收稿日期：2021-10-11；修回日期：2021-10-27；录用日期：2021-11-08；网络首发日期：2021-11-20基金项目：国家自然科学基金（42071303）、科技基础资源调查项目（2019FY101304）通信作者：*0210002-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展1引言植物表型指受基因或环境影响，反映植物结构组成、生长发育过程和结果的全部物理、生理、生化特征和形状1。传统的表型信息获取方法主要采用人工测量，但在测量过程中常常需要破坏植物自身结构，且费时费力，难以大规模测量，同时无法保证精度，极大地限制了人们对植物基因组的研究2。随着人工智能、计算机视觉和遥感技术的发展，越来越多的植物表型信息提取方法被提出，从而为植物育种和表型研究提供支持3-5。目前研究大多集中在基于图像的二维表型信息获取6-7。Bylesj 等8开发了自动分析图像叶片尺寸和叶片面积的工具 LAMINA，并在欧洲颤杨图像数据集中检验了该工具的准确性。Zhou 等9开发了 Leaf-GP应用程序，该程序可从图像数据集中提取植物表型信息，如投影叶面积、叶周长、叶凸包面积、叶密度等，并且可以长时间监测植物动态生长过程。黄成龙等10利用数字图像，结合骨架提取、茎秆识别、叶片标记等算法，对玉米叶片性状进行动态提取，同时计算叶长、叶夹角、叶片卷曲度等表型信息。Lee 等11使用基于超像素的机器学习算法对大规模植物图像数据集进行分割，得到了叶面积随时间的变化关系。但是对于某些植物，由于自遮挡和图像分辨率等因素的影响，仅从数字图像获取植物的二维表型信息是远远不够的12。三维结构表型信息的获取近年来备受重视13。激光雷达可以通过扫描的方式，高效地获取目标三维点云数据，且精度高、速度快、无接触14-15。Jin等16利用地面激光雷达数据，提出了一种中值归一化向量生长算法（MNVG），该算法对玉米三维点云数据进行茎叶分割，并提取了株高、三维体积、叶面积、叶倾角等表型信息。苏伟等17利用地面激光雷达数据，采用DoN法线差分算法剔除茎秆，建立了叶片三角网模型和骨架模型，同时计算了株高、叶面积、叶长和叶倾角等表型信息。Jin等18采用激光雷达数据，利用深度学习的方法分离了玉米茎叶结构。虽然激光雷达生成的点云数据精度高、效果好，但设备价格相对昂贵，极大地限制了其应用的普遍性。Yamamoto等19使用消费级 RGB-D 相机 Kinect，有效地获取了株高、叶面积、体积以及叶倾角等草莓植株生长信息。徐胜勇等20使用深度相机 Kinect2.0对油菜叶片进行三维重建，计算并得到了叶面积。随着计算机视觉的发展，基于图像获取目标三维信息的方法越来越多地应用到了农业方面21-24，该方法测量速度快、精度高、移植性强，且有 RGB 颜色信息，充分解决了激光雷达价格昂贵而无法普及应用的不足。在当今世界粮食紧缺的情况下，玉米作为三大作物之一，通过育种提高产量的任务变得尤为重要，而监测其生长过程，实时动态地获取其表型信息，成为育种过程中最重要的一部分。目前对玉米表型信息提取的研究有了一定的进展7，10，16-18，但对于幼苗期的研究还鲜有报道。针对传统测量方法费时费力、主观性强且有损的问题和激光雷达设备价格昂贵而无法普及应用的现象，本文提出了一种低成本、快速无损获取玉米幼苗三维表型结构信息的方法。通过大众化智能手机采集玉米幼苗图像，利用基于运动恢复（SFM）和多视图立 体 成 像（MVS）的 方 法 重 建 生 成 三 维 点 云，利 用ExGR 指数、条件欧氏聚类、基于曲率的区域生长算法对玉米幼苗进行单株提取和茎叶分离，并计算株高、三维体积、叶面积和叶周长等表型信息。同时根据株高、三维体积、叶面积和叶周长等表型信息计算生长速率，为动态监测玉米生长和育种提供科学的手段。2数据与方法2.1实验数据自 2020年 10月 11日共盆栽种植 8株玉米（品种为郑单 958），在平均温度 22 的室内进行培养，并于10 月 20 日 至 24 日、27 日 共 计 6 天 使 用 智 能 手 机HUAWEI P30相机对玉米幼苗进行拍照，获取其多视图图像。图像格式为 JPG，分辨率为 36482736。为保证图像采集设备的普适性，拍照过程采用自动对焦的方式，并且不开启闪光灯和 AI识别功能。为保证点云的连续性和精度，每次拍摄图像数量为 90110张，部分原始手机图像如图 1所示。为避免自遮挡对三维重建带来的影响，选取两个高度布置拍摄点位。首先在植株上方约 50 cm 的水平高度布点，手机相机向下倾斜 45，在同一高度以植株为中心、50 cm 为半径画圆的方式环绕拍摄，相邻图像之间重叠度保持在 80%以上；采集完成后选取植株平行高度作为另一布点高度，手机相机保持水平，以相同方式拍摄第二组图像。手机相机拍摄位置如