基于深度学习的蓝莓成熟度预测_李竹.pdf

基于深度学习的蓝莓成熟度预测李 竹，牟昌红，嵇康轩，王 波（苏州大学建筑学院，江苏苏州；中国林业科学院，北京）摘要 蓝莓果实成熟度的人工分级技术效率低、准确性有限，不能满足市场需求。为了提高蓝莓成熟度检测的准确性，提出了一种基于深度学习的蓝莓成熟度预测方法，从而预测出不同成熟阶段的蓝莓果实。针对 个不同成熟阶段的蓝莓果实，利用 神经网络，提取果皮颜色特征建立模型。结果表明，该方法对不同成熟阶段蓝莓果实的预测准确率分别达到了、.、。该方法建立的模型对蓝莓成熟度的预测较为精细，覆盖了从盛花期 开始至完全成熟全过程，充分利用深度学习网络的分类能力，提高了对蓝莓果实成熟度的预测，为实现蓝莓果实无损检测技术提供理论依据。关键词 蓝莓；成熟度检测；深度学习；中图分类号 文献标识码 文章编号（）：开放科学（资源服务）标识码（）：，（，；，），；基金项目 江苏省研究生科研与实践创新计划项目（）。作者简介 李竹（），女，江苏宿迁人，硕士研究生，研究方向：生态修复设计。通信作者，副教授，博士，硕士生导师，从事生态修复设计研究。收稿日期 蓝莓为杜鹃花科越橘属植物，果实中含有大量的花青素和类黄酮等物质，具有增强人体免疫力、防止心血管疾病、延缓衰老等功效。随着生活水平的提高，人们对蓝莓消费需求不断增加，如何快速识别蓝莓成熟度，以适应运输、保鲜、口感等要求成为亟须解决的问题。蓝莓果实小，个体差异小，人工采摘难度大且效率较低，难以对不同成熟阶段的蓝莓进行准确分级。因此，开发高效、无损、经济的成熟度检测方法，不仅能够提高对蓝莓果实的分级，满足蓝莓生产的需要，也为蓝莓采摘机器人的研制提供了理论依据。果皮颜色是衡量果实成熟度的重要指标之一。在蓝莓成熟过程中，果实内源激素和可溶性糖含量增加，叶绿素分解速度加快，合成受阻，叶绿素和类胡萝卜素含量降低，花青素不断积累，颜色会相应地发生变化，从最初的绿色，逐步转变为红色，最后呈蓝色。因此，根据果皮颜色预测蓝莓成熟度是一种可行的方式。目前，通过果皮颜色预测果实成熟度主要借助光特性无损检测技术和计算机视觉无损检测技术。光特性无损检测技术包括高光谱图像检测技术、近红外光谱技术等。例如，李丽丽等利用高光谱图像信息对未熟、半熟、成熟和过熟的李果实进行分析，比较不同彩色图像模型中的颜色特征值，建立了 成熟度预测模型。张静等通过近红外光谱技术，对葡萄成熟度和果实品质进行预测。计算机视觉无损检测技术主要利用典型视觉技术、机器学习技术、深度神经网络等，如岳有军等改进级联卷积神经网络，成功将番茄成熟度预测率提高 百分点；贺付亮等建立视觉显著性和脉冲耦合神经网络，改善成熟桑葚识别困难的问题。在针对蓝莓成熟度检测方面，国外起步较早，对预测模型的研究较为深入，如 等应用 特征与颜色特征对同一区域内不同成熟度蓝莓进行识别与计数，对成熟果实预测率达到；等使用计算机图像分割方法对蓝莓图像进行处理，提高蓝莓预测过程中目标检测的准确率。这些研究侧重于对小体积实验对象的目标检测上，即如何更好地改善识别模型。国内这一领域的相关研究尚未形成完整的框架，对蓝莓成熟度的研究多局限于未熟、半熟、成熟 种成熟状态，不能对整个成熟过程进行全面把控。马淏等利用高光谱成像技术对成熟、近成熟、未成熟蓝莓进行识别，正确率分别达到了、.。王立舒等建立 模型，结合卷积注意力模块，对成熟蓝莓的预测准确率高达。但也有研究表明，从果皮颜色判断果实成熟度虽然可行，但在成熟后期，果皮颜色变化不明显，成熟程度更多体现在果实个体大小上，因此不能仅从果皮颜色判断果实成熟度。近 年的研究显示，深度学习在果实成熟度检测中的应用越来越多。深度学习是一种特殊的机器学习，能够通过学习在输入的数据中寻找规律，对未知数据进行预测。这一技术在图像识别、风险预测、自然语言处理等领域取得了很多成果，常用的模型有、等。其中，作为卷积 安徽农业科学，（）：神经网络中经典的图像分类模型，在图像识别领域具有很大潜力。通过深度学习，可以有效减少主观因素对果实分级的影响，这在百香果、刺梨、枸杞、番茄等果实上都已被证明。但目前，针对蓝莓的深度学习案例较少。因此，为了更高效地识别蓝莓成熟度，笔者基于深度学习，利用 神经网络将蓝莓的成熟阶段进一步细分为 个阶段，从盛花期 开始，每 采样 次，直至果实完全成熟，共采样 次，检测蓝莓果实在 个不同成熟阶段的表皮颜色，建立蓝莓成熟度预测模型，测量和分析各阶段果实的纵横比与鲜重，旨在解决蓝莓果实成熟度难以人眼识别的问题，提高蓝莓分级的准确性。材料与方法 样本采集 供试品种为梯夫蓝，由苏州御湖园农业科技有限公司提供。随机挑选长势一致且健康的 年生蓝莓植株，于盛花期 后开始采样，依据成熟度依次分为 个阶段，直至果实完全成熟。每 采样 次，分东、南、西、北 个方向随机采集，每次采样 颗，共采样 次。图 为 种成熟阶段的蓝莓样本图像。注：为蓝莓 个成熟阶段。：图 不同蓝莓成熟阶段样本 外部指标测定 将采摘后的蓝莓果实冷藏保存并迅速运回实验室进行相关指标的测定。果实鲜重用千分之一天平称量，果实纵径和横径用游标卡尺进行测量，并计算果形指数（纵径 横径）。数据采集 蓝莓图像采集在自然光照条件下，用 相机在蓝莓果实 左右拍摄，图像分辨率为 ，以 格式保存。为增加数据集丰富度，使网络能够适应更多的场景，数据集包含不同遮挡程度和光照条件下的蓝莓图像，同时对蓝莓图像进行旋转、缩放、镜像等多角度处理。图像样本共 幅，其中轻微遮挡图像样本 幅，重度遮挡图像样本 幅，逆光图像样本 幅。按 比例随机分为训练集和测试集，数据分布如表 所示。表 蓝莓数据集分布 单位：幅数据集图片总数量 轻度遮挡重度遮挡逆光训练集 测试集 总数 图像预处理与蓝莓识别 预处理的主要目的是让计算机更快、更精准地识别出图像中的蓝莓主体，便于后续的神经网络训练。如图 所示，从上到下分别代表不同成熟度，从左到右分别代表原始图、蓝莓位置的掩码图像、蓝莓样本区域图、最终样本图。观察和初步识别结果显示，在蓝莓的 个成熟阶段中，第 阶段蓝莓果实偏绿，与背景色较为相近，在计算机识别过程中，通常会和背景树枝、树叶一同被识别，准确率较低。因此，在图像预处理时，将 个成熟阶段分为 部分，阶段 为一部分，阶段 为一部分，分别进行检测。首先将颜色空间从 转换到，通过色度（）更快地将蓝莓果实区域识别出来。同时在 颜色空间下，可以减少光照对图片的影响，有利于排除干扰因素对识别准确率的影响。通过色度选出除了绿色之外的所有颜色，即将成熟阶段 的蓝莓筛选出来，因为只有第 阶段的蓝莓呈现出绿色，而这一特征也可以被神经网络学习到，因此可以将阶段 的蓝莓图像筛选出来。选出蓝莓主体后，通过模糊图像，对图像进行降噪处理，得到蓝莓位置的掩码图像。通过观察蓝莓位置掩码图片，可以发现图中残留一些叶片或枝干的边缘，蓝莓的中心区域不太完整，为了弥补上述缺陷，分别进行图像的腐蚀与膨胀操作。图像腐蚀可以消除细小的边缘地带，如树叶边缘，图像膨胀可以将部分小区域填充完整，从而得到一个较为完整的蓝莓区域，经过这一步处理后，得到蓝莓样本区域图。最后使用边缘识别算法，选出其中面积最大的区域作为目标蓝莓区域，将这部分裁剪下来作为后续的神经网络输入。网络 共有 层，包括 个卷积层，个池化层，个全连接层，不包括激活层。对输入图像的默认大小是，其网络结构如图 所示。由图 可知，为卷积层，使用 的卷积核、长度为 的卷积步长进行局部特征提取，公式如下：（）式中，为卷积层输出结果，为卷积核，为灰度图矩阵，为卷积运算，为偏置值。为最大池化层，大小为，对卷积操作后提取的特征信息进一步提取，进行降维处理，降低计算难度，公式如下：卷 期 李 竹等 基于深度学习的蓝莓成熟度预测（，）（，）式中，为输入图像二维向量的长，为输入图像二维向量的宽。图 不同成熟阶段预处理图像 图 网络结构 为完全连接层，对数据集进行分类。使用交叉熵损失作为损失函数，公式如下：（）（）式中，为真实标签值（正类值为，负类值为），是预测的概率值（，）。模型的使用过程为：经 个卷积核的卷积处理 次，后进入池化层；再经 个卷积核的卷积处理 次，后进入池化层；再经 个卷积核的卷积处理 次，后进入池化层；再经 个卷积核的卷积处理 次，后进池化层，该过程重复 次。完成后，连接 层全连接层。结果与分析 蓝莓果实外部指标比较 不同成熟阶段果形指数。由图 可知，蓝莓果实的果形指数整体上呈初期波动大、中后期平缓的趋势。阶段期间波动较大，从 下降至，后上升至，最后下降，纵横比最高达到，最低为，最高值约为最低值的 倍。阶段 期间，纵横比趋于稳定，纵横比平均值约为，最低值，最高值，均在平均值附近波动。各成熟阶段果实鲜重。由图 可知，随着蓝莓果实成熟度不断增加，果实鲜重不断增加，各阶段间差异显著。在成熟阶段 时鲜重最低，为。阶段 果实鲜重增速最快，果实鲜重由 增加至 ，后增速放缓。阶段 安徽农业科学 年 增速最低，果实鲜重由 增加至。至阶段完全成熟时果实鲜重达到 ，约为阶段 的 倍。图 不同成熟阶段蓝莓果实果形指数比较 图 不同成熟阶段蓝莓果实鲜重变化 不同成熟阶段蓝莓果实识别准确率比较 使用预训练好的 网络作为基本结构。修改其中的分类层，根据成熟度分级需求，分为 共 个类别，使用交叉熵误差函数进行训练。在图像预处理步骤中得到的 张蓝莓图像，根据 的比例划分出训练集和测试集，在 提供的计算平台上进行训练，迭代次数为。得到 个成熟阶段蓝莓果实预测准确率。从表 可以看出，成熟阶段 正确识别个数 个，误识别个数 个，识别准确率为，比平均准确率高约 百分点，准确率较高，该阶段果实颜色为绿色。成熟阶段 正确识别个数 个，误识别个数 个，识别准确率为，在各成熟阶段识别准确率中属于平均水平，该阶段果实颜色由绿色向白色转变。成熟阶段 正确识别个数 个，误识别个数 个，识别准确率为，准确率较高，略低于成熟阶段，该阶段果实颜色呈淡粉色。成熟阶段 正确识别个数 个，误识别个数，识别准确率高达，是预测准确率最高的一个成熟阶段，该阶段果实颜色较为均匀，为红色。成熟阶段 正确识别个数 个，误识别个数 个，识别准确率仅为，是识别准确率最低的一个阶段，该阶段果实开始变紫。成熟阶段 正确识别个数 个，误识别个数 个，识别准确率为，识别准确率较低，果实颜色由紫色向蓝色转变。成熟阶段 正确识别个数 个，误识别个数 个，识别准确率为，预测准确率较高。成熟阶段 即为完全成熟阶段，果实转变为蓝色，且逐步加深形成深蓝色。表 不同成熟度蓝莓果实预测准确率比较 成熟阶段总数个正确识别数量个误识别数量 个准确率 讨论在该研究中，成熟阶段 的识别准确率达到，这主要是因为在目标检测阶段将阶段 和阶段 分开识别的原因。类似研究中，等利用 颜色空间识别柚子成熟度，其中未成熟绿果的识别效果明显低于其他果实识别效果。对绿果识别准确率低主要因为绿果与环境颜色相似，计算机在识别过程中，常会出现将背景物体一同识别为蓝莓的现象，甚至有时会直接将环境中其他因素识别为果实，而没有检测到果实的真实位置。当果实被遮挡后，识别难度加大，效果更加不理想。等建立的模型能够很好地对果实进行识别与计数，但该方法对被遮挡果实无法有效识别，识别速度较慢。因此，如何降低环境的干扰，增加绿果的检测精度是建立完善的蓝莓果实成熟度预测体系的一大难题。尤其是在果实成熟阶段果皮颜色会多次呈现绿色时，如何更好地将各绿果阶段区分开、将绿果与背景区分开还需要进一步探讨。成熟阶段 的测试蓝莓共 个，正确识别个数 个，识别准确为。在该研究的多次试验中，成熟阶段 的预测准确率均为，较为稳定。但在类似文章中鲜少出现 的预测率，如李丽丽等对李果实成熟度的研究，其预测准确率在同类文章中属于较高水平，为，未达到。准确率意味着该模型可以精准预测该成熟阶段蓝莓果实。综合各成熟阶段蓝莓图像特征和识别精度，可以看出系统对该成熟阶段预测准确率较高的原因可能有以下 个原因：一是该成熟阶段的蓝莓果实色泽均匀，呈现为红色，系统对果实的识别没有其他颜色的干扰，因此目标检测精度高、机器学习的效果较好；二是该阶段果实和其他成