基于YOLO-ODM的温室草莓成熟度的快速检测_陈仁凡.pdf

第42卷 第4期2023年 7月华中农业大学学报Journal of Huazhong Agricultural UniversityVol.42 No.4July 2023，262269基于YOLO-ODM的温室草莓成熟度的快速检测陈仁凡1，谢知1，2，林晨11.福建农林大学机电工程学院，福州 350002；2.福建省农业信息感知技术重点实验室，福州 350002摘要 为解决温室环境下草莓果实快速准确识别问题，提出一种基于改进YOLOv5s的草莓成熟度检测方法。在主干中引入Shuffle_Block作为特征提取网络，从而实现模型轻量化。同时，在颈部结构中使用全维度动态卷积模块（omni-dimensional dynamic convolution，ODConv），以提高网络对草莓目标的信息挖掘能力，降低计算量，并进一步实现轻量化。结果显示，改进后的YOLO-ODM（YOLO with ODConv module）模型的平均精度均值达97.4%，模型体积是7.79 Mb，在GPU上的单张平均检测时间仅11 ms，浮点运算量为6.9109。与原网络相比，轻量化的YOLO-ODM方法在提高检测精度的同时，模型大小缩减43%，浮点运算量降低52%。以上结果表明，该轻量化方法可快速准确地对温室环境下草莓果实的成熟度进行检测，实现草莓的生长状态监测。关键词 草莓；成熟度；目标检测；YOLOv5s；Shuffle_Block；精准识别中图分类号 TP391.4 文献标识码 A 文章编号 1000-2421（2023）04-0262-08草莓（Fragaria ananassa Duch.）是一种经济价值和营养价值较高的小浆果1。据联合国粮食及农业组织的统计数据库（https：/www.fao.org/faostat/zh/#data/QCL），中国是全世界草莓种植面积最大的国家，其2021年种植面积高达129 046 hm2。由于草莓果实一般较小且密集，常有枝叶遮挡，传统人工对草莓进行生长期观察或采摘都费时费力。目前，随着我国草莓智能化产业逐渐壮大，发展具有高准确率的果实成熟度检测系统对于确定成熟度不同的果实分布区域，草莓生长的自动化监测以及果实采摘都具有重要意义。传统的草莓识别方法是先获取草莓样本的物理特征，或者结合光谱成像、电子鼻、激光诱导荧光和生物阻抗数据等，再使用机器学习的方法进行模式识别2-4。Raj等5使用支持向量机结合全光谱图像作为输入研究草莓成熟度分类，准确率超过98%，但没有全光谱数据的情况下，准确率较低。Ibba等6使用草莓的生物阻抗数据训练机器学习分类器并取得较好成果，但生物阻抗数据获取过程复杂。Shao等7采集草莓3个成熟阶段的高光谱图，结合最小二乘支持向量机和竞争性自适应重加权采样进行成熟度评估，缺点是室外评估准确率较低。上述方法受制于传统机器视觉的限制，且草莓的特征提取繁琐，易受环境变化的影响，导致其检测效率低下，鲁棒性和泛化能力较差。近年来，随着深度学习在农作物检测中的兴起，传统基于特征提取的识别方法正逐步淘汰。常见的深度学习目标检测方法有 R-CNN8、SSD9、RetinaNet10和 YOLO11系列网络，目前大量的研究者将深度学习应用于水果识别和定位中。Fan等12针对草莓全天候采摘和夜间采集图像光照度低的问题，提出了一种暗通道增强算法来实现草莓成熟度检测。Su等13使用MobileNetv1作为YOLOv3的主干网络并结合SE模块，对番茄成熟度进行分类，其性能优于其他网络。黄彤镔等14在YOLOv5中引入注意力机制，采用-IoU损失函数，实现在自然环境下柑橘果实的实时监测。但深度学习的模型较大，计算成本高昂。为解决上述问题，本研究提出一种轻量化的基于 YOLO-ODM 的草莓成熟度检测方法，在主干中引入 Shuffle_Block 作为特征提取网络，并在颈部结构中使用全维度动态卷积模块ODConv，以提高网络对草莓目标的信息挖掘能力，降低计算量，充分实现模型轻量化，旨在为温室大棚中草莓生长监测、果实收稿日期：2023 02 17基金项目：福建省自然科学基金项目（2019J01403）陈仁凡，E-mail：通信作者：谢知，E-mail：陈仁凡，谢知，林晨.基于YOLO-ODM的温室草莓成熟度的快速检测 J.华中农业大学学报，2023，42（4）：262269.DOI：10.13300/ki.hnlkxb.2023.04.030成熟度的快速准确识别提供技术支持。1材料与方法1.1数据及制作草莓数据集获取于百度飞浆 AI Studio 的公共数据集，下载网址为https：/ json 格式转化为 txt 格式。再使用 labelImg工具对草莓果实的标注信息进行检查和校正。该草莓数据集拍摄于温室大棚内，包含3 100张图片，按照 8 1 1 的比例将数据集划分为训练集（2 480张）、验证集（310张）和测试集（310张）。草莓数据集包含未成熟、半成熟和成熟草莓 3 种样本，分别为 10 880、2 408 和 2 835个。数据集的基本信息如表1所示。1.2YOLOv5s网络模型为了实现草莓的快速准确定位和识别，必须同时考虑实时性和准确性，因此，本研究选用权重文件较小、推理速度较快、适合部署到边缘设备的 YOLOv5s作为基础网络。YOLOv5s由BackBone、Neck和 Head 组成，其网络结构如图 1 所示。其中 BackBone 由一系列标准卷积 CBS 模块和 C3 模块以及SPPF模块组成；Neck为路径聚合网络PANet，并融合了主干中的 3 个不同尺度特征图（P3、P4、P5）；Head为检测网络Detection。1.3改进的草莓成熟度检测模型1）模型轻量化。本研究使用 ShuffleNetv2中的模块（Shuffle_Block）替换YOLOv5s中的主干特征提取网络。ShuffleNet15-16引入了深度可分离卷积，深度可分离卷积可以分解为逐深度卷积（Depthwise convolution，DW）和逐点卷积（Pointwise convolution，PW）。深度可分离卷积与普通卷积计算量的比值如下：D2FD2KM+D2FMND2FD2KMN=1N+1D2K(1)其中，DF为输入特征图尺寸，DK为卷积核尺寸，M为输入通道数，N为卷积核个数。由此可见，深度可分离卷积可以大幅降低计算量。ShuffleNetv1提出了通道重排技术，通道重排技术将特征图中的通道按照一定规则分成若干组，然后将每组中的元素重新排列，从而增加通道之间的信息交互和融合能力，增加模型的非线性表达能力。ShuffleNetv2增加了通道划分（channel split）操作，将输入通道划分为 2 组，然后对其中 1 组进行卷积操作，从而减少了计算量和模型参数。使用的 Shuffle_Block 如图 2 所示。左侧图为Stride=1的特征提取操作，输出通道数和特征图尺寸不变；右侧图为Stride=2的下采样操作，输出通道数翻倍，特征图尺寸减半。通过 Shuffle_Block 搭建的YOLO主干网络结构如表2所示。2）全维度动态卷积（ODConv）。使用 ODConv替换 PANet 中的常规卷积以获取充分的上下文信息，从而使网络更加专注于草莓果实信息。常规的卷积核不具备动态属性，其卷积核参数固定不变。动态卷积可以根据输入的图片动态调整卷积核参数，使得卷积核更加专注于目标信息。为了充分利用动态卷积挖掘上下文线索的能力，引入了1种全维度动态卷积17，该卷积不仅赋予卷积核数动态属性，还关注了卷积的空间大小、输入通道数和输出通道数。表1草莓成熟度数据集基本信息Table 1Strawberry ripeness data set basic information图1 YOLOv5s网络结构Fig.1 YOLOv5s network structure第 4 期陈仁凡 等：基于 YOLO-ODM 的温室草莓成熟度的快速检测成熟度的快速准确识别提供技术支持。1材料与方法1.1数据及制作草莓数据集获取于百度飞浆 AI Studio 的公共数据集，下载网址为https：/ json 格式转化为 txt 格式。再使用 labelImg工具对草莓果实的标注信息进行检查和校正。该草莓数据集拍摄于温室大棚内，包含3 100张图片，按照 8 1 1 的比例将数据集划分为训练集（2 480张）、验证集（310张）和测试集（310张）。草莓数据集包含未成熟、半成熟和成熟草莓 3 种样本，分别为 10 880、2 408 和 2 835个。数据集的基本信息如表1所示。1.2YOLOv5s网络模型为了实现草莓的快速准确定位和识别，必须同时考虑实时性和准确性，因此，本研究选用权重文件较小、推理速度较快、适合部署到边缘设备的 YOLOv5s作为基础网络。YOLOv5s由BackBone、Neck和 Head 组成，其网络结构如图 1 所示。其中 BackBone 由一系列标准卷积 CBS 模块和 C3 模块以及SPPF模块组成；Neck为路径聚合网络PANet，并融合了主干中的 3 个不同尺度特征图（P3、P4、P5）；Head为检测网络Detection。1.3改进的草莓成熟度检测模型1）模型轻量化。本研究使用 ShuffleNetv2中的模块（Shuffle_Block）替换YOLOv5s中的主干特征提取网络。ShuffleNet15-16引入了深度可分离卷积，深度可分离卷积可以分解为逐深度卷积（Depthwise convolution，DW）和逐点卷积（Pointwise convolution，PW）。深度可分离卷积与普通卷积计算量的比值如下：D2FD2KM+D2FMND2FD2KMN=1N+1D2K(1)其中，DF为输入特征图尺寸，DK为卷积核尺寸，M为输入通道数，N为卷积核个数。由此可见，深度可分离卷积可以大幅降低计算量。ShuffleNetv1提出了通道重排技术，通道重排技术将特征图中的通道按照一定规则分成若干组，然后将每组中的元素重新排列，从而增加通道之间的信息交互和融合能力，增加模型的非线性表达能力。ShuffleNetv2增加了通道划分（channel split）操作，将输入通道划分为 2 组，然后对其中 1 组进行卷积操作，从而减少了计算量和模型参数。使用的 Shuffle_Block 如图 2 所示。左侧图为Stride=1的特征提取操作，输出通道数和特征图尺寸不变；右侧图为Stride=2的下采样操作，输出通道数翻倍，特征图尺寸减半。通过 Shuffle_Block 搭建的YOLO主干网络结构如表2所示。2）全维度动态卷积（ODConv）。使用 ODConv替换 PANet 中的常规卷积以获取充分的上下文信息，从而使网络更加专注于草莓果实信息。常规的卷积核不具备动态属性，其卷积核参数固定不变。动态卷积可以根据输入的图片动态调整卷积核参数，使得卷积核更加专注于目标信息。为了充分利用动态卷积挖掘上下文线索的能力，引入了1种全维度动态卷积17，该卷积不仅赋予卷积核数动态属性，还关注了卷积的空间大小、输入通道数和输出通道数。表1草莓成熟度数据集基本信息Table 1Strawberry ripeness data set basic information数据集Data set训练集 Training set验证集 Validation set测试集 Test set合计 Total图像Images2 4803103103 100未成熟Immaturity8 8061 0171 05710 880半成熟 Medium1 9162412512 408成熟Maturity2 2462942952 835图1 YOLOv5s网络结构Fig.1 YOLOv5s network structure263第 42 卷 华 中 农 业 大 学 学 报常规卷积只有1个静态卷积核且与输入样本无关，而传统的动态卷积核