基于YOLOv5s的番茄采摘机器人目标检测技术.pdf

年第卷第期 传感器与微系统（）：（）基于的番茄采摘机器人目标检测技术朱智惟，单建华，余贤海，孔德义，王琼，谢晓轩（合肥工业大学微电子学院，安徽合肥；安徽工业大学机械工程学院，安徽马鞍山；中国科学院合肥智能机械研究所，安徽合肥；中国科学院种子创新研究院，海南三亚）摘要：为了实现番茄采摘机器人高效自动化采摘，针对当前番茄采摘机器人果实识别准确率较低、漏检率较高等问题，提出了一种基于深度神经网络的番茄识别算法改进模型，通过对网络的部分增加跨层连接，实现多尺度特征融合，并采用软性非极大值抑制，可对番茄果实进行快速准确的识别。在植物工厂全光谱光照条件下，进行实际采摘实验，其识别准确率达 以上，比高 ；同时，在漏检率方面降低了 。将改进后的识别算法应用于自主研发的番茄采摘机器人系统中，可实现对番茄果实的准确采摘。关键词：智慧农业；深度学习；目标检测；番茄采摘机器人中图分类号：；文献标识码：文章编号：（），（，；，；，；，）：，：；引言采摘机器人作为智慧农业的代表，近年来已经从研究阶段进入实验阶段。为解决繁重的农业任务和日益增长的人工成本之间的矛盾，以深度学习和机器人为代表的人工智能（）技术正成为新的发展趋势。番茄作为重要的经济作物，早在年，研究人员就开始研发机器人对新鲜的番茄进行采摘。深度学习目标检测算法基本分为两类。一类是二阶网络包括卷积神经网络（，），基于快速的区域（，）等；另一类是以（）为代表的一阶网络。系列深度神经网络是一种端到端的目标检测算法，具有检测速度快、流程简单等优势，目前广泛应用于目标检测领域。李琦等人融合了目标检测算法与深的简单的在线和实时跟踪（，）目标跟踪算法，实现了草原牛的收稿日期：基金项目：中国科学院种子创新研究院委托项目（）；安徽省科技重大专项项目（）传 感 器 与 微 系 统第卷检测跟踪。薛志峰等人将树莓派和目标检测算法相结合，实现了六足机器人对手势的识别。张博等人将空间金字塔池化（，）与改进的进行结合，提出一种害虫识别定位的算法，识别准确率达 。熊俊涛等人采用改进的网络在夜间进行柑橘果实的识别，其检测准确率达 。魏纯等人采用机器学习以及双目视觉技术实现了橘子的识别和定位。等人基于开发了整套的番茄采摘机器人。李志军等人为了提升苹果果园原位测产的准确性，在算法中添加注意力机制模块实现了更高的苹果识别准确率，然而在农业领域，基于较新的深度神经网络的应用研究仍相对较少，对于采摘任务而言，果实多会出现遮挡严重的现象，要求较高的识别准确率以及较低的漏检率。本文基于深度神经网络，提出了一种用于番茄果实识别的深度神经网络，并将其植入到自主研发的番茄采摘机器人硬件系统中，验证其识别与采摘效果。基本结构本文选取 进行改进，网络结构如图所示。InputFocusConvC3SPPBackboneConvC3ConvC3ConvC3ConcatUpsamplingConvC3ConcatConvC3ConvConcatC3ConvConcatC3Conv2dConv2dConv2dNeckOutputUpsampling图 网络结构 在网络的阶段增加了数据增强，自适应锚框计算。针对不同的训练集，采用自适应锚框策略来得到最佳锚框值，在原始锚框的基础上，获得预测框，并通过反向更新的方法来优化网络参数。是一种用于聚合不同细粒度图像并形成特征图的。的第一层是，该层的目的是提高运算速度，结构如图（）所示。以 的图像为例，数据经过结构的切片操作后，得到 特征图。将所得特征图进行操作后，经过 卷积操作，得到通道的输出。将结果通过模块处理，模块由卷积层、批归一化（，）处理、激活函数组成。网络使用了模块，其结构如图（）所示。模块通过最大池化的方式生成不同尺度的特征图，分别采用个不同尺寸的卷积核（，）和进行处理，将结果经过操作结合起来，能够更好地增加卷积核的感受野。结构如图（）所示。SliceSliceConcatSliceSliceConvConvConvInputConvConcatConvConvBottleNeckoutput(a)?Focus(b)?C3InputConvMaxPoolingMaxPoolingMaxPoolingConcatConvoutputoutput(c)?SPPBottleNeck图、以及网络结构 在的中使用了特征金字塔网络（，）和路径增强网络（，），其结构如图所示。其中，将深层的语义特征传递到浅层，实现了更多的特征融合，但耗时较大。相反，将浅层的定位信息传递到高层，增加了多尺度上的定位能力，可以有效地缩短各层特征之间的融合路径。P1P2P3P4P5P5P4P3P3P4P5FPNPAN上采样下采样图 与结构改进的番茄检测模型引入双向 等人在的基础上设计出，为了更加有效地进行多尺度特征融合，同时考虑到融合时的权重问题，引入了加权双向（，），通过引入可学习的权重来学习不同输入特征的重要性，同时重复应用自顶向下和自底向上的多尺度特征融合。这区别于以往的大部分网络不加区分的直接相加，图结构显示，因为边界节点仅存在一条输入边，并没有进行特征融合，移除了这些对结果贡献较小的节点，如果原始的输入节点和输出节点处第期朱智惟，等：基于的番茄采摘机器人目标检测技术于同一级别，将增加一条额外的边用于直接将输入和输出进行跨层连接，在控制了计算成本的情况下，实现了更多的特征融合。另外，为了实现更加高级的特征融合，将中每个双向的路径视为一个特征层，并多次重复同一层。Repeat?BlocksP7P5P6P4P3BiFPN图 结构 本文借鉴结构，对中的部分进行改进，将原始的的输入和的输出在同一级别上的特征图进行融合，并在融合时考虑到权重问题，通过可学习的权重达到最佳的优化效果，改进后的结构如图所示。P2P3P4P5P3P4P5P3P4P5图改进后的 网络 以输出的层为例，其加权后的表达式如式（）所示（）式中 为输出；，分别为输入，的权重。软性非极大值抑制对于与置信度最高的框重叠较为严重的检测框，通过衰减函数进行处理，降低大于重叠阈值的检测框的置信度，而非直接删除。表达式如式（）所示，（，）（，），（，）0（）将经 节和 节改进后的目标检测算法，称为。模型训练与实验数据集的采集处理使用 深度相机。采集的图像尺寸为，共张，经数据增强扩充至张，并按 5 的比例随机划分为训练集和测试集。识别对象为经过基因改良的小型樱桃番茄，该品种色泽鲜艳，坐果率高，且在不同光照环境下特征有所变化。本文所采集数据兼顾各种光照条件，其中张为自然光照条件，张为全光谱光照条件，图是其中一组番茄样品分别在自然光（左）和全光谱（右）光照条件下的图片。根据遮挡的情况将番茄分为成熟可摘和成熟不可摘两类进行标注，标签分别采用和。随后通过标注工具对每张图片目标所在位置进行手工标注，生成网络所需的数据格式。(a)?自然光(b)?全光谱图不同光照条件下的番茄图片训练硬件环境及训练结果本文模型训练的硬件环境配置如下：为，为 ，内存为的计算机。并在其中安装深度学习框架、并行计算框架 以及配套的深度学习加速计算库 。每组实验中设置为，训练个。本文采用训练精度和均值平均精度 5 作为衡量模型性能的指标。表达式如下 （），（）（）式中 为平均精度，为（准确率），为（召回率），为类别。将与进行对比。对比实验训练过程如图所示，图（）为准确率变化趋势对比，图（）为变化趋势对比。4003002001000.20.40.60.81.0mAP_0.50.95Step81.7?%83.9?%88.62?%91.15?%Tomato-YOLOv5sYOLOv5s(b)?mAP400300200100P(a)?PTomato-YOLOv5sYOLOv5s0.20.40.60.81.0Step图训练过程各指标变化 本文模型训练对比实验结果显示，的值比提升了 ，达到 ，5 值提升了近 ，达到 。召回率与基本持平。为了评估在新的图片上的性能，取张未参与训练和测试的图片进行测试，测试结果如图所示，训练数据表明，本文对的改进效果可以满足番茄采摘机器人的要求。(a)?自然光照(b)?全光谱光照图模型性能测试采摘实验采摘机器人平台采用机器人操作系统（）进行搭传 感 器 与 微 系 统第卷建，主要硬件包括激光即时定位与地图构建（，）自动导引车（，）底盘、六自由度机械臂（）、深度相机以及电动夹爪系统。为了实现深度学习番茄检测节点的功能，首先需要配置深度学习框架，然后移植训练所得深度学习目标检测模型。实验平台如图所示，左图为采摘机器人整机，右图为采摘机器人正在执行采摘作业场景。机械臂电动夹爪深度相机图采摘机器人整机及作业场景 本文采用准确率、漏检率作为衡量指标，表达式为（），其中，（）预测与真实一致均为番茄，（）预测为番茄，真实不为番茄。随机选取个采摘点，分别使用和训练所得模型对视野内的番茄进行识别，个采摘点视野中共计个成熟番茄。识别准确率为，其中，类别漏检率为。漏检率为。识别准确率为 ，对于类别漏检率为，漏检率为 。准确率和漏检率数据统计如表所示。表采摘实验模型性能对比模型准确率漏检率 根据对每个采摘点视野内番茄的识别结果，得到果实质心在（，）图像中的像素坐标，根据相机模型可以得到该果实在相机坐标系下的三维坐标（，）。通过坐标变换，得到果实在机械臂坐标系下的三维坐标（，），并控制机械臂执行采摘作业。结论本文借鉴了的思想对网络结构中部分进行了改进，增加了跨层连接，实现了多尺度特征融合，有利于模型学习到更多的特征。此外，对中传统的进行了改进，得到，从而降低了漏检率。采摘任务识别实验结果表明，本文所提出的模型可以提高番茄采摘机器人的识别准确率，同时降低漏检率，为成功采摘奠定了良好的基础。参考文献：李丽，张晓亮基于机器视觉的采摘机器人果实三维模型重构与识别农机化研究，（）：郑永军，陈炳太，吕昊暾，等中国果园植保机械化技术与装备研究进展农业工程学报，（）：，（）：孙家慧，葛华勇，张哲浩结合注意机制和多尺度卷积的行人检测计算机系统应用，（）：李琦，尚绛岚，李宝山基于和 的草原牛跟踪系统传感器与微系统，（）：，（）：，薛志峰，蒋刚，留沧海，等基于树莓派的手势交互六足机器人传感器与微系统，（）：，（）：张博，张苗辉，陈运忠基于空间金字塔池化和深度卷积神经网络的作物害虫识别农业工程学报，（）：熊俊涛，郑镇辉，梁嘉恩，等基于改进网络的夜间环境柑橘识别方法农业机械学报，（）：魏纯，李明，龙嘉川采摘机器人果实识别与定位研究基于双目视觉和机器学习农机化研究，（）：，：，：李志军，杨圣慧，史德帅，等基于轻量化改进的苹果树产量测定方法智慧农业（中英文），（）：韩佳彤，张宏娜，李召波，等基于网络模型的市政道路检测识别内蒙古大学学报（自然科学版），（）：于娟，罗舜基于的违章建筑检测方法计算机工程与用，（）：，：（），：作者简介：朱智惟（），男，硕士研究生，研究方向为机器人视觉，深度学习，机器学习。单建华（），男，博士，教授，研究领域为深度学习，机器学习，机器人。孔德义（），男，通讯作者，博士，研究员，研究领域为技术，深度学习，机器学习，机器人技术，无人机降噪。