基于卷积神经网络的辣椒采摘机器人开发研究_吴永豪.pdf

随着社会的不断发展和人民物质生活水平的不断提高，消费者及辣椒行业将更加关注辣椒的品质，强化品种多样性和筛选优质种子培育优良辣椒品种，因此需要利用计算机视觉的图像识别技术对辣椒进行筛选。现今的辣椒种植在收获阶段基本依赖人工方式完成，人工采摘工作量大且劳动强度高1。而随着人口老龄化严重，使用辣椒采摘机器人在降低人工成本的同时还能有利于开展大规模辣椒种植，提高辣椒产业规模，对我国的辣椒产业未来发展具有重要意义。1基于卷积神经网络的辣椒图像识别卷积神经网络是一种借鉴了人脑视觉皮层结构设计的神经网络模型，已被广泛应用。卷积神经网络与其他神经网络最显著的区别在于其在网络结构上添加了卷积层，并且因为实现了“权共享”策略，让一组神经元使用相同的连接权，节省了神经网络的训练开销。经典的卷积神经网络CNN架构如图1所示：图1经典的卷积神经网络架构卷积层是对初步对输入图像进行处理的图层，卷积层的重要工作是卷积的选择，每个卷积核相当于一个选择器，过滤出合适的条件和信息，并对特征信号进行放大。一般来说，卷积核较大提取的特征效果会更好，因为覆盖的特征值多，但同时卷积核意味着叠加的特征图多，训练参数会变多，训练时间会变长，所消耗的资源更多；反之，训练参数会减少，训练时间会变短，特征准确率会提高，但提取的特征效果往往不理想。池化层是通过对输入图像进行二次采样，以减少计算负担和内存消耗和参数数量，卷积层仅仅只是筛选特征，一般图像经过卷积层之后，图像仍然会存在大量无用信息，因为卷积层卷积会进行零填充，以保证相邻两层拥有相同的高和宽，但是图像填充零后无用信息增多影响到其后的训练速度和处理准确度。为解决该问题，需要设置池化层进行二次采样筛选，也称被为下采样，通过消除无用特征，缩小图像和输入值，重点突出有用信息。本辣椒采摘机器人的图像识别算法采用基于VGGNet的卷积神经网络模型，VGGNet采用了33尺寸的卷积核，能提取到更多的特征细节，以便能更好识别辣椒的外部品质，并且卷积神经网络因为权值共享的网络结构更类似生物神经网络，实现了类似人类直接将图像信息输入到网络中，无需进行复杂的特征提取和构建，十分适合应用于目标检测，同时因为其对于迁移学习的适应性较好，可以节省大量的重复训练时间。当然仅仅使用一个神经网络模型是不够的，卷积神经网络的趋势是越来越深和越来越简单，如ResNet，强大并且实用，未来通过融合不同的模型，吸收优点，因为辣椒的种类多种多样，需要根据种类使用不同的网络模型，更好实现检测任务。采用基于梯度的搜索寻找最优参数值是卷积神经网络使用最为广泛的参数寻优方法，而采用随机梯度下降法可以最大限度地优化输入的目标图像，实现目标边缘检测2。2基于双目立体视觉的辣椒定位技术视觉定位技术有单目和双目，基于单目视觉技术采用对应点标定法实现测距，但受限于设备数量定位不能实现十分精准定位。双目立体视觉是基于人类视觉成像的原理，让计算机通过摄像头定位目标并感知目标距离的一种技术。从两个或者多个点观察一个物体，根据在不同视角下得到的图像，再由图像之间像素的匹配关系，利用三角测量原理计算出像素之间的偏移来获取定位目标的三维坐标信息。通过计算得到定位目标的景深信息，就可以计算出目标与摄像头之间的实际距离、目标在计算机设定的三维空间中的大小3。因此本机器人采用基于双目立体视觉的定位测距技术。如图2为双目立体视觉原理图，从图中可知C1、C2为两个内部参数相同的摄像头，且相互平行，拥有相同的水平坐标，它基于卷积神经网络的辣椒采摘机器人开发研究*吴永豪霍玮潼张晓倩牛琬淇梁锋骆金维廖倩（广州新华学院，广东 东莞523133）Pepper Picking Robot Based on Convolutional Neural Network摘要：我国是辣椒生产出口大国，辣椒是重要的经济支柱作物，研究辣椒采摘机器人对降低人工成本和提高采摘工作效率具有重要意义。设计一种基于卷积神经网络的辣椒采摘机器人，采用卷积神经网络实现辣椒成熟度和品质检测，再通过双目立体视觉技术实现空间定位，适用于野外作业环境，从而解决辣椒采摘过程中人工采摘效率低和劳动强度大的问题，实现辣椒采摘的全过程自动化。关键词：辣椒；采摘机器人；卷积神经网络；双目视觉定位Abstract:My country is a major producer and exporter of peppers and an important pillar of the economy.Researchon pepper picking robots is of great significance to reduce labor costs and improve picking efficiency.In this paper,apepper picking robot based on convolutional neural network is designed.The convolutional neural network is used to detectthe maturity and quality of peppers,and then the binocular stereo vision technology is used to achieve spatial positioning.The problems of low efficiency and high labor intensity of manual picking can realize the automation of the whole processof pepper picking.Keywords:pepper,picking robot,convolutional neural network,binocular vision localization*广东省大学生创新创业训练计划项目（202113902090）基于卷积神经网络的辣椒采摘机器人开发研究30工业控制计算机2023年第36卷第1期们的垂直坐标相互平行。E1和E2分别为平面X1O1Y1和X2O2Y2中所成的图像，P1和P2分别为空间点P在E1和E2中所成的像点，两点在二维平面上具有相同的y坐标，其x坐标相差两个摄像头的平行距离b，b也称为基线长度，其中d表示视差。如果把左摄像头C1标定为（0，0，0）时，那右摄像头C2就为（b，0，0）。根据两个平行设置的摄像头结构，即可得出视差值d，而已知两个摄像头C1、C2的焦距f，目标物点P的距离信息（景深）即Z坐标可用以下公式表示：d=fbZ由上式可得：Z=fbd然后利用几何模型与相似三角形原理求出点P在三维空间坐标系下的其他两个分量X和Y可用下式表示：X=（U-U0）bdY=（V-V0）bd上式中（U0，V0）为主点坐标，是通过对摄像头的参数进行设定得到的，通过求解可以得到点P在相机坐标系下的空间三维坐标。图2双目立体视觉原理图3辣椒采摘机器人的末端执行器当前的采摘机器人的末端执行器主要有两种实现技术，一种是唇吸式，一种是夹持式；果茎切割技术也主要有两种，一种是剪刀式，一种是基于热切割系统4，这种切割机构通过两种技术实现不同的切割功能：电弧热切割系统（EATCS）和温度电弧热切割系统（TATCS）。电弧热切割系统是用于切割果茎，利用高压电力在电极片双端产生电弧，而温度电弧热切割系统则是通过高温切割果梗，由导线加载电流产生高温进行切割5-6。因为通过试验得知热切割系统的辣椒保鲜时期比剪刀式的要长，更加有利于辣椒的储存1，因此本项目采用基于热切割的技术，而剪刀式需要在采摘爪设置剪刀并在下方设置拾取装置，以实现自动采摘进蓝，装置较为复杂，热切割技术仅需在采摘爪上设置电极片即可，小巧的装置在辣椒被叶片遮挡的情况下依然可以实现采摘。不过部分的末端执行器仅仅拥有剪切功能，而不同时具备拾取功能，无法剪切后拾取，剪切好辣椒后会掉落到地上，辣椒采摘的过程无法实现自动装篮，需要进行二次捡拾1，这是目前部分采摘机器人所存在的问题。因此针对该问题本研究的辣椒采摘机器人项目的采摘爪不仅仅拥有切割果茎功能，还具备夹持功能，实现从识别到剪切再到抓取辣椒自动装蓝的辣椒采摘全自动化过程。4辣椒采摘机器人的设计研究目前全球的辣椒总产量超过6000万，为了减轻辣椒种植户的采摘劳动强度和提升辣椒采摘效率，外国对辣椒的采摘机器人研究十分重视，以色列和欧洲研究出了“Sweeper”的甜椒采摘机器人7，通过应用小型摄像头识别和定位辣椒果实，并且在甜椒的采摘中利用双电极热切割技术摘取甜椒的可行性得到验证8。本文也设计出一种基于卷积神经网络的辣椒采摘机器人，促进我国的辣椒产业发展，考虑到国外发达国家的甜椒培育大多位于室内的温室，而我国同类型的甜椒采摘机器人同样定位于温室中运行，机器人采用传统的轮式行走装置9，而我国的辣椒大多种植在农田中。本项目设计的采摘机器人采用履带行走装置，便于采摘机器人在农田中行走，适应大部分农田中不规则地形，机器人拥有辣椒储存器、摄像头、机械臂和采摘爪，采摘爪采用热切割技术，直接对辣椒茎进行切割后，抓取辣椒果实放置于后方的辣椒储存器中，通过获取摄像头识别道路情况，控制辣椒采摘机器人的行走和采摘辣椒作业时识别辣椒的品质和成熟度。基于卷积神经网络的辣椒采摘机器人示意图如图3所示：图3基于卷积神经网络的辣椒采摘机器人示意图本基于卷积神经网络的辣椒采摘机器人的作业流程是先从放置地出发自行前往工作地，由机器人搭载的摄像头对道路情况实时检测，避让障碍物，设置机器人为履带结构，具备一定的越障能力，遇到部分特殊障碍采摘爪可实现一定程度的清理功能，通过检测算法和定位算法自动判断。达到作业地后摄像头转为识别辣椒成熟度，以确认采摘与否，对辣椒进行实时检测。由于同一图像内可能存在多个辣椒，识别一次后所有辣椒数据会储存，待采摘爪根据定位信息执行采摘，切割辣椒根茎，自动装箱后，再次对符合条件的辣椒进行采摘，以减少同一数据的多次识别检测，避免算力资源浪费。辣椒储存器检测满载后通知机器人达到指定地点自动换装新的储存器，并再次出发前往未完成的作业区。5结束语本文主要研究一种自动化的辣椒采摘机器人，将传统农业与人工智能技术融合发展，同时根据农业农村部的关于加快推进设施种植机械化发展的意见，这份2020年发布的意见当中提到到2025年农业机械化水平总体达到50%以上，推进农业装备智能化，因此该研究项目不仅仅能减轻辣椒种植户的劳动强度，还能提高辣椒的采摘效率。通过基于深度学习神经网络的辣椒品质筛选技术提高辣椒的总体品质，利用履带行走装置实现在野外农田作业而不仅仅局限于温室，为实现大规模的辣椒机械化种植提供条件，促进我国的辣椒产业发展。参考文献1王周宇.彩椒采摘机器人研究现状与展望J.现代农业装备，2021，42（6）：70-752朱明秀.采摘机器人水果检测及定位研究基于图像处理和卷积神经网络J.农机化研究，2022，44（4）：49-533王连增.基于VS+OpenCV的双目视觉定位测距系统J.现代计算机，2020（14）：58-624BACHCHE S,OKA K.Performance Testing of Thermal Cutting（下转第33页）31工业控制计算机2023年第36卷第1期（上接第31页）Systems for Sweet Pepper Harvesting Robot in GreenhouseHorticultureJ.Journal of System Design&Dynamics,2013,7(1):36-515KITAMURAS,OKAK.Recognitionandcuttingsystemofsweet pepper for picking robot in greenhouse horticultureC/Mechatronics and Automation,2005 IEEE International Con-ference.IEEE,20