基于VINS-MONO和改...Tiny的果园自主寻筐方法_朱立成 (1).pdf

2 0 2 3 年 8 月农 业 机 械 学 报第 54 卷 第 8 期doi:106041/j issn 1000-1298 2023 08 009基于 VINS MONO 和改进 YOLO v4 Tiny 的果园自主寻筐方法朱立成1，2韩振浩1，2赵博1，2周利明1，2王瑞雪1，2靳晨1，2(1 中国农业机械化科学研究院集团有限公司，北京 100083;2 农业装备技术全国重点实验室，北京 100083)摘要:面向果园运输车果品采收自主运输作业场景，提出了一种基于 VINS MONO 和改进 YOLO v4 Tiny 的果园自主寻筐方法。首先基于 VINS MONO 视觉惯性里程计算法，进行果园运输车位置姿态的实时估计。然后基于改进 YOLO v4 Tiny 目标检测算法，根据图像数据进行果筐实时目标检测并获取对应深度信息。其次根据运输车当前位置姿态、果筐深度信息以及深度相机内参，进行被识别果筐位置更新。最后基于三次 B 样条曲线拟合原理，以被识别果筐位置为控制点，进行寻筐路径实时拟合，为果园运输车抵近果筐提供路线引导。试验结果表明:改进YOLO v4 Tiny 果筐识别模型的平均识别精度为 93.96%，平均推理时间为 14.7 ms，4 m 内的果筐距离定位误差小于 4.02%，果筐角度定位误差小于 3，果园运输车实测平均行驶速度为 3.3 km/h，果筐搜寻路线平均更新时间为0.092 s，能够在果树行间和果园道路两种作业环境下稳定实现自主寻筐。该方法能够为果园运输车提供自主寻筐路径引导，为其视觉导航提供研究参考。关键词:果园运输车;自主寻筐;视觉惯性里程计;目标检测中图分类号:TP242.6文献标识码:A文章编号:1000-1298(2023)08-0097-13OSID:收稿日期:2022 12 24修回日期:2023 04 23基金项目:国家重点研发计划项目(2021YFD2000105)作者简介:朱立成(1984)，男，高级工程师，主要从事农业机器人关键技术研究，E-mail:zhulicheng caams org cn通信作者:赵博(1981)，男，研究员，博士生导师，主要从事农业机械化和农业工程技术研究，E-mail:zhaobo caams org cnAutonomous Basket Searching Method for Orchards Transporter Based onVINS MONO and Improved YOLO v4 TinyZHU Licheng1，2HAN Zhenhao1，2ZHAO Bo1，2ZHOU Liming1，2WANG uixue1，2JIN Chen1，2(1 Chinese Academy of Agricultural Mechanization Sciences Group Co，Ltd，Beijing 100083，China2 National Key Laboratory of Agricultural Equipment Technology，Beijing 100083，China)Abstract:A method for orchard autonomous basket searching based on VINS MONO and improvedYOLO v4 Tiny was proposed for the scenario of orchard transporter fruit harvesting and autonomoustransportation operations Firstly，the position of the orchard transporter was estimated in real time basedon the VINS MONO visual inertial odometry calculation method Then based on the improved YOLOv4 Tiny target detection algorithm，real-time target detection of the fruit basket was performed on theimage data，and its depth information was obtained Nextly，the position of the identified fruit basket wasestimated based on the current position pose of the transporter，the depth information of the fruit basketand the parameters of the depth camera Finally，based on the principle of cubic B spline curve fitting，the path of the identified fruit basket was fitted in real time，using the position of the identified fruitbasket as the control point，to provide route guidance for the autonomous fruit basket search of theorchard transporter The test results showed that the average recognition accuracy of the improved YOLOv4 Tiny fruit basket recognition model was 93.96%，the average inference time was 14.7 ms，themeasurement error of the fruit basket distance within 4 m was less than 4.02%，the measurement error ofthe fruit basket angle was less than 3，the measured driving speed of the orchard transporter was3.3 km/h，the average update time of the fruit basket search route was 0.092 s，and the transportercould stably achieve autonomous basket searching in two operating environments:fruit tree rows andorchard roadsThis method could provide autonomous basket finding path guidance for orchardtransporter and provide research reference for visual navigation of orchard transporterKey words:orchard transporter;autonomous basket searching;visual-inertial odometry;target detection0引言我国作为世界上最大的果品生产国与消费国，水果产业已经成为国民经济和农民收入的重要来源。随着我国经济的发展与城镇化建设，高度依赖人工的生产模式已经成为水果产业发展的重要阻碍。为了进一步降低人工生产成本、提高果品生产效率，果园农机装备自动化、无人化、智能化成为未来发展的必然趋势。自动驾驶作为智能农机装备的关键技术之一，是当前国内外学者的研究重点。果园环境中由于存在地形复杂与树冠遮挡等干扰因素，广泛应用于大田农机装备的卫星导航存在着多路径效应与信号遮挡等问题。视觉导航具有数据获取量大、语义信息丰富等特点，是当前果园导航的研究方向。当前国内外学者针对果园视觉导航开展了大量研究。有学者基于天空、道路等图像特征直接生成导航线，进行了果园行驶路径识别研究，TOES-SOSPEDA 等1 在神经网络图像分割的基础上，通过霍夫变换提取边界直线，进而生成橘园导航信息;ADCLIFFE 等2 根据天空和树冠的差异，从树冠背景中分割天空识别导航路径;SHAIFI 等3 基于图分割理论将聚类后的图像进行分割，应用霍夫变换提取导航路径特征;韩振浩等4 基于 U Net 网络，进行果园道路语义分割，并识别行驶路径;彭顺正等5 针对矮化密植枣园，提出了一种基于图像处理的枣园导航线生成基准算法。有学者为了给果园机器人自主导航提供参照依据，进行了果园环境中树干、树冠的识别研究，毕松等6 提出了基于实例分割的果园机器人行驶偏航角、横向偏移和果树位置的计算方法;XUE 等7 为了准确检测树干，提出了一种基于视觉摄像机和二维激光扫描仪的数据融合算法;王辉等8 基于 Mask CNN 神经网络模型，进行了单株柑橘树冠识别与分割;JUMAN 等9 基于KINECT 传感器采集的彩色图像和深度信息，进行油棕种植园树干检测;崔永杰等10 基于卷积层特征可视化，进行猕猴桃树干特征提取，用于道路导航线的拟合。通过分析现有研究可知，目前关于果园视觉导航的研究大多应用于果品采摘、果树植保以及园内巡检等作业场景，面向果品自主运输作业场景以果园运输机械为研究对象的视觉导航研究相对较少。传统的自走式果园运输机械往往无法进入柑橘园内部，因此果农采摘完柑橘后，多通过肩背人扛的方式将盛满果实的果筐、果桶往复运送至连接各个果树行行头的果园支路，劳动强度相对较大、作业效率相对较低。为解决该问题，课题组参考传统柑橘运输方案，在研制适用于柑橘园行间行驶运输的果园运输车行走底盘的基础上，提出了一种结合“自主寻筐+果农跟随+卫星导航”的机具辅助采摘运输方案。为了进一步提升果品运输效率，为果园运输车自主作业提供研究参考，本文面向规范化缓坡宽皮柑橘园果品运输作业环境，拟提出一种基于 VINS MONO 和改进 YOLO v4 Tiny 的果园自主寻筐方法。基于视觉惯性里程计算法 VINS MONO，进行果园运输车实时位置姿态估计。基于改进 YOLOv4 Tiny 目标检测算法，进行果筐实时检测并获取对应深度信息。根据运输车当前位置姿态、果筐深度信息以及深度相机内参，进行果筐识别、位置更新。基于 B 样条曲线拟合原理，进行寻筐路径实时拟合，进而引导果园运输车抵近果筐。1方法与模型“自主寻筐+果农跟随+卫星导航”的机具辅助采摘运输方案如图 1 所示。图 1机具辅助采摘运输方案Fig 1Method of machine-assisted harvest and transport具体步骤为:柑橘收获时，果农将采摘后的果实放置于位于行间的果筐中，运输车在行间自主寻筐，发现果筐后抵近至目标附近;果农装载果筐至运输车后，运输车进行下一个果筐的寻找，直至所有果筐装载完毕，运输车巡线行驶至果树行行头;在卫星导航或果农跟随的引导下，运输车在果园支路自主行走，到达指定卸车位置从而完成机具辅助运输。相较于传统肩背人扛的柑橘运输方案，本文提出的机具辅助采摘运输方案能够让果农专注于果实采摘，通过运输车自主抵近装满果实的果筐，辅助果农在果树行完成果实装载，果农的作业半径将主要围绕各个果树，不需要手提装满果实的果筐、果桶往复穿梭于果树行间，能够最大程度降低果农劳动强度，节省人力作业成本。自主寻筐、果农跟随和卫星导航是机具辅助运输方案中的重要环节。自主寻筐过程中，考虑到运输车在柑橘园行间行驶卫星定位信号会受树冠遮挡，本文拟通过视觉的方式开展自主寻筐问题的研究。由于机具在柑橘园行驶存在行间地形