基于改进Mask_R-CNN的番茄茎秆分类方法_项荣.pdf

第 50 卷 第 2 期2 0 2 3 年 2 月Vol.50，No.2Feb.2 0 2 3湖 南 大 学 学 报（自 然 科 学 版）Journal of Hunan University（Natural Sciences）基于改进Mask R-CNN的番茄茎秆分类方法项荣，张茂琛（中国计量大学 质量与安全工程学院，浙江 杭州 310018）摘 要：为实现对与背景近色、不规则细长型目标番茄茎秆的分类，提出了一种基于改进Mask R-CNN的番茄茎秆分类算法.采集日间和夜间番茄植株图像，使用labelme分别制作日间和夜间番茄茎秆分类数据集.结合迁移学习方法，使用两种数据集分别训练Mask R-CNN模型.对Mask分支进行了改进，在生成掩膜的同时生成其最小外接矩，并提出了用于评估掩膜边框精确率的评价指标Re及用于综合评估模型性能的像素级评价指标.试验结果显示：夜间及日间茎秆分类模型的像素 F1值、像素全类平均正确率分别为 48.82%、50.03%和57.76%、56.06%.Mask分支改进后掩膜边框精确率得到了显著提高，平均每幅图像检测耗时0.31 s，满足实际应用对算法实时性的需求，可为植株修剪等工作的智能化提供方法支持关键词：番茄植株；茎秆分类；Mask R-CNN；像素级评价指标中图分类号：TP391.41 文献标志码：ATomato Stem Classification Method Based on Improved Mask R-CNNXIANG Rong，ZHANG Maochen（College of Quality and Safety Engineering，China Jiliang University，Hangzhou 310018，China）Abstract：To realize the tomato stem classification of irregular thin and long objects with a similar color to the background，an algorithm for tomato stem classification based on improved Mask R-CNN was proposed.First，the images of daytime and night tomato plants were collected，and stems in the images were labeled using the Labelme to produce data sets of tomato stem classification at daytime and night，separately.Then，the Mask R-CNN model was trained separately using the two data sets with the transfer learning method.The Mask branch was improved to generate its minimum external moment when the Mask was produced，an evaluation index Re was proposed to evaluate the accuracy of the Mask border，and pixel-level evaluation indexes were proposed to comprehensively evaluate the performance of the model.Test results show that the pixel F1 score and pixel mean average precision of the night and day stem classification model are 48.82%，50.03%，and 57.76%，56.06%，respectively.After the improvement of the Mask branch，the accuracy of the mask border is significantly improved.The average recognition time of each image is 0.31 s，indicating that the recognition model can meet the real-time requirements of the algorithm in practical applications.It can provide method support for the intelligence of plant pruning and other works.Key words：tomato plant；stem classification；Mask R-CNN；pixel-level evaluation indexes 收稿日期：2022-03-09基金项目：国家自然科学基金青年基金项目（61105024），National Natural Science Foundation of China（61105024）；浙江省自然科学基金项目（LY17C130006），Natural Science Foundation of Zhejiang Province（LY17C130006）作者简介：项荣（1978），男，浙江杭州人，中国计量大学副教授，博士 通信联系人，E-mail：xr_文章编号：1674-2974（2023）02-0031-09DOI：10.16339/ki.hdxbzkb.2023264湖南大学学报（自然科学版）2023 年农业机器人是实现农业自动化的重要方式，而视觉系统是农业机器人实现作业目标自动识别和定位的主要部件目前农业机器人视觉系统研究多集中于果蔬识别1-5，对果蔬植株其他器官尤其是茎秆的识别研究较少实现果蔬植株茎秆识别是农业机器人实现对靶喷施、剪枝、疏叶、成簇采摘等作业自动化的前提6-7，同时也有助于实现农业机器人作业时的自动导航和避障8传统的果蔬植株器官识别方法主要应用于场景简单9、与背景异色的目标识别在目标与背景近色，存在遮挡、重叠及光照不均匀的复杂应用场景中，其目标识别正确率不高10与传统的茎秆识别方法相比，深度学习方法识别正确率更高，受环境因素影响更小，在复杂场景下的果蔬植株器官，尤其是与背景近色的果实识别中得到了广泛应用11然而，当前基于深度学习的植株茎秆识别方法研究主要 集 中 于 主 茎 或 与 其 他 器 官 异 色 的 树 枝 的 识别 12-13.比较而言，与背景近色的果实个体轮廓分界分明，形状相对规则，与背景异色的树枝，颜色特征鲜明，而番茄茎秆相互贯通，形状呈细长的近似直线或不规则弧线，且与叶片等背景颜色相近，识别难度大Mask R-CNN（Mask Region-Convolutional Neural Network）作为一种可对多个目标同时进行分割和识别的深度学习框架14，在植株器官识别中已得到初步应用15-16本文针对日间自然光条件下和夜间主动照明条件下番茄植株不同区域光照条件不一致、茎秆与其他器官近色等带来的番茄茎秆的分类难题，提出了一种基于改进 Mask R-CNN 的番茄茎秆分类方法基于最小外接矩提取算法对Mask R-CNN模型的Mask分支进行了改进，使其在生成茎秆掩膜的同时生成对应的最小外接矩，同时提出了用于实例分割深度学习模型综合性能评价的像素级评价指标和掩膜边框精确率评价指标Re，以提高实例分割深度学习模型性能评价的准确性1 试验材料和方法1.1 试验材料与设备1.1.1 试验材料与图像采集试验材料为温室大棚中种植的虹越大番茄植株分别采集了日间和夜间番茄茎秆图像参照文献 17，夜间照明系统如图 1（a）所示，其中 ACDF 长宽为 700 mm600 mm通过开关 控制可实现不同的光源布局图像采集系统实物如图 1（b）所 示 使 用 PointGreyResearch 公 司 的 Bumblebee2型双目立体相机进行夜间番茄植株图像采集相机安装于三脚架，通过1394连接线和采集卡 MOGE1394 与 计 算 机 相 连 所 用 计 算 机 为DELLE4300，内存 2GB，CPU 为 IntelCore2DuoP9400，操作系统 Windows7图像存储为 JPG 格式（800 像素600像素）2018 年 67 月使用两盏 2W LED 对角布局（AF）在温室大棚采集夜间番茄植株图像 192 幅；2019 年 67 月使用两盏 1W LED 对角布局（AF）在温室大棚采集夜间番茄植株图像272幅，使用四盏1W LED四角布局（ACDF）采集图像63幅2021年8月采集日间番茄植株图像，其中于 7：0011：00采集图像 106 幅，于 14：0018：00 采集图像 107 幅图像采集距离为300600 mm1.1.2 深度学习软硬件环境及数据制备使用联想拯救者 R7000p笔记本电脑进行深度学习模型训练和测试，其内存16 G，CPU为AMD Ryzen 7 4800H with Radeon Graphics，显卡为 NVIDIA RTX 2060操作系统Windows 10，基于Python，使用深度学习框架Tensorflow 1.6.0和 Keras 2.1.6搭建深度学习环境使用自制的茎秆分类数据集对Mask R-CNN模型进行训练以夜间茎秆分类数据集的制作为例，方法如下：使用标注软件labelme 4.2.0对图像中茎秆轮廓进行标注，根据茎秆的生长位置将茎秆分为主茎和侧枝.主茎是直接生长在地面上的茎秆，竖直向上生长，较为粗壮，其标签为main stem.侧枝为生长在主茎上的茎秆，以主茎为中心向外侧生长，其标签为firstary side branch，如图2所示图像中的过暗茎秆、曝光茎秆不予标注由于叶片、支撑杆、绳子等杂物的遮挡以及曝光等环境因素的影响，番茄茎秆 （a）结构简图 （b）实物图图1 夜间图像采集系统Fig.1 Night image acquisition system32第 2 期项荣等：基于改进Mask R-CNN的番茄茎秆分类方法被分割为若干大小不等的片段，因此每幅图像中标注的平均茎秆对象数为520个对夜间采集所得 529幅图像进行翻转、平移等操作实现数据增强后，按比例划分获得的训练集含1 012幅图像，验证集含200幅图像，测试集含109幅图 像，3 个 数 据 集 含 标 注 茎 秆 对 象 数 合 计 超 16 000个日间茎秆分类数据集的制作类似标注完成后，经数据增强、按比例划分后得到的数据集含训练集图像567幅，验证集图像47幅，测试集图像24幅1.2 番茄茎秆Mask R-CNN分类方法1.2.1 番茄茎秆Mask R-CNN分类模型如图3所示，基于Mask R-CNN的番茄茎秆分类模型结构可分为三部分1）主干网络ResNetFPN，是共享卷积层，用于提取输入图像的特征以生成特征图选用残差网络ResNet-101（Residual Network-101）结合特征金字塔网络FPN（Feature Pyramid Networks）作为主干网络，FPN主要解决了目标检测中的多尺度检测问题通过自底向上的卷积神经网络得到四级特征图 P2、P3、P4、P5，使用自顶向下和横向连接的方法将四组特征图融合起来，融合后的每层网络都具有深层次和浅层次的特征2）区 域 建 议 网 络 RPN（Region Proposal Network），用于生成可能含有检测目标的感兴趣区域RoI（Region of Interest）RPN 涉及的特征图来自FPN中金字塔特征层，首