基于YOLOX的作物种子自动计数方法_逄正钧.pdf

引用本文格式逄正钧，董峦，温钊发，等基于 YOLOX 的作物种子自动计数方法 J农业工程，2023，13（1）：29-35 DOI：10.19998/ki.2095-1795.2023.01.005 PANG Zhengjun，DONG Luan，WEN Zhaofa，et al Automatic crop seed counting method based on YOLOX modelJ AgriculturalEngineering，2023，13（1）：29-35基于 YOLOX 的作物种子自动计数方法逄正钧，董峦，温钊发，张世豪，秦立浩（新疆农业大学计算机与信息工程学院，新疆 乌鲁木齐 830052）摘要：种子计数是获取作物种子千粒质量指标时关键而又烦琐的步骤。目前种子计数一般通过人工和千粒质量测量仪器实现，然而人工计数效率低，千粒质量测量仪器成本高、不易携带。以手机拍摄的 6 种常见作物种子图像构建数据集，在 YOLOX 模型的基础上引入注意力机制改进损失函数提出 YOLOX-P 模型，实现种子自动计数。结果表明，YOLOX-P相比 YOLOX 模型参数量仅增加 0.09 M，mAP 改进 0.74 个百分点，达到 99.38%；模型在显存 6 GB 的 NVIDIA GeForce RTX2060 显卡上的推理时间为 18.68 ms，适宜部署在移动端。提出的模型显著改善千粒质量测定工作的效率和效果。关键词：千粒质量；种子计数；深度学习；目标检测；YOLOX中图分类号：S126文献标识码：A文章编号：2095-1795（2023）01-0029-07DOI：10.19998/ki.2095-1795.2023.01.005Automatic Crop Seed Counting Method Based on YOLOX ModelPANG Zhengjun，DONG Luan，WEN Zhaofa，ZHANG Shihao，QIN Lihao（College of Computer and Information Engineering，Xinjiang Agricultural University，Urumqi Xinjiang 830052，China）Abstract：Seed counting is the most critical and tedious step in acquisition of kilograin weight index of crop seedsAt present，seedcounting is generally achieved by manual and specialized equipmentBut manual counting efficiency is low and specialized equipmentare expensive and not easy to carryDatasets were constructed using images of six different common crop seeds taken by mobilephoneBased on YOLOX model，attention mechanism was introduced and loss function was improved to obtain the YOLOX-P model，which realized automatic counting of seedsResults showed that YOLOX-P only increased 0.09 M compared with YOLOX modelparameters，mAP improved 0.74 percentage points and reached 99.38%Reasoning time of the model on NVIDIA GeForce RTX 2060graphics card with 6 GB video memory was 18.68 ms，which was suitable for deployment on the mobile，and significantly improvesefficiency and effect of measuring kilograin weightKeywords：kilograin weight，seed count，deep learning，object detection，YOLOX0引言种子是农业最基本的生产资料，农业收成在很大程度上取决于种子质量。千粒质量是检验种子质量的一个重要指标，是 1 000 粒种子的质量，体现种子大小与饱满程度，一般测定小粒种子千粒质量时是随机数出 3 组 1 000 粒种子，分别称质量，求其平均值，其中最关键和最烦琐的任务是精确计算出种子数目1。目前，在农作物种子计数中主要采用人工、光电式、压电式和机器视觉 4 种方法。人工计数效率低；光电式、压电式两种计数方法都存在成本高、精度较低、时间长的缺点；基于机器视觉的种子计数方法计数速度快、精确度高，但是需要搭建一个符合要求的计数环境，对输入的图像质量要求高且图像预处理工作量大，模型泛化能力弱2-4。提出一种基于目标检测技术并可部署在移动端的种子计数方法，解决人工计数慢、计数仪器设备成本高且不易携带等问题，降低人力、设备成本，大幅提高计数效率。作物种子计数可视作一种密集的小目标检测任务，国内外研究者尝试使用深度学习方法解决类似研究问题。LIN Zhe 等5通过无人机采集的棉株图像，采用MobileNet 和 CenterNet 两种深度学习模型，对棉花苗期植株进行检测和计数，结果显示，CenterNet 模型的F1分数为 87%，对棉花植株检测计数具有较好的综合收稿日期：2022-08-29修回日期：2022-10-21作者简介：逄正钧，硕士生，主要从事计算机视觉、目标检测研究E-mail：董峦，通信作者，博士，副教授，主要从事人工智能、深度学习和计算机视觉研究E-mail：第 13 卷 第 1 期农业工程Vol.13No.12023 年 1 月AGRICULTURAL ENGINEERINGJan.2023性能6-7。有学者使用 YOLO 检测大型果园中苹果的确切数量，结果显示，模型具有更高的实时性，即使苹果目标在一定程度上重叠也能有效地计数，在真实图像中平均检测准确率为 91%8-9。还有学者以无人机航拍的云杉可见光图像为研究对象，构建了 YOLOv3 云杉计数模型，结果显示，该模型平均计数准确率为90.24%，优于全卷积神经网络分割加 Hough 圆检测方法10-11。王超等12为实现成捆钢筋端面的准确计数，在 YOLOv5 模型框架的基础上增加了空间金字塔池（spatial pyramid pooling，SPP）和小目标检测层，使用特征金字塔（feature pyramid network，FPN）和路径聚合网络（path aggregation network，PAN）对多尺度特征图融合以降低密集小目标漏检率、误检率，改进后的模型平均精度均值（mean average precision，mAP）达到了 99.9%。研究以 6 种常见作物种子构建数据集，在 YOLOX 的基础上提出 YOLOX-P 模型，使其适配密集小目标检测任务13。1数据集1.1数据集构建选取 6 种常见作物种子作为研究对象，分别为小麦、西瓜籽、玉米、红豆、花生和葵花籽。使用手机在白色背景下拍摄 3 024 像素3 024 像素的种子可见光图像，拍摄高度为 3050 cm，采集作物种子图像共432 张。为保证模型训练效果，进行数据集的扩充，利用左右翻转、中心翻转、亮度改变 3 种方式进行数据增强操作。由此数据集中共有图像 1 728 张，其中小麦100 张、西瓜籽 424 张、玉米 436 张、红豆 168 张、花生 200 张和葵花籽 400 张。使用 LabelImg 软件进行数据标注，按照 PASCAL VOC 格式构建数据集，并按811 的比例将数据集划分为训练集、验证集和测试集，数据集部分图像如图 1 所示。1.2数据集分析数据集共标注西瓜籽框 8 480 个、红豆框 9 784 个、葵花籽框 8 232 个、玉米框 44 736 个、花生框 6 888 个和小麦框 9 192 个。由图 2 可知，每粒种子的边界框平均占单幅图像总像素数的 0.005%0.066%，数据集中的种子属于较难识别的小目标。2模型对种子进行检测计数时目标具有尺寸小、稠密、粘连和堆叠的问题，并且不同类别种子的尺寸大小不一，最大种子面积是最小种子面积的 15 倍，导致快速准确地统计种子数量较为困难。基于深度学习的目标检测算法 YOLOX 在设计中引入特征金字塔模块，进而能够利用底层细粒度特征，克服了高层次特征语义丰富但分辨率低的问题，从而能够对图像中的小种子进行准确检测。基于 YOLOX 的这个特点选取其作为种子计数模型，在对 YOLOX 进行初步试验后，发现其在检测小麦等颗粒较小的种子时精确度较低，为此从注意力机制和损失函数两方面进行改进，提出了YOLOX-P 模型。2.1YOLOX 目标检测模型YOLOX 是旷视科技在 2021 年提出的高性能检测器，其研究者将解耦头、数据增强、无锚点及标签分类等目标检测领域的优秀进展与 YOLO 进行了巧妙地集成组合，不仅实现了超越 YOLOv3、YOLOv4 和 YOLOv5的平均精度 average precision（AP），而且取得了极具竞争力的推理速度14。YOLOX 使用 YOLOv5 提出的 Focus 通道增广技术，其在一张图片中每隔一个像素拿到一个值，获得 4 个独立的特征层，将 4 个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了 4 倍，拼接起来的特征层相对于原先的 3 个通道变成了 12 个通道，如图 3 所示。此技术提高了每个点感受野并减少原始信息的丢失，减少网络计算量，加快了运行速度。以 YOLOv4 提出的 CSPDarkNet 作为特征提取网络图 1数据集部分种子图像Fig.1 Crop seed image samples图 2种子标注框面积占图像面积的平均比值Fig.2 Average ratio of single seed bounding box to whole image 30 农业工程信息与电气化并加入 SPP 结构，该结构分别由 55、99、1313 的最大池化层组成，融合不同尺度特征图的信息完成特征融合，丰富最终特征图的表达能力15。在构建特征金字塔时使用 PANet 模块对获得的有效特征层进行加强特征提取来结合不同尺度的特征信息，该模块实现了自顶向下和自底向上的双向融合，解决了传统 FPN中底层特征无法影响高层特征的问题，提高了网络的表征能力16。与之前 YOLO 版本的解耦头（YOLOHead）不同，以前所用的 YOLO Head 分类和回归在一个 11 卷积里实现，YOLOX 认为这给网络的识别带来了不利影响。在 YOLOX 中，YOLO Head 分别实现分类和回归，最后预测的时候才整合在一起。图 3Focus 模块Fig.3 Focus module2.2YOLOX-P 模型2.2.1注意力模块 CBAM深度学习中注意力机制的核心目标是从众多信息中选择出对当前任务目标更关键的信息，让神经网络在执行预测任务时可以更多关注输入中的相关部分。CBAM 注 意 力 模 块（Convolutional block attentionmodule）是 WOO S 等17提出的一种轻量注意力模块，采用两个独立的注意力机制，在通道和空间维度上分别进行注意力操作，在通道注意力模块（CAM）后，接入空间注意力模块（SAM），实现了通道注