基于Transformer...型的干辣椒等级分类方法研究_邱显焱.pdf

基金项目：国家重点研发计划项目重点专项项目子课题（编号：2018YFD0700305）收稿日期：20221116基于Transformer模型的干辣椒等级分类方法研究*邱显焱，郭士超，王俊杰（湖南工业大学 机械工程学院，湖南株洲412007）摘要：针对生产出的干辣椒品相不一的问题，提出基于Transformer模型的干辣椒等级分类识别方法。根据干辣椒特征，确定干辣椒等级标准，包括优质干辣椒、合格干辣椒和不合格干辣椒3个等级。制备干辣椒数据集并划分为训练集和测试集。首先结合Visual Transformer（ViT）网络和分类网络，引入并改进Shifted windows Transformer(Swin Transformer)网络，使用高斯误差线性单元（GELU）做激活函数，使用自适应矩估计（Adam）做优化函数。通过加载在ImageNet数据集训练的权重进行模型初始化，表明迁移学习方式可有效提高模型特征提取能力。通过对比ViT模型和Swin Transformer模型两种模型来训练干辣椒数据集，表明SwinTransformer模型测试准确率较高。实验表明，利用迁移学习的Swin Transformer模型准确率最高，达到95.26%，这为干辣椒等级分拣问题提供了新的解决办法，同时可作为其他果蔬品相识别的参考。关键词：干辣椒；品质分类；Transformer；迁移学习中图分类号：TP391文献标志码：A文章编号：10099492(2023)02003404Study on Grade Classification Method of Dry Chili Based on Transformer ModelQiu Xianyan，Guo Shichao，Wang Junjie（School of Mechanical Engineering,Hunan University of Technology,Zhuzhou,Hunan 412007,China）Abstract:In view of the production of dry pepper products inconsistent situation,a classification and recognition method of dry chili based ontransformer model was proposed.According to the characteristics of dry chili,the grade standard of dry chili was determined,including highquality dry chili,qualified dry chili and unqualified dry chili.Dry chili dataset was prepared and divided into training set and test set.Firstly,combined with the Visual Transformer(ViT)network and the classification network,then the Shifted windows Transformer(Swin Transformer)network was introduced and improved,using the Gaussian Error Linearity Unit(GELU)as the activation function and the Adaptive MomentEstimation(Adam)as the optimization function.By loading weights trained in Image Net dataset for model initialization,it is concluded that thetransfer learning method can effectively improve model feature extraction ability.By comparing ViT model and Swin Transformer model totraindry chilidataset,Swin Transformer model has higher test accuracy.Experimental results show that Swin Transformer model using transferlearning has the highest accuracy,reaching 95.26%,which provides a new solution to the problem ofdry chili grade sorting,and can be used asa reference for other fruits and vegetables.Key words:dry chili;quality classification;Transformer;transfer learning2023年02月第52卷第02期Feb.2023Vol.52No.02机电工程技术MECHANICAL&ELECTRICAL ENGINEERING TECHNOLOGYDOI:10.3969/j.issn.1009-9492.2023.02.008邱显焱，郭士超，王俊杰.基于Transformer模型的干辣椒等级分类方法研究 J.机电工程技术，2023，52（02）：34-37.0引言辣椒是茄科辣椒属的重要蔬菜，内含众多营养物质，具有药用价值和食用价值，在我国广泛种植1。作为人民必需的餐用调味品，常在市场中以干辣椒、辣椒粉等初级加工品的形式流通2。而干辣椒是指将新鲜红辣椒经过人工脱水或自然晾晒等工艺过程而制成的辣椒制品，又称作辣椒干、干制辣椒。但制作干辣椒时，特别是在自然晾晒干制过程中，辣椒皮和肉的红色部分经常褪色，变白色和黄色，形成“花壳”、“白壳”、“花皮”干辣椒3，花壳干辣椒果皮中的类胡萝卜素的含量较正常红辣椒显著降低4。鉴于干辣椒的感官品质和商品价值受到严重影响，需要干辣椒品质分类，但目前对此分类，大多是靠效率低、消耗成本大的人工完成，急需要研制一种操作方便、分类快速、准确率高、大规模自动分选的干辣椒品质分选机器，将花白壳等品质不好的干辣椒挑选出来，利用什么方法在众多的干辣椒当中将其选出是分选机器的关键。近年来，计算机视觉技术在果蔬质量检测方面应用很广。计算机视觉系统一般由检测箱、光源、CCD 摄像头、图像采集卡（帧捕获器或数字化仪）、计算机硬件和软件系统、控制机构等部分组成。电脑硬件和软件系统相互作用，分析水果和蔬菜的外部品质图像，给出了检查对象的最终检测信息，并最终控制整个检测系统完成分级和分类任务5。张力超6提出一种基于计算机视觉的苹果分类和分级研究方法，通过提取苹果的外部特征，运用 Support Vector Machine（SVM）和 Convolution Neu 34ral Networks（CNN）方法进行对比，结果表明在有足够的图像数据下，CNN方法在识别苹果种类和单个苹果外观等级的准确率高于SVM方法。文怀兴等7提出基于改进深度残差网络的红枣缺陷检测分类方法，在RGB彩色图片中，因G通道在红枣的缺陷部分体现出红枣的正常部位和缺陷部位的反差区别，所以以红枣的G分量作为残差网络的输入，通过神经网络的训练与测试，此分类方法准确率为96.11%。朱幸辉等8在卷积神经网络的基础上，利用 Single Shot MultiBox Detector（SSD）算法将Region Proposal 和分类统一在一起，针对西红柿叶片病斑做出识别仿真，得出的Mean Average Precision（mAP）值为0.988。林雯9针对芒果外观品质，提出一种基于计算机视觉和BP神经网络的分类算法，选取芒果的小波特征、颜色特征、形状特征、缺陷面积所占比进行提取，作为BP神经网络的输入，实现的3个等级分类，准确率达到93.3%。余游江等10针对新疆红枣在加工过程中需对不同种类区分的问题，构建了 Densenet 121、ResNet50、VGG 16 三个种类的卷积神经网络为基础学习器，逻辑回归为次级学习器的Stacking 集成学习模型，并进行不同学习器组合的模型对比，结果表明提出的集成模型准确率为92.38%。对于辣椒的研究，郑凯等11针对青椒质量品相问题，提出了利用卷积神经网络方法对其识别分类，通过比较不同的卷积层和优化函数对其准确率的影响，分析出运用 3*3卷积核的三层 CNN 网络模型和 Adaptive MomentEstimation（Adam）优化函数在测试分类的准确率最优，准确率达到97.60%。袁开放12针对鲜辣椒大小和病残问题，提出基于机器视觉的分类方法，利用最小外接矩形算法识别辣椒的大小，准确率为95%，利用RGB和HIS颜色模型对辣椒病残进行识别并剔除次品。李硕3根据干辣椒外观品质国家分级标准，基于机器视觉对干辣椒进行品质分级，对干辣椒图像预处理后，利用最小外接矩形的长宽比鉴定干辣椒是否有柄，有柄为不合格，进一步基于颜色性状差异区分合格干辣椒与不合格干辣椒，实验分级准确率为92.15%。本文针对干辣椒外观品质提出了新的分类方法，研究基于Transformer模型进行干辣椒外观品质分级，并进行同模型间训练是否利用迁移学习对比和不同训练模型的对比，结果表明：利用迁移学习的Shifted windows Transformer（Swin Transformer）模型准确率最高，最稳定。1数据分析1.1图像收集本文收集的图像来自于株洲市本地菜农所卖的干辣椒，当地人称“辣椒王”。收购后干辣椒制备描述如表1所示，在原始辣椒中掺杂着外观品相不一的干辣椒，需用人工把品质相同的干辣椒进行挑选出来，为做图像数据集做准备。本文依据国家对于干辣椒的分级标准13和市场需要将其分为3种干辣椒，即优质干辣椒、合格干辣椒、不合格干辣椒。其中不合格干辣椒品质已经破环，严重影响消费者的购买行为。1.2数据集划分本文共拍摄2 115张干辣椒，为提高模型的训练量以及泛化能力，利用数据增强技术通过旋转、镜像方法扩增到6 345张图片，此方法增强模型的鲁棒性。数据分为训练集4 445张和测试集1 900张，划分比例为73。其中训练集优质为889张，合格为889张，不合格各小类均为889张；测试集优质为380张，合格为380张，不合格各小类均为380张。利用Python将数据图片像素统一改为224224。2模型结构2.1Swin Transformer网络模型Swin Transformer 网络起源于 Transformer 模型，而Transformer模型是谷歌在2017年提出14，起初针对于自然语言处理领域，利用自注意力机制代替传统处理序列名称未处理干辣椒优质干辣椒合格干辣椒不合格干辣椒1不合格干辣椒2不合格干辣椒3性状描述待分拣原始干辣椒，外观品相不一。色泽为鲜红或紫红色，油亮光洁，形状均匀，具有本品固有特征。颜色以红色为主，不影响食用情况下允许有橘黄色干辣椒。颜色为黄白色且色彩暗淡，品质已经破环。病菌致辣椒色泽变化，色彩多呈灰黑色。断裂椒，因环境或人为原因导致断裂，内部辣椒籽缺失。示意图表1干辣椒分级描述邱显焱，郭士超，王俊杰：基于Transformer模型的干辣椒等级分类方法研究 35数据时采用的循环神经网络，不仅实现了并行训练，提升了训练的效率，同时也在应用中取得不错的结果。Swin Transformer网络是微软在2021年在ICCV上发表文章15中提出，这是Transformer模型在计算机视觉图像分类方面一次大的发展。该模型相比之前的VisionTransformer（ViT）