基于深度学习的在线烟叶等级判定研究_齐玥程.pdf

基于深度学习的在线烟叶等级判定研究齐玥程1,王 燕1,李 丽1,熊攀攀2(1.云南省烟草烟叶公司,云南昆明 650000;2.上海创和亿电子科技发展有限公司,上海 200082)摘要 对烟叶进行等级判定可以合理利用烟叶资源,提高卷烟产品质量,对实现经济利益最大化有重要意义。提出一种基于深度学习的在线烟叶等级判定方法,该方法采用 ResNeXt 为基础网络,在残差结构中嵌入 SE 模块以增强重要通道的信息,并引入FPN+PAN 结构将网络浅层细节特征和高层语义特征进行融合,以实现多尺度特征表达。测试结果表明,该方法烟叶等级判定的准确率达到 92.8%,因此该方法对烟叶等级具备良好识别的能力,可适用实际生产。关键词 烟叶等级判定;深度学习;卷积神经网络;SE 模块;特征融合中图分类号 TP391.41;TP18 文献标识码 A 文章编号 0517-6611(2023)03-0235-05doi:10.3969/j.issn.0517-6611.2023.03.053 开放科学(资源服务)标识码(OSID):Online Tobacco Leaf Grade Determination Research Based on Deep LearningQI Yue-cheng,WANG Yan,LI Li et al(Yunnan Tobacco Leaf Co.,Ltd.,Kunming,Yunnan 650000)Abstract The grading judgment of tobacco leaves can rationally utilize tobacco resources,improve the quality of cigarette products,and is of great significance to maximize economic benefits.An online tobacco leaf grade determination method based on deep learning was proposed,which used ResNeXt as the basic network,embedded the SE module in the residual structure to enhance the information of important channels,and introduced the FCN+PAN structure to fuse the shallow detail features and high-level semantic features of the network to achieve multi-scale feature expression.The test results showed that the accuracy of the tobacco grade determination of the method reached 92.8%,which showed that the method had the ability to identify the tobacco grade well and could be applied to actual production.Key words Tobacco leaf grade determination;Deep leaning;Convolutional neural network;SE Net;Feature fusion基金项目 中国烟草公司云南省公司科技计划一般项目(2021530000242043)。作者简介 齐玥程(1986),男,云南昆明人,从事计算机网络与信息研究。通信作者,助理工程师,从事计算机网络与信息研究。收稿日期 2022-03-14;修回日期 2022-05-12 烤烟收购和生产过程中最重要的一环就是对烟叶等级进行判定,烟叶等级判定的准确性直接影响烟叶后续的加工和卷烟产品的质量1。国内的烟草公司多是人工进行烟叶分级,耗时又耗力。分级人员对于分级知识掌握的多少以及分级人员自身主观性等原因都会影响烟叶成品的质量,进而影响经济效益2,这使得烟叶准确分级尤为重要。随着计算机视觉科技的发达与完善,这门技术越来越多地应用于现实生活的各个领域,也越来越多地运用到烟叶分级当中3。张惠民等4通过烟叶颜色、纹理、形状和叶脉等特征,构建了烟叶模型库,进行了烟叶分级模型的数学说明;赵世民等5提出一种基于烟叶颜色、形状、纹理特征和烟叶外观品质因素结合的烟叶分级方法;刘剑君等6发现烟叶的红外光谱信息可以作为烟叶分级的特征,开拓了一条新的烟叶分级研究思路;韩力群等7应用人工智能方法开发了一种拟脑智能系统,烟叶分级能力与人工分级相当。以上研究都是基于人工提取烟叶特征,再用机器学习算法进行烟叶识别,这类方法特征提取困难、模型优化复杂,难以适用于不同应用场景。随着深度学习技术的发展,基于卷积神经网络(CNN)的图像识别受到了极大的关注,CNN 能够自动提取特征进行学习,并与标签进行拟合,具备分类精度高、鲁棒性好等优点。王士鑫等8选取 Inception-V3 网络,并使用迁移学习训练了烟叶分级模型;鲁梦瑶等9改进了 LeNet-5 网络,使用烟叶近红外光谱特征来训练烟叶分级模型。基于使用 CNN 提取烟叶特征并进行烟叶等级判定,笔者提出一种基于深度学习的在线烟叶等级判定方法,采用ResNeXt 作为基础网络,引入了注意力机制和特征融合模块10,通过融合多尺度烟叶特征,提高烟叶等级分类性能。1 烟叶图像数据集1.1 烟叶样本 研究对象采用云南省文山市地区 2021 年初烤后的云烟 87 烟叶,烟叶由多名经验丰富的高级分选工严格挑选,最后由分级专家进行验证,保证烟叶部位等级的准确性。最终挑选上部橘黄一级烟(B1F)、上部橘黄二级烟(B2F)、上部橘黄三级烟(B3F)、中部橘黄一级烟(C1F)、中部橘黄二级烟(C2F)和中部橘黄三级烟(C3F)共 6 个等级烟叶,采集图像共 4 574 张,其中 3 433 张用作训练集,687 张用作验证集,454 张用做测试集。训练集中每个等级烟叶图像数量分别为 675、576、586、452、463、681 张,图像分辨率为2 8522 700,文件格式为 BMP。1.2 图像采集系统 设计并定制了一套图像采集系统,用于获取高质量烟叶图像。通过防光罩将拍摄区域与外界隔离,同时将光源搭建在防光罩内,确保拍摄区域光照稳定。相机 采 用 大 恒 ME2P-2621-4GM-P 型 号 相 机,像 素2 600 万;镜头为 JD1216A;光源为 BNS-GSB700-50-HW。采集的图像通过高速以太网传输到计算机。1.3 图像预处理 为了避免传送带反光以及部分残缺小面积烟叶对烟叶等级判定造成影响,需要对图像进行去背景和去除小面积烟叶处理。首先,将原始图像进行去背景处理,在 RGB 颜色空间,将像素位置的像素值置为 0,得到去除皮带背景的图像。然后,将图像转换为灰度图后再转化为二值图,获取所有物体的轮廓边界,去除面积小于图像像素面积20%的部分,这样可以减少不完整的烟叶或者小物体对于烟叶等级判定的影响。最后,将图像 resize 到尺寸,用于训练模安徽农业科学,J.Anhui Agric.Sci.2023,51(3):235-239 型。预处理过程的图像如图 1 所示。图 1 预处理过程的图像Fig.1 Images of the pre-processing process图 2 通过数据增广生成的图像Fig.2 Images processed by data augmentation1.4 数据增广 为了防止训练时由于图像数据量不足导致模型过拟合,采用数据增广的方式扩增烟叶图像数据量,以提高模型的泛化能力11。考虑到相邻部位等级的烟叶颜色差异小,若强行改变烟叶颜色、亮度、饱和度等参数可能影响烟叶等级判定的准确性,该研究采用随机旋转、平移、镜像的组合方式生成图像,生成的烟叶图像如图 2 所示。2 研究方法2.1 ResNeXt 网络 ResNeXt12是借鉴了 Inception13网络的思想来对 ResNet 网络的改进,它使用了分组卷积,先对feature map 进行切片操作分成多组特征,然后分别对每组特征再进行卷积操作,相对于普通卷积来说,这样能够减少卷积的参数量。ResNeXt 舍弃了人工设计复杂神经网络结构的方式,而是在网络的每个分支中使用同样的拓扑结构,最后再与残差网络结合,表达式为:y=x+Ci=1Ti(x)(1)式中,C 为分组的个数,Ti是一系列卷积操作。如图 3 所示。2.2 SE(Squeeze-and-Excitation)模块 SE14-15模块主要包含了 2 个部分,Squeeze 部分和 Excitation 部分。如图 4所示。Squeeze 和 Excitation 是一个计算单元,适用任何映射FtrXU,XRHWC,URHWC,以 Ftr作为卷积运算符,V=v1,v2,vc表示卷积核,其中表示第 c 个卷积核。那么输出 U=u1,u2,uc:图 3 ResNeXt 模块组结构Fig.3 ResNeXt module group structureuc=vcX=Cs=1vscxs(2)式中,代表卷积操作,vc=v1c,v2c,vCc,X=x1,x2,xC,ucRHW。vsc是一个 2D 卷积核,表示作用于 X 对应通道的单个 vc通道。Squeeze 部分实际是使用全局平均池化来实现的,将 fea-ture map 每个通道上的所有特征全都编码成一个特征,表达式如下:zc=Fsq(uc)=1HWHi=1Wj=1uc(i,j),zRC(3)Excitation 部分实际使用了 2 个全连接层,一个全连接层632 安徽农业科学 2023 年的主要作用是为了降维,而后对降维后的特征使用 ReLU 函数激活,之后再通过一个全连接层将维度进行恢复,表达式如下:s=Fex(z,W)=(g,(z,W)=(W2ReLU(W1z)(4)图 4 SE 模块结构Fig.4 SE modular structure式中,W1RCrC,W2RCCr,r 表示降维系数,表示 Sigmoid函数。最后将得到的激活值乘以原始特征,表达式如下:?xc=Fscale(uc,sc)=scuc(5)在 ResNeXt 网络的残差结构中嵌入 SE 模块,如图 5 所示。图 5 嵌入 SE 模块的残差结构Fig.5 Residual structure of embedded SE module2.3 FPN+PAN 模块 在传统 CNN 中,图像经过多层特征提取后,得到丰富的高级语义特征,但是图像的分辨率变得越来越小,底层细节信息缺失严重,导致对细节的感知能力较差,而低层特征分辨率高,包含更多的细节特征,但噪声多、语义性低。若直接使用这些特征则不利于烟叶图像分类,为了解决这个问题,引入 FPN+PAN 结构。FPN(Feature Pyramid Networks)16呈现金字塔形式,对于不同的 CNN 特征提取层,将多个尺度的特征进行了合并,并将高层次的语义特征与低层次的高分辨率细节特征进行了融合。而 PAN(Path Aggregation Network)17更多的是将细节特征进行融合并传递。采用 FPN+PAN 的双塔结构,使得提取到的烟叶特征更加的充分。FPN+PAN 的双塔结构如图 6 所示。该结构分为自下而上、横向连接、自上而下、横向连接和自下而上 5 个路径。左侧自下而上的路径是 CNN 特征提取的过程,通过卷积和池化逐级提取图像特征。左侧横向连接采用的卷积核改变对应阶段特征的通道数。中间自上而下的路径对高级语义特征采用 2 倍上采样,然后与对应的横向连接输出逐像素点相加,进行多尺度特征融合。右侧横向连接采用