融合大核注意力机制的土壤种类识别网络_刘康.pdf

年月重庆师范大学学报（自然科学版）第 卷 第期 （）：融合大核注意力机制的土壤种类识别网络刘康，曾绍华，胡静，刘国一，李超（重庆师范大学 计算机与信息科学学院，重庆 ；重庆市数字农业服务工程技术研究中心，重庆 ；重庆市农村土地整治中心，重庆 ；西藏自治区农牧科学院农业资源与环境研究所，拉萨 ；重庆市铜梁区农业农村委员会，重庆 铜梁 ）摘要：【目的】为解决因土壤图像纹理复杂、没有结构性特征导致的传统卷积神经网络模型难以提取其中关键性特征、识别准确率低的问题，提出了一种大核注意力（，）机制模块与 模型融合的土壤种类识别网络模型 （），以解决土壤种类样本不平衡和难分类样本造成的模型泛化能力弱的问题。【方法】以 为主干网络，在主干中引入 机制，减少其中的残差块，构建土壤种类识别网络，并改进网络的焦点损失函数（）。【结果】）与传统模型 、等相比，模型在特定模型参数下对紫色土土壤图像数据集中土壤种类的识别精 度 更高；）用种 不 同 大 小 模型之一的 与以 为主干并嵌入传统注意力机制、和 的网络进行对比，实验结果显示 机制在土壤识别方面更加优秀；）改进的 可让 更能注意到难分类的土壤图像样本。【结论】将 机制模块与 模型融合的土壤种类识别网络模型 增强了网络提取土壤图像中关键性结构特征能力，同时还减少了网络参数，能更加有效地识别土壤种类。关键词：土壤种类识别；大核注意力；焦点损失函数中图分类号：文献标志码：文章编号：（）土壤是农作物生产的基础，农作物的种类选择、种植方式、田间管理等均受到土壤种类差异的影响，因而正确识别土壤种类对农业生产有一定的积极意义。土壤种类的传统识别方法为：由土壤学专业技术人员在待测土壤种类的田地里取土样，然后在掰开土样后观察它的自然断口，再根据相关专业知识来识别土壤种类。因此，传统的土壤种类识别方法不能满足一般人员对土壤种类识别的需求。当前，随着人工智能技术的发展，采用机器视觉方法识别土壤种类已成为可能，并可有效降低土壤种类识别成本，因而相关研究具有重要意义。目前采用机器视觉的方法对土壤图像进行识别的研究较少，且在已有的文献中，研究的标准也各不相同，例如：等人利用颜色卡比对土壤颜色然后用 算法对土壤种类进行分类；等人利用低通滤波、滤波器和颜色量化技术提取土壤图像的纹理特征，然后用支持向量机分类。这些研究的方法均属于传统机器学习算法范畴。然而土壤图像纹理复杂，传统机器学习算法需要人工对图像进行预处理并手工提取图像特征，因此该方法存在操作复杂且可迁移性差的问题。随着深度学习技术不断发展，它在图像处理任务中逐渐崭露头角，在农业生产中亦得到了许多应用。深度学习有自动提取图像特征、泛化性强等优点，因此非常适合土壤图像分类任务。等人曾用两个卷积对不同类型的土壤质地进行特征提取并分类；曾莉 改进了 模型，采用迁移学习的方法对种土属进行分类。然而上述研究的研究对象均未细分，模型的泛化能力较弱，研究空间有待进一步拓展。仔细分析土壤图像时可以发现，由于土壤图像纹理十分复杂，且在对它的种类进行直接判断时不易找到明显的结构性特征，因此传统网络模型很难快速提取到对土壤种类识别有用的信息。而在深度学习研究中，为网络添加注意力机制就能够有效提升识别准确率。基于上述背景，本研究对灰棕紫泥、暗紫泥、红棕紫泥等个土属下的 个土壤种类进行了识别分析。首先对数据集预处理，采用已有研究的算法分割自然复杂背景，并以切收稿日期：修回日期：网络出版时间：资助项目：重庆市教育委员会科学技术研究重点项目（）；重庆市高校创新研究群体（）；重庆师范大学研究生科研创新项目（）第一作者简介：刘康，男，研究方向为深度学习，：；通信作者：曾绍华，男，教授，博士，：网络出版地址：分子图的方式增强数据集，满足深度学习训练要求；并对比当前比较先进的识别网络模型，选取最优的作为主干神经网络。然后，引入大核注意力（，）机制解决模型难获取对土壤分类有作用特征的问题。最后，改进焦点损失函数（），从而解决由土壤图像样本不平衡和难分类样本造成的识别精度低、泛化能力弱问题。实验数据及预处理过程 数据集获取本研究所用数据集来自重庆市数字农业服务工程中心在重庆市璧山区自然场景下根据重庆市农业技术推广总站的土壤代码 拍摄的紫色土心土图像数据集，包含个土属 个土壤种类，共 幅图像（表）。土壤图像样本的获取方式为：用铁锹锹出土地耕层 的耕层土壤，然后将土壤自然断口面放在距离摄像头 左右处进行拍摄。每幅图像样本的像素规格为 ，部分图像样本如图所示。表土壤图像样本数据集 土属土壤种类样本量幅土属土壤种类样本量幅灰棕紫泥暗紫泥石骨子土砂土半砂半泥土大泥土二泥土 暗紫泥红棕紫泥夹砂土 油石骨子土 红石骨子土 红紫砂泥土 红棕紫泥土 数据集预处理由于不同种类土壤的地域分布散乱，且相关样本都在交通相对不便的农村田地采集，因此获取的数据量较少，不满足深度学习大数据集的要求。为解决该问题，本研究对土壤图像数据集进行了数据增强预处理。然而，常规数据增强算法如旋转、平移等方法对土壤图像数据进行增强后仍不满足深度学习的要求，而调整亮度、对比度等操作又会干扰网络对土壤种类的识别。因此，本研究采取切分子图的方式来增强数据集。首先，采用已有研究中基于自适应密度峰值聚类的野外紫色土彩色图像分割算法 对自然界获取的土壤图像样本进行背景分割，获取只含土壤心土的白色背景图像；然后在从数据集中取 幅图像做验证集的基础上对其他 幅图像进行等分，其中份做训练集、份做测试集；最后，采用通过类似卷积核滑动窗口的方式，给定滑动步长与窗口大小，从土壤像素位置（，）处开始分别对训练集、测试集进行子图切割，选取子图中土壤覆盖率为 的样本，得到土壤样本子图集。本文给定窗口像素大小为 ，步长为 个像素，共获取训练样本子图 幅，验证样本子图 幅。土壤样本切割子图预处理过程如图所示。现有模型存在的问题及相关研究 模型作为主干网络，网络的结构对提取图像特征的影响非常重要。等人 提出的 模型，是深度学习的研究的重大突破之一，他们所构建的模型解决了以往深度模型存在的梯度消失、梯度爆炸等问题，在图像识别、图像检测等方面取得重大成果。目前，已有很多研究者研究并改进 模型，设计了多种基于 模型的改进模型 。土壤图像纹理复杂，需要能够充分提取图像特征的网络结构作为主干网络。本研究在对比了目前几种先进的网络模型基础上选择采用 模型的主干网络并加以改进后作为本研究的算法基础。传统 模型由多个残差块堆叠构成，残差块的跳跃连接如图所示，设为特征输入，传统网络待拟合目标函数为（），残差块能使网络拟合残差映射（）（），使之更易拟合。重庆师范大学学报（自然科学版）：第 卷2.2 L K A机制普通网络很难快速找到对土壤种类分类有用的关键信息,因而在使用深度学习识别目标时为主干网络添加注意力机制,网络能够更容易地对图像关键部分加以识别,从而提高网络的识别准确率。常见传统注意力机制如S E注意力机制1 8、C B AM注意力机制1 9等将提取特征图通道或空间上的最大值或平均值作为该通道和空间的注意力权重,继而在原特征图中加权以获取对特征图关键信息的注意。然而对本研究而言上述方法过于片面,因为土壤子图数据集纹理十分复杂,1个特征值不能完全代表它对应的通道或空间。图1 部分土壤图像样本F i g.1 T h ep a r t i a l s o i l i m a g e s a m p l e s图2 土壤图像样本预处理过程F i g.2 T h ep r e t r e a t m e n tp r o c e s so f s o i l i m a g e s a m p l e图3 残差块F i g.3 R e s i d u a l b l o c kG u o等人2 0借鉴了自注意力机制2 1-2 3的思想,提出了一种新机制即L KA,它结合了自注意力机制和传统注意力机制的优点。L KA的思想在于将一个大的卷积核分解成3个部分:1个深度卷积、1个深度扩张卷积和1个点态卷积。这样的分解法既保留了大核卷积具有大感受野的特性并做到了对图像局部区域的注意,也缩小了模型尺寸且使模型更轻量级。与传统注意力机制相比,L KA关注到了特征图的每个像素点,并对每个像素点进行加权,针对土壤图像数据集,这是一个有效的注意力算法。L KA的大核卷积分解过程如图4所示。图4 大核卷积分解过程F i g.4 T h ed e c o m p o s i t i o np r o c e s so f l a r g ec o n v o l u t i o nk e r n e l131第3期 刘 康,等:融合大核注意力机制的土壤种类识别网络利用分解后的L KA机制计算注意力权重,具体过程可表示为下式:ka t t e n t i o n=C o n v11(DW_D_C o n v(DW_C o n v(F)其中:F是该层的输入特征;DW_C o n v、DW_D_C o n v和C o n v11分别表示深度可分离卷积、深度可分离扩展卷积以及点态卷积;ka t t e n t i o n是计算的注意力参数核,每个参数代表了F的每个特征的重要性。获得特征权重后即对特征加权,计算公式为:Fo u t p u t=ka t t e n t i o nF,其中:Fo u t p u t表示该层的输出特征;表示张量对应位置的乘积。L KA机制的整个过程如图5所示。基于L KA,G u o等人2 0提出了一种新的主干网络VAN,在I m a g e N e t数据集上取得了超越传统R e s N e t模型的良好效果。3 融合L K A机制模块的R e s N e t模型在对注意力机制的研究中,H u等人1 8提出的S E机制、W o o等人1 9提出的C B AM机制都对R e s N e t模型做了改进。本研究利用L KA机制模块对R e s N e t模型进行改进。与以往传统注意力机制思想不同,本文没有在残差块中使用注意力机制,而是借鉴VAN的思想,将L KA机制模块作为主干网络块融合进R e s N e t模型中。将输入的土壤特征图由L KA机制模块加权,让该模块注意土壤纹理丰富的区域,然后直接将加权后的土壤特征图送给残差块,由残差块处理土壤特征图的局部纹理细节,将改进后的新网络命名为VA R(v i s u a la t t e n t i o nR e s N e t)。借鉴R e s N e t模型的思想,将VA R设计为4个卷积阶段。每个卷积阶段如图6所示,其中:下采样层在第一阶段为77的标准卷积核,其他阶段为33的标准卷积核;B N为批量归一化层;G E L U为高斯误差线性激活函数;C o n v表示标准卷积核;D_C o n v表示扩张卷积核;n表示当前卷积阶段残差块个数。图5 L K A机制过程F i g.5 T h ep r o c e s so fL K A图6 V A R的一个卷积阶段F i g.6 O n e s t a g e i nV A R4 加权交叉熵损失函数及改进F o c a lL o s s4.1 加权交叉熵损失函数由于土壤数据集样本之间数据存在不平衡的问题,会降低模型的鲁棒性。本文通过土壤图像样本量的反比为传统交叉熵损失函数加权,让网络多注意样本量少的土壤类别,提高网络的鲁棒性。传统的多分类交叉熵损失函数(JC E)计算公式如下:JC E=-(1/N)Ni(yil o g(pi)其中:N表示样本总量;yi、pi分别表示第i个样本的正确分类标签、正确分类的概率。当待分类数据集均衡时,该函数往往能获得较好的效果。当分类样本量不均衡时,该函数训练得到的模型鲁棒性将会降低,将更加注意样本量多的类别。为解决该问题,本研究以样本量最大类别样本的样本量与其他类别样本量之比作为其他类别样本的类平衡因子。改进后的多分类交叉熵损失函数(J*C E)计算公式如下:J*C E=-(1/N)Ni(yi(M/Oj)l o g(pi)其中:M表示最大样本量类别样本的样本量;Oj表示第j