基于改进残差池化层的纹理识别.pdf

收稿日期:2022-10-17摇 摇 摇 摇 摇 摇 修回日期:2023-02-22基金项目:国家自然科学基金(62106238);山西省自然科学基金(201901D111150,201901D111149)作者简介:郭摇 锐(1999-),男,硕士研究生,研究方向为计算机视觉;通讯作者:熊风光(1979-),男,博士,副教授,研究方向为人工智能、虚拟现实。基于改进残差池化层的纹理识别郭摇 锐1,2,熊风光1,2*,谢剑斌1,2,尹宇慧1,2,刘摇 磊1,2(1.中北大学 大数据学院,山西 太原 030051;2.山西省视觉信息处理及智能机器人工程研究中心,山西 太原 030051)摘摇 要:纹理一直是物体图像最重要的特征之一。针对现有纹理识别模型在复杂数据集下识别准确率不高的问题,提出一种基于改进残差池化层的纹理识别算法。首先,提出多维特征融合模块,在纹理识别模型中同时利用高层特征和低层特征来提取更加有效的纹理特征;其次,对残差池化层进行改进,在原残差池化层的基础上,引入全局最大池化支路,为纹理识别模型增加全局空间结构观察,将原残差池化层与全局最大池化支路得到的特征向量进行拼接后作为纹理特征,提升纹理识别的准确率;再次,应用局部二值模式辅助识别策略,使用局部二值模式编码映射图像为纹理识别模型提供辅助信息;最后,将得到的纹理特征输入到分类层中,得到纹理识别结果。与现有的纹理识别方法 B-CNN、Deep filter banks、Deep TEN、TEX-Net-LF、locality-aware coding、DRP-Net 相比,该方法具有更好的纹理识别效果。关键词:纹理识别;残差池化层;全局最大池化;多维特征融合模块;多尺度特征中图分类号:TP391.41摇摇摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)09-0037-08doi:10.3969/j.issn.1673-629X.2023.09.006Texture Recognition Algorithm Based on Improved DeepResidual Pooling LayerGUO Rui1,2,XIONG Feng-guang1,2*,XIE Jian-bin1,2,YIN Yu-hui1,2,LIU Lei1,2(1.School of Data Science and Technology,North University of China,Taiyuan 030051,China;2.Shanxi Vision Information Processing and Intelligent Robot Engineering Research Center,Taiyuan 030051,China)Abstract:Texture is always one of the most important features of object images.Aiming at the low recognition accuracy of existingtexture recognition models in complex datasets,we propose a texture recognition algorithm based on improved residual pooling layer.Firstly,a multi-dimensional feature fusion module is proposed to extract more effective texture features by using both high-level featuresand low-level features in this texture recognition model.Secondly,the residual pooling layer is improved.On the basis of the original re鄄sidual pooling layer,the global maximum pooling branch is introduced to raise the global spatial structure observation for the texture rec鄄ognition model.The feature vectors obtained from the original residual pooling layer and the global maximum pooling branch are splicedas texture features to improve the accuracy of texture recognition.Thirdly,with local binary patterns aided recognition strategy,localbinary patterns encoded mapping images are used to provide auxiliary information for the texture recognition model.Finally,the obtainedtexture features are input into the classification layer to obtain the texture recognition results.The proposed method has better texture rec鄄ognition effect than that of the existing texture recognition methods B-CNN,Deep filter banks,Deep TEN,TEX-Net-LF,locality-awarecoding,DRP-Net.Key words:texture recognition;residual pooling layer;global maximum pooling;multi-dimensional feature fusion module;multi-scale feature0摇 引摇 言纹理图像含有丰富的纹理特征,纹理特征是人类了解和认知物体重要的视觉特征之一。因此,对纹理图像的识别是非常重要的。近些年来,深度学习在纹理识别领域取得了瞩目的成绩,大大提升了纹理识别的准确率。然而,纹理识别任务是极具挑战性的,现有的纹理识别方法存在复杂的纹理数据集上识别效果不佳的问题。因此,针对纹理识别模型在复杂数据集下第 33 卷摇 第 9 期2023 年 9 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.9Sep.摇 2023的识别展开深入的研究。主要工作如下:第一,提出多维特征融合模块,充分利用高层特征与低层特征,提取更有效的纹理特征;第二,提出对残差池化层的改进,在原残差池化层的基础上,加入了全局最大池化支路,提升纹理识别的准确率;第三,应用 LBP(Local Binary Patterns,局部二值模式)辅助识别策略,使用 LBP 编码映射图像为纹理识别模型提供辅助信息,使纹理识别模型达到更好的效果。1摇 相关工作目前,纹理识别方法主要分为传统方法、深度学习方法、多类方法相结合三种类型。在传统方法领域最为突出的纹理描述符就是 LBP 算法。LBP1算法对图像的局部邻域特征进行编码,计算编码值的直方图作为纹理图像的特征。此外,LBP 算法还有很多的变体2,如尺度不变的 LBP 纹理特征3、局部二元圆周和径向导数模式4、凹凸微结构模式5和局部二值模式直方图傅里叶变换6。赵曌等7融合 LBP 纹理和局部灰度特征,实现了纹理材料图像的识别与分割。这些需要手动设计纹理特征,过程复杂、时间成本高而且不是端到端的方法。很多深度学习方法在纹理识别任务中获得了成功。M.Cimpoi 等8完成了深度学习纹理识别的初尝试,提出 FV-CNN。在 FV-CNN 的基础上又进行了很多研究9-10,取得了不错的效果。但是这些研究8-10将纹理识别任务分割成了多个小任务,不是端到端方法。Zhang 等11提出的 Deep TEN 网络,在卷积层之上集成了一种新的编码层,开辟了端到端纹理识别的先河。Hu 等12提出多级纹理编码,提升了纹理描述符的有效性。相较传统方法,深度学习方法尽管准确率上有一定的提高,但其效果仍不理想。多方法相结合方面,Gil Levi 等13通过 MDS 多维映射的方法得到了原始图片 LBP 码的编码映射图像,使得 LBP 算法与 CNN 方法相结合成为了可能。RaoMuhammad Anwer14提出一种双流融合训练网络的方法,提高了模型的效果。张雪梅等15结合 LBP 和WLD 两种纹理描述算子,实现了人脸表情识别。但是这类方法存在计算复杂、纹理识别性能不高的问题。Mao 等16提出深度残差池化层,该方法的残差编码方案是从预训练的 CNN 的最终卷积层中提取特征映射作为字典来计算残差。该残差池化层结构见图1。该残差池化层由残差编码模块和聚合模块组成,通过此残差池化层得到了低维有效的纹理特征,提升了纹理识别的效率。但是该残差池化层存在如下问题:第一,此方法仅使用了预训练 CNN 的最终卷积层,中间卷积层并没有利用起来,特征相对单一,提取的纹理特征有效性不强;第二,此方法缺少对图像全局空间结构的观察,导致识别准确率不高。Pre-trained Deeplearning featureSigmoidResidualAggregationmoduleConvolutionalTransfer moduleResidual encoding moduleResidual pooling layer图 1摇 原残差池化层结构2摇 基于改进残差池化层的纹理识别2.1摇 模型结构该文提出一种基于改进残差池化层的纹理识别模型,模型结构如图 2 所示。第一步,将标准 RGB 图像输入到基础特征提取模块,提取图像的基础特征,常用的基础特征提取网络有Resnet、Densenet 等;第二步,将基础特征提取模块得到的特征图输入到多维特征融合模块中,得到融合不同维度特征的特征图;第三步,融合不同维度特征的特征图输入到改进的残差池化层中,得到纹理特征向量;第四步,将纹理特征向量输入到分类层中,得到纹理识别的结果。RGBRGB图 2摇 模型模块结构2.2摇 多维特征融合模块针对文献16原残差池化层纹理识别模型中,仅使用了预训练 CNN 的最终卷积层,未充分利用多层特征导致提取的纹理特征有效性不高的问题,该文提出了多维特征融合模块。在 CNN 网络架构中,不同尺度的特征中蕴含着不同的特征信息。浅层特征中蕴含着图像的全局特征信息,高层特征中蕴含着图像的局部信息。在以往基于CNN 的纹理识别算法中,大多只采用了高层特征,忽略了浅层特征。而在纹理识别任务中,图像的高层特83摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷征以及浅层特征都是需要关注的。将高层特征与浅层特征融合,对纹理识别任务是有益的。通过基础特征提取模块可以得到 Pre-trainedDeep learning feature,在 Pre-trained Deep learningfeature 中,存在多个卷积块,不同的卷积块可以输出大小不同的 feature map。Resnet 残差网络是经典的分类网络,其内部的残差块使用了跳跃连接,缓解了在深度神经 网 络 中 增 加 深 度 带 来 的 梯 度 消 失 问 题。以Resnet50 为例,通过 Resnet50 得到的 Pre-trained Deeplearning feature 中有 5 个卷积块,其中,卷积块 Conv_1仅是一个单层卷积层的输出,并未学习图像信息,故在本方法中没有使用 Conv_1 输出的特征。在卷积块Conv_2、Conv_3、Conv_4 和 Conv_5 中输出特征图尺寸分别为 56伊56伊256、28伊28伊512、14伊14伊1 024 和 7伊7伊2 048。多维特征融合模块中使用到了卷积块 Conv_2、Conv_3、Conv_4 和 Conv_5 输出的特征图。在多维特征融合模块当中,将来自基础特征提取模块的不同维度特征进行融合,多维特征融合模块结构见图 3。多维特征融合模块工作流程如下:首先,将Conv_2、Conv_3、Conv_4 和 Conv_5 四种尺寸的特征图经过一个 1伊1 的卷积层,该操作不改变特征图的大小;之后,将 Conv_5 支路得到的特征图输入到改进残差池化层中,获得尺寸为 1 伊2 048 的特征向量;将Conv_2、Conv_3、Conv_4 特征图依次进行上采样,相加操作,得到两个融合多维特征的特征图,尺寸分别为28伊28伊1 536、56伊56伊1 792;将上述两个特征图通过3伊3的卷积层和改进残差池化层,通过改进的残差池化层处理后可以得到特征向量。将三个改进残差池化层得到的特征向量进行拼接,可以得到最终的纹理特征向量。多维特征融合模块具有如下优势:第一,该方法综合了高层特征与低层特征,得到了更为有效的纹理特征;第二,多维特征融合模块利用了基础特征提取网络的中间输出,并没有增加复杂的计算过程,计算量极少量增加,对算法的时间复杂度负担小;第三,多维特征融合模块中的各个模块都是可学习的,可以支持端到端的纹理识别模型;第四,多维特征融合模块可以灵活应用于多个主干网络当中。Conv1_xConv2_xConv3_xConv4_xConv5_x7x7x2 04814x14x1 02428x28x51256x56x2561x1,2 0481x1,1 024Conv2_xConv3_x1x1,5121x1,2567x7x2 04814x14x1 02428x28x51256x56x256AddAddUpsamplingUpsampling3x3,5123x3,512Improve residualpoolingImprove residualpoolingImprove residualpooling图 3摇 多维特征融合模块结构2.3摇 改进残差池化层针对文献16原残差池化层纹理识别模型中缺少对图像全局空间结构的观察,导致识别准确率不高的问题,提出改进残差池化层。改进残差池化层的结构如图 4 所示。此层即为图2 中的改进残差池化层,是在原残差池化层的基础上进行改进的,所以改进残差池化层分为两部分,第一部分是原残差池化层的保留,即图 4 中的非虚线框部分,第二部分为该文对残差池化层的改进,增加全局最大池化支路,即图 4 中的虚线框部分。改进残差池化层的工作流程如下:首先,预训练的特征映射 C 由预训练的 CNN 不同的卷积层获得。特征映射 C 的计算如公式(1)所示:C=fcnn(I),C 沂 R7伊7伊2 048(1)其中,C 为预训练 CNN 的特征映射,I 为输入图像,fcnn()为预训练的 CNN 模型(此处以 Resnet50 为例)。将通过基础特征提取模块得到的特征映射 C 输入到Convolutionaltransfermodule中 学 习 特 征X,Convolutional transfer module 如图 5 所示,其包括对特征图的 Convolutional layer(1x1)、drop out、Batch nor鄄malization、sigmoid 操 作,其 中 drop out 和 Batchnormalization 操 作 用 来 避 免 过 拟 合。Convolutionaltransfer module 模块操作公式表示如下:X=fctm(C),X 沂 R7伊7伊2 048(2)其中,X 为 学 习 到 的 特 征,fctm()为 Convolutionaltransfer module 对特征映射 C 的操作。在该方法中,预93摇 第 9 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 郭摇 锐等:基于改进残差池化层的纹理识别训练的特征 C 和学习到的特征 X 在空间上是有序的,所以位置(i,j)处的残差映射值 Zij计算公式如下:Zij=Xij-鄣(Cij),Zij,Xij,Cij沂 R2 048(3)其中,Zij为位置(i,j)处的残差映射值,Xij为位置(i,j)处学习到的特征,Cij为位置(i,j)处预训练的特征映射值。鄣()为 sigmoid 函数,强调了学习到的特征和预先训练的特征之间的差异。这迫使卷积传输模块学习一个适合于纹理识别的新特征。Pre-trained Deeplearning featureSigmoidResidualAggregationmodulePre-trained Deeplearning featureSigmoidGlobal MaximunPoolingCatL2 normalization图 4摇 改进残差池化层结构摇摇将 残 差 映 射 Z 输 入 到 Aggregation module,Aggregation module 结构组成如图 5 所示,使用此模块可以聚合残差获得无序特征。此模块包括对特征图的ReLU、Batch normalization、Global Average Pooling 操作,其中 ReLU 作为特征选择器,将负残差置为零,学习到的特征 X 与相应的预训练映射特征 C 则被保留,从而得到了有效的分类特征。Global Average Pooling操作将 7伊7伊2 048 的残差映射处理为 2 048 维的无序特征向量。Aggregation module 操作的计算公式如下:Y=fagg(Z),Y 沂 R2 048摇(4)其中,Y 为得到的无序特征,fagg()为 Aggregationmodule 对残差映射特征的操作。在原残差池化层的基础上,引入全局最大池化支路,为纹理特征引入空间结构观察,提升纹理识别的准确率,如图 4 中虚线框所示。将预训练特征映射 C 输入到 Global Maximun Pooling 中,得到具有全局空间观察的特征向量;Global Maximun Pooling 的计算公式如下:M=MAX(C),C 沂 R7伊7伊2 048,M 沂 R2 048(5)其中,M 为具有全局空间结构观察的特征向量。其次,原残差池化层工作流程保持不变,将具有全局空间结构观察的特征向量 M 与原残差池化层得到的无序特征向量 Y 进行拼接,使用 L2 normalization 操作进行标准化,消除数值差异带来的负面影响,得到最终的纹理特征,输入到分类层中,得到纹理识别结果。此残差池化层改进有四个优势:第一,将训练好的卷积特征中的空间信息作为字典,并基于空间位置进行硬赋值,效果更好;第二,该残差池化层中各模块的参数都是可学习的,可以端到端地完成纹理识别任务;第三,该方法将原残差池化层的无序纹理表示与新增全局最大池化层的空间结构观察相结合,得到了更好的纹理识别效果;第四,该改进残差池化层可以灵活地应用于不同的主干网络当中。Convolutionallayer(1x1)Drop outBatchnormalization 1SigmoidReLUBatchnormalization 2ReLUGlobal AveragePoolingConvolutional transfer moduleAggregation module图 5摇 卷积传输模块及聚合模块结构2.4摇 LBP 辅助识别LBP 编码算法是一种用来描述图像局部纹理特征的算子,具有旋转不变性和灰度不变性等显著的优点。然而,LBP 编码是无序的,不符合 CNN 的卷积(卷积核中值的加权平均)操作特性,把 LBP 编码直接输入到 CNN 当中是无意义的。故而,采用 Levi13提出的方法,通过多维尺度分析法和 EMD 距离将图像转化为 LBP 编码映射图像,使其可以直接输入到 CNN当中参与卷积操作。其中,多维尺度分析法将无序的LBP 码映射到度量空间中,使得映射后的编码间的距离接近原始码对之间的距离,可以有意义地参与卷积运算;EMD 距离被定义为描述将一个分布转换为另一个分布所需的最小努力,使用 EMD 距离可以有效地表示不同 LBP 码在数值和位数上的差异。近似 EMD距离公式如下:Disij=椰 MDS(LBPi)-MDS(LBPj)椰(6)其中,Disij表示 LBP 码 LBPi和 LBPj之间的差异。MDS()表示累计分布函数,在此处表示位值的累计分布函数。此方法效果如图 6 所示,左侧是标准 RGB 图像,中间是 LBP 编码图像,右侧是 LBP 编码映射图像。04摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷图 6摇 图像对比通过图 6 可以看出,LBP 编码映射图像相对标准RGB 图像纹理更加显著,而且,其中还包含了与标准RGB 图像互补的纹理信息。使用此图像能够为基于标准 RGB 图像的纹理识别模型提供帮助。LBP 辅助识别结构见图 7。首先,将标准 RGB 图像与 LBP 编码映射图像分别输入到基础特征提取网络,提取基础特征;其次,将基础特征输入到多维特征融合模块当中,获得融合高维特征和低维特征的特征图;然后,将获得的特征图分别输入到改进的残差池化层中,获得纹理特征向量;最后,将标准 RGB 图像得到的特征向量与 LBP 编码映射图像得到的特征向量进行融合,即将两个特征向量进行拼接得到最终纹理特征,使用此特征获得纹理识别结果。RGBLBP图 7摇 LBP 辅助识别3摇 实验设置及分析提出的网络模型可以兼容所有的基础特征提取网络。在本次实验中,所有的层都是固定的。操作系统为 Windows。使用优化器为 Adam 优化器。实验使用PyTorch 进行开发,损失函数为交叉熵损失,使用 CPUIntel(R)Core(TM)i7-10700 进行训练。批次大小为64,学习率为 0.000 1,学习轮数为 500 轮。数据集选择 DTD 数据集以及 FMD 数据集,网络输入图像大小为 224伊224。选择在测试集上多次测试的平均准确率作为评估指标,平均准确率为多次测试中预测正确的占比值。准确率计算公式如公式(7),其中 TP 表示预测正确数,FP 表示预测错误数。Accuracy=TPTP+FP(7)3.1摇 数据集介绍实验在 DTD 可描述数据集17以及 FMD 材料数据集18上进行。DTD 可描述数据集包含带状、斑点、泡沫、凹凸、网纹、裂纹等 47 个不同的纹理类别,共计5 640 张图片。图片均收集来自 Google 和 Flickr,是纹理识别领域通用的权威数据集。数据集涵盖了日常生产生活所见的 90%以上的纹理情况。FMD 数据集包含 10 种常见的材料类别,如织物、皮革等。每个类别包含 100 张图像,对 DTD 数据集和 FMD 数据集使用了数据增强的方法来扩充数据集,以便更充分地训练网络。分别对 DTD 数据集和 FMD 数据集进行水平翻转以及垂直翻转操作,将原始数据集扩充了三倍。数据集示例见图 8。其中,第 1-2 行是 DTD 数据集及相关处理得到的图像,第 3-4 行是 FMD 数据集及相关处理得到的图像。第一列是原始图像,第二列是原始图像对应的 LBP 编码映射图像,第 3-6 列分别是原始图像进行垂直翻转,水平翻转后的图像及其对应的LBP 编码映射图像。图 8摇 数据集示例14摇 第 9 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 郭摇 锐等:基于改进残差池化层的纹理识别摇 摇 对于 DTD 可描述数据集,此数据集共包含 47 类,每一类有 120 张图像,随机选取每类其中 80 张为训练集,40 张为测试集,训练集共计 3 760 张图像,测试集共计 1 880 张图像。对于 FMD 数据集,此数据集共包含 10 类,每一类有 100 张图像,随机选取每类其中 50张为训练集,50 张为测试集,训练集共计 500 张图像,测试集共计 500 张图像。3.2摇 消融实验3.2.1摇 多维特征融合模块有效性分析本次实验中,在 DTD 数据集和 FMD 数据集上,探究多维特征融合模块对纹理识别效果的影响。本次实验使用的基础特征提取网络为 Resnet50。具体实验结果见表 1。其中,Conv2_x 是指将 Resnet50 第二个卷积块输出的形状为 56伊56伊256 的特征图直接输入到改进残差池化层中获得的纹理识别结果,特征维度为256;Conv3_x 是指将 Resnet50 第三个卷积块输出的形状为 28伊28伊512 的特征图单独输入到残差池化层中获得的纹理识别结果,特征维度为 512;Conv4_x 是指将 Resnet50 第四个卷积块输出的形状为 14伊14伊1 024的特征图直接单独输入到残差池化层中获得的纹理识别结果,特征维度为 1 024;Conv5_x 是指将 Resnet50第五个卷积块输出的形状为7伊7伊2 048 的特征图直接输入到残差池化层中获得的纹理识别结果,也就是文献16 原残差池化层纹理识别模型,特征维度为2 048,在 FMD 数据集上的平均准确率为 81.09%,在DTD 数 据上的平均 准确率为 71.53%;Conv2 _ x、Conv3_x 是指将 Resnet50 第二和第三个卷积块分别通过残差池化层,将得到的特征向量拼接后得到的纹理识别结果,特征维度为 768;Conv4_x、Conv5_x 是指将Resnet50 第四和第五个卷积块分别通过残差池化层,将得到的特征向量拼接后得到的纹理识别结果,特征维度为 3 072;Conv2_x、Conv3_x、Conv4_x 是指将Resnet 第二、第三和第四个卷积块分别通过残差池化层,将得到的特征向量拼接后得到的纹理识别结果,特征维度为 1 792;Conv3_x、Conv4_x、Conv5_x 是指将Resnet 第三、第四和第五个卷积块分别通过残差池化层,将得到的特征向量拼接后得到的纹理识别结果,特征维度为 3 584;该文提出的多维特征融合模块获得的特征向量维度为 3 072,在 FMD 数据集上的平均准确率为 81.80%,相较于原模型平均准确率提升了 0.71百分点,在 DTD 数据上的平均准确率为 72.38%,相较于原模型平均准确率提升了 0.85 百分点。在特征维度相对不大的情况下取得了最好的识别效果,证明了多维特征融合模块的有效性。表 1摇 不同的特征图在 FMD 数据集和 DTD 数据集上的平均准确率摇%特征图特征维度FMDDTDConv2_x25649.5040.93Conv3_x51266.8064.45Conv4_x1 02477.6070.18Conv5_x(原模型)2 04881.0971.53Conv2_x,Conv3_x76867.0059.29Conv4_x,Conv5_x3 07281.4971.90Conv2_x,Conv3_x,Conv4_x1 79275.2570.62Conv3_x,Conv4_x,Conv5_x3 58481.6972.33文中方法3 07281.8072.383.2.2摇 改进残差池化层有效性分析本次实验中,在 DTD 数据集和 FMD 数据集上,探究残差池化层的改进对纹理识别效果的影响。本次实验使用的基础特征提取网络为 Densenet 161。在表 2中,原模型是指文献16提出的原残差池化层纹理识别模型,全局平均池化与原模型是指该文改进中的全局最大池化换成全局平均池化,对比这三者的效果。通过表 2 可以发现,原模型在 FMD 上平均准确率为84.10%,全局平均池化与原模型拼接在 FMD 上平均准确率为 83.8%,文中方法在 FMD 数据集上平均准确率达到了 86%,相比原模型提高了 1.9 百分点;原模型在 DTD 上平均准确率为 75.57%,全局平均池化与原模型拼接在 FMD 上平均准确率为 75.32%,全局最大池化与原模型拼接在 FMD 数据集上平均准确率为 75.48%,与原模型相差不大。由实验结果可知,对残差池化层的改进可以有效提升纹理识别的效果。表 2摇 不同残差池化层改进在 FMD 数据集和DTD 数据集上的平均准确率%网络输入FMDDTD原模型84.1075.57全局平均池化与原模型83.875.32文中方法86.0075.483.2.3摇 LBP 辅助识别有效性分析本次实验中,在 DTD 数据集和 FMD 数据集上,探24摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷究 LBP 辅助识别对纹理识别效果的影响。在表 3 中,RGB 图像是指不使用 LBP 辅助识别,只使用标准RGB 图像输入网络进行纹理识别;LBP 编码映射图像,是指使用 LBP 编码映射图像输入网络进行纹理识别;LBP 辅助识别是指文中方法。由表 3 可知,仅标准RGB 图像输入时,在 FMD 数据集和 DTD 数据集上的平均准确率为84.10%和75.57%;仅 LBP 编码映射图像输入时,在 FMD 数据集和 DTD 数据集上的平均准确率为 70.22%和 66.95%;采用 LBP 辅助识别,使用LBP 编码映射图像提供辅助信息时,在 FMD 数据集和 DTD 数据集上的平均准确率为 86.32%和 76.21%。使用 LBP 辅助识别后,在 FMD 数据集上平均准确率提升了 2.22 百分点,在 DTD 数据集上平均准确率提升 0.64 百分点,证明 LBP 辅助识别方式可以有效提高纹理识别的性能。表 3摇 LBP 辅助识别方式使用与否在 FMD 数据集和DTD 数据集上的平均准确率摇 摇 摇%网络输入FMDDTD标准 RGB 图像输入84.1075.57LBP 编码映射图像输入70.2266.95LBP 辅助识别86.3276.21图 9摇 混淆矩阵摇 摇 图 9 是标准 RGB 图像输入(左)和 LBP 辅助识别(右)在 FMD 数据集测试集上的混淆矩阵。由图 9 可知,使用 LBP 辅助识别后,在每个类别上的平均准确率均有所提升。在 fabric 类上的平均准确率提升了 4百分点;在 leather 类上的平均准确率提升了6 百分点;在 metal 类上的平均准确率提升了 6 百分点;在 plastic类上的平均准确率提升了4 百分点;在 water 类上的平均准确率提升了 2 百分点;在 wood 类上的平均准确率提升了 4 百分点。由上述分析可知,使用 LBP 编码映射图像提供辅助信息时,几乎在所有的类别上均提升了效果。证明标准 RGB 图像与 LBP 编码映射图像之间并不只是在某个特殊的情况下存在互补的纹理特征,这两者之间存在稳定和全面的互补纹理特征。3.3摇 与其他纹理识别网络比较分析本次实验中,在 DTD 数据集和 FMD 数据集上,文中方法与 B-CNN、Deep filter banks、Locality-awarecoding、TEX-Net、DeepTEN 和 DRP 等最新的纹理识别技术进行了比较。由表 4 可知,在 FMD 数据集上,主干网络为 Resnet50 时,文中方法平 均准 确 率 为81郾 8%;主干网络为 Densenet161 时,达到 86.32%,文中方法均取得了最优的效果。在 DTD 数据集上,主干网络为 Resnet50 时,文中方法平均准确率为 72.38%;主干网络为 Densenet161 时,达到 76.21%,文中方法综合取得最优结果。综合来看,文中方法在 FMD 数据集和 DTD 数据集上均取得了不错的效果,证明了文中方法的有效性。表 4摇 文中方法与对比方法在 FMD 数据集和 DTD数据集上的平均准确率 摇%方法主干网络FMDDTDB-CNN9VGG77.8069.60Deep filter banksVGG79.8072.30Deep TEN11Resnet5080.2069.60TEX-Net-LF15Resnet50-73.00Locality-aware coding19Resnet5081.20-OursResnet5081.8072.38DRP-Net12Densenet16184.1075.57OursDensenet16186.3276.214摇 结束语针对纹理识别进行研究,提出了基于改进残差池化层的纹理识别方法。提出了多维特征融合模块,使得纹理识别可以灵活利用高层特征和低层特征,增强了纹理特征;对残差池化层进行改进,在原残差池化层34摇 第 9 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 郭摇 锐等:基于改进残差池化层的纹理识别的基础上,添加全局最大池化层支路,增加对纹理图像的全局空间结构观察,得到更有效的纹理特征;通过LBP 算法和 MDS 多维映射法得到的 LBP 编码映射图像与标准 RGB 图像之间存在互补的纹理信息,可以为纹理识别提供辅助信息,提高纹理识别的准确率。实验结果表明,该方法在纹理识别任务领域是有效的。使用深度学习的方法实现纹理识别,在未来的研究中,可以将对纹理识别任务针对性更强的传统方法与深度学习方法结合,以进一步提升纹理识别的效果。参考文献:1摇 OJALA T,PIETIKAINEN M,MAENPAA T.Multiresolutiongray-scale and rotation invariant texture classification withlocal binary patternsJ.IEEE Transactions on Pattern Anal鄄ysis and Machine Intelligence,2002,24(7):971-987.2摇 LIU L,FIEGUTH P,GUO Y,et al.Local binary features fortexture classification:taxonomy and experimental studyJ.Pattern Recognition,2017,62:135-160.3摇 GUO Z H,WANG X Z,ZHOU J,et al.Robust texture imagerepresentation by scale selective local binary patternsJ.IEEE Transactions on Image Processing,2016,25(2):687-699.4摇 WANG K,BICHOT C E,LI Y,et al.Local binary circum鄄ferential and radial derivative pattern for texture classificationJ.Pattern Recognition,2017,67:213-229.5摇RUICHEK Y.Local concave-and-convex micro-structurepatterns for texture classificationJ.Pattern Recognition,2018,76:303-