融合通道与位置信息的ResNet细粒度图像识别_齐爱玲.pdf

北大中文核心期刊国外电子测量技术 ：融合通道与位置信息的 细粒度图像识别齐爱玲王宣淋（西安科技大学计算机科学与技术学院 西安 ）摘要：在细粒度视觉识别（）领域，由于高度近似的类别之间差异细微，因此图像细微特征的精确提取对识别的准确率有着至关重要的影响。针对该问题，提出了融合通道与位置信息的残差网络（）细粒度图像识别算法。首先，通过引入超轻量化空间与位置感知注意力模块（）改进的 细粒度图像特征提取网络，提高了细粒度图像特征尺度丰富性与多样性且有效增强了上下文特征非线性依关系；其次，使用融合通道与位置信息特征学习网络，利用权重方差度量获得特征提取网络显著特征以馈送到识别器进行最终有效识别，而后通过抑制因子抑制显著特征用于下阶段特征提取网络对细微特征进行提取。实验结果表明，该算法在数据集 上达到 的 准确率、的 准确率；在数据集 上达到 的 准确率、的 准确率；在 数据集上达到 的 准确率、的 准确率。关键词：细粒度识别；细微特征提取；空间注意组件；抑制因子；显著特征中图分类号：文献标识码：国家标准学科分类代码：（，）：（），（），；，：；收稿日期：基金项目：国家自然科学基金（）项目资助引言细粒度图像识别是对高度近似的类别之间实现更精细的类别划分。然而，对于这种类别内部仅存在细微差异图像的识别，传统的卷积神经网络难以捕获图像间细微的特征，容易导致识别错误。因此，研究有效的方法从局部国外电子测量技术北大中文核心期刊区域提取细微特征是解决细粒度识别问题的难点。现有的细粒度识别方法主要分为两类。一类是基于强监督细粒度图像识别方法，如 以端到端的方式将深度卷积神经网络应用到细粒度图像识别任务中，利用画图框、标注等方法定位特定目标的头部、羽毛、眼睛、爪子和躯干等具有判别性的部位之后进行局部与整体融合提取判别性区域特征通过支持向量机（，）分类器得到最终的识别结果。该类方法都需要对对象或边界框的一部分进行附加注释，对于识别来说操作步骤极其复杂，而且往往容易出现错误。这就要求注释人员需要有先验技术知识，这类算法大大限制了在实际场景的应用。另一类是基于弱监督的研究方法其优点在于不使用局部语义框标注，仅仅利用图像真实类别标签就能定位局部关键区域。等提出对输入图像通过区域混淆机制进行破坏和区域对齐网络重建的方法提取局部特征。该方法有效提高了细粒度识别准确率，却破坏了图像的整体结构，使其类间细微特征受到破坏，从而制约细微特征的有效提取。等提通过抑制类激活图中最显著的特征区域学习细微特征，但对于深层特征提取网络模型并没有对目标对象细微特征信息产生远程依 赖 作 用。朱 阳 光 等提 出 一 种 联 合 残 差 网 络（，）和 网络通过优化卷积神经网络的网络结构提高捕捉细粒度特征的能力，弱监督信息条件下仍然能够到达强监督模型的效果，甚至比强监督模型性能更好，但并没有考虑到深层网络中细粒度特征语义信息之间相互依赖性。黄雨秋等提出基于加权融合策略的特征区域块检测算法，充分考虑真实标签类别对特征图的权重信息，以真实标签对特征图的反向梯度来构建权重系数，通过加权融合特征信息得到车型识别中的感兴趣区域进而获得感兴趣区域的细微特征信息，对于获得的感兴趣区域比较单一，没有对感兴趣区域显著特征进行抑制容易忽略其他感兴趣区域细微信息。等通过一种融合通道损失函数直接对特征通道施加约束使提取尽可能多的局部特征信息，此方法仅仅在得到最终特征信息的情况下进行强加干涉，然而全局细微特征信息并没有被提取。蓝洁等根据 算法计算出多组来自不同通道卷积层的双线性特征向量进行融合学习细粒度鸟类的特征信息，但对得到的融合语义特征信息没有远程依赖性，且提取特征尺度过于单一造成细粒度对象位置信息流失。上述研究表明，基于弱监督算法的确能够定位到目标对象局部细微特征，减少目标图像背景的干扰，提升细粒度图像识别准确率。然而，对于得到的细微特征语义信息特征尺度都相对单一，而且在深层的网络中没有关注到细粒度图像细微特征信息之间的远程依赖关系，造成提取的细微特征信息孤立不相关且没有远程相互作用，导致目标对象细微特征有效信息提取易出错，影响最终识别结果。此外，通过文献 可知，擦除或削弱目标对象显著特征信息对于细粒度识别任务中捕获全局其他更细微特征是有效的。因此，本文使用改进的 作为本文研究特征提取网络。首先，通过使 组块中引入超轻量化空间与位置感知注意力模块（，）使其得到的特征语义信息尺度多样性以及对于深层网络中特征远程依赖信息具有补充作用；其次，提出融合通道与位置信息的特征学习网络（，），通过从改进的 特征提取网络中得到特征映射表示，而后提取目标对象区域显著特征同时抑制目标对象显著特征以帮助下一阶段特征提取网络提取更加细微的特征；最后将同时融合具有多个不同区域特细微征信息送入支持向量机分类器进行识别。本文提出了融合通道与位置信息的 图像细粒度识别算法，在个公开的细粒度图像数据集上进行识别，相较于原始基线模型 在增加少量的训练参数的情况下能够达到更高的识别效果。融合通道与位置信息的 细粒度图像识别网络模型本文方法首先引入 组件改进的 细粒度图像特征提取网络 ，通过将特征映射划分为多个单独子空间以捕获有效的相互依赖关系，提高了细粒度图像特征的丰富性与多样性，同时进一步提高了网络特征空间信息的利用率与上下文特征依赖关系，使提取的细粒度图像特征更具有表示能力；其次，提出通过融合 有效提取类内细微差异，通过通道与位置信息融合信息捕捉特征图丰富的感兴趣信息，突出特征图权值来获得显著特征，且将其馈送到分类器进行有效识别，再利用权重伯努利分布得到抑制因子来抑制显著特征，有利于下阶段特征提取网络提取其潜在细微特征。网络结构如图所示。改进的 网络深度卷积神经网络的特点是，神经网络越深，网络的特征表达能力越好。但是极深的网络不容易训练，而且在网络达到一定深度时，网络性能还可能会退化。年，等 提出 在增加网络层的同时，能够减少网络参数量，防止过拟合现象发生，避免网络性能随层数的增加而降低。另一方面 结构虽然能够达到更深的层次，但其宽度较窄，主要以残差块中卷积进行特征提取，获得特征尺度比较单一且空间特征信息冗余过大。因此，难以获得多尺度丰富多样性特征信息从而限制了其特征映射信息的表征能力。结构如图所示。网络模型应用于细粒度识别领域，由于其残差结构特征提取尺度单一等问题，并不能很好的提取其细粒度对象特征的空间与语义多尺度丰富特征信息，从而未能达到良好的识别效果。年，等 提出了一种简单而有效的“超轻量级子空间注意机制”，它能北大中文核心期刊国外电子测量技术图细粒度图像识别网络结构图 网络残差块结构够有效地学习特征图中每个子空间中的跨通道信息，而且能够为每个特征子空间学习单独的注意力图，这对细粒度图像识别是尤为可取的，同时还可以实现多尺度和多频率特征表示。但是其忽略了各个划分特征图组块之间的远距离依赖关系，这对于细粒度图像分类任务来说影响非常大。本文为了避免 模块在细粒度图像识别过程中忽视上下文特征依赖关系的弊端，所以在 的各个特征图组块上并行引入位置感知注意模块（，）来捕获特征图之间的非线性依赖关系。注意力模块，假设令特征组块中一个特征子图为。其中作为 注意力模块的输入，首先为了保持上下文特征信息一致性，沿纵轴方向收集远程上下文信息即使用最大池核与平均池核下采样特征子图信息以此能够获得各个特征子图之间重要的位置信息并且保留通道之间的关系，再使用共享 卷积提取相关的上下文特征信息，并使用 得到一个位置感知依赖关系注意力特征图，之后生成位置感知特征图 最终使用可学习参数在 和输入特征图子图之间进行元素求和运算。（），（）（）（）（）（）（）（）式中：为平均池核；为最大池核；为卷积操作；为元素乘法；为位置感知特征图；为最终得到的具有特征子图之间非线性依赖关系的特征信息。改进后的残差结构如图所示，输入将特征图划分为个互斥组，在本文实验部分将讨论的取为何值时能够得到最优的识别率。每个组有个特 征 子图，其 中，为 分组 卷 积，为全局最大池化，为逐点卷积。假设将其中一组中间特征映射记为，对于输入一个特征映射经过图所示的变换最终可得到的变换后多尺度特征映射为。（）（）（）（）（），（）式中：为元素乘法；为元素加法；是从一组中间映射推断出的注意力图；（）是对特征子图获得特征子图之间非线性依赖信息；是进行特征重新分布后得到的细节信息与子图依赖关系融合的特征映射。因此，通过在 模型的残差结构中引入 组件，不但增强特征图的多样性与丰富性，而且减少 国外电子测量技术北大中文核心期刊图改进后的残差结构网络中特征映射中空间和信道冗余。因此改进后的 网络模型能够更有效地捕获全局相关性。融合通道和位置信息的特征学习网络融合 ，通过对特征图每一位置水平方向与垂直方向进行建模，从而捕捉特征图局部丰富的通道与位置信息并获得局部感兴趣区域特征，而后突出特征图权值来得到显著特征，再利用权重伯努利分布获得抑制因子并抑制显著特征，这有利于特征提取网络下一阶段提取其潜在细微特征。首先，给定一张特征图，其中代表通道数，和表示为特征图的宽度和高度。利用水平和垂直两个空间范围的均匀池化作用于每个通道，其中垂直方向使用均匀池化（，），水平方向使用均匀池 化（，）。因而，高度为的第个通道与宽度为的第个通道经过均匀池化分别得到：（）（，），（）（，）（）式中：是特征图的第个通道特征；和分别是水平与垂直方向上的聚合特征。通过两个方向进行自适应平均池化分别得到两个空间方向聚合特征信息，从而生成一对具有方向位置感知的特征图。这能够增强对全局信息的感知能力，并且保留对象准确的位置信息与通道间的关系更有助于增大网络对细粒度图像细微特征关注程度，同时有效捕获对象局部感兴趣区域特征。从式（）得到的两方向聚合信息按空间方向拼接起来得到具有位置与通道信息融合的下采样信息，而后将拼接得到的特征信息进行共享的卷积中得到结果为：（，）（）式中：（，）是沿空间维度进行拼接操作；是非线性激活函数；（）是在水平方向和垂直方向上得到空间信息的中间特征图，其中是控制特征通道大小的收缩率。之后将把空间维度分为两个独立的张量和，其次通过卷积操作和分别单独变换和，得到具有相同维度的张量和：（），（）（）式中：为 函数。为了降低模型的复杂度，通常运用适当的收缩率降低通道数。将得到的和分别用作感兴趣区域权重，而后对和进行 归一化得到感兴趣因子和：（）（），（）（）（）因此，得到通过特征图通道与精确位置信息融合的局部感兴趣区域特征表示为：（）（）式中：表示输入的特征图；表示元素乘法。之后通过训练权重方差度量抑制无关的权值来改善神经网络的性能，即采用权重方差度量来提取显著特征。将的比例因子（）作用于通道来度量像素的重要程度，且比例因子度量对象特征图中通道之间的方差来表明各通道的重要程度。（）（）（）（）式中：表示输入的通道与位置信息融合特征图；表示提取的显著特征；是中每个通道的比例因子，其权值为，与分别为的均值和标准差；和是可训练参数。其次，通过抑制感兴趣因子抑制特征图显著特征从而能够获得具有潜在细微特征信息的特征图：（），（），其他（），（），其他（）北大中文核心期刊国外电子测量技术其中，（，）和（，）是伯努利分布得到的抑制因子。（，）是控制抑制程度的超参数阈值。融合通道和位置信息融合的特征学习网络可以表示为给定一张特征图，通过融合通道与位置信息获得局部感兴趣区域特征信息，其具有重要作用，而后得到显著特征与具有潜在细微特征信息的特征图，由于抑制了当前阶段显著特征，其他潜在细微特征将输入 下 一 阶 段 网 络 进 行 有 效 学 习 后 得 到，如 图 所示。图通道与位置信息融合网络结构 网络结构设计与模型训练 共有 层网络层，分别为 层、层、层、层和 层，层为个单独卷积层，层到 层分别包含、和组改进后的残差块结构，而后为一组和普通卷积进一步提取了更深层的语义特征信息，其次全局均值池化层（，），层后为全连接层（，）。本文将 网络分为个阶段，每个阶段后特征图的空间尺寸减半。网络深层具有更丰富的语义特征信息，将 引入 层、层和 层的