基于最近邻注意力与卷积神经网络的服装分类模型.pdf

第 卷 第 期 年 月毛纺科技 ：基于最近邻注意力与卷积神经网络的服装分类模型关紫微，吕 钊，滕金保（西安工程大学 服装与艺术设计学院，陕西 西安；西安邮电大学 计算机学院，陕西 西安）摘 要：针对传统的服装分类模型分类时无法有效提取训练集中其他样本的实例信息问题，提出基于最近邻注意力（）与卷积神经网络（，）的服装分类模型（）。首先，用 提取与原训练样本相似的实例样本的服装信息；然后用 进一步提取服装的局部关键特征；最后融合 和 的输出信息，从而在服装分类任务时有效地利用训练集实例信息。以公开的服装数据集进行实验验证，实验结果表明，提出的模型相较于传统的分类模型效果更好，可以有效提高服装的分类效果。关键词：服装分类；最近邻算法；注意力机制；卷积神经网络中图分类号：；文献标志码：，（，；，）：，（），；，；，：；收稿日期：基金项目：国家自然科学基金项目（，）；陕西省艺术科学规划重大项目（）；西安工程大学研究生创新基金项目（）第一作者：关紫微，硕士生，主要研究方向为服装与服饰设计，：。通信作者：吕钊，教授，硕士，主要研究方向为服装与服饰设计，：。随着电子商务的发展，人们网购商品的行为变得越来越普遍，尤其是服装行业，其电子商务的销售额占比越来越大。目前，购物网站进行商品搜索多采用输入关键字，而网站能快速定位同类型商品服饰的前提是将相应的服装进行识别和精准分类，因此服饰类别的分类具有很高的商业价值，有助于商品的快速定位。传统的服装分类算法多基于深度学习模型，等提出一种新的 方法进行服装图像 分 类，该 方 法 主 要 由 个 卷 积 神 经 网 络 毛纺科技 第 卷 第 期 年 月（，）分支组成，一个分支通过改进异常网络设计的 从整个表情图 像 中 提 取 多 尺 度 特 征，另 一 个 分 支 通 过 网络从整个图像中提取注意机制特征；在进行分类之前，对多尺度和注意机制特征进行聚合；在训练阶段，使用全局平均池化、卷积层和 分类器代替全连接层对最终特征进行分类，加快了模型的训练，并缓解了因参数过多而导致的过度拟合问题。等提出基于 的服饰分类模型，设计了 种具有不同卷积层和池化层的，并使用 数据集进行训练和测试，实验结果表明 是一种有效的服装分类方法，可以获得更高的分类精度，但会增加计算成本。陈巧红等提出多尺度 服装图像分类，采用多尺度的深度可分离卷积来提升模型特征信息的丰富度，并嵌入 模块增强有用特征通道，减弱无用特征通道，模型在 种噪声程度不同的服装数据集中均取得不错表现。以上基于传统深度学习的服装分类模型虽然有着各自的优势，并在公开数据集上的实验结果表现很好的分类效果，但没有考虑到数据集中其他样本的实例信息，因此分类效果有待提升。针对以上分析，本文提出基于最近邻注意力（）与卷积神经网络（）的服装分类模型（），模型训练时通过引入 获取数据集中实例样本的服装信息，同时采用 进一步提取服装的关键特征，并进一步进行池化操作，最后将 的输出信息与 的输出信息进行融合，使模型提取的服装信息更加全面，达到提升分类效果的目的。模型 本文提出的 模型主要包含 层与 层，其总体架构如图 所示。图 总体架构图 层 作为最常用的深度学习模型之一，在图像处理领域表现优异。具有较强的特征提取能力，通过设置不同大小的卷积核可以有效地提取图像潜在的深层信息，然后通过池化层对输入的特征图进一步压缩，缩减特征图，简化网络计算复杂度，最后由全连接层连接所有的特征，将输出值送给分类器，输入到系统中的服饰信息经过卷积池化后得到 的输出向量。结构如图 所示。第 卷 第 期 年 月毛纺科技 图 结构图 层 是传统的机器学习算法之一，其核心思想是如果一个样本在特征空间中的 个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别，该算法思想简单且高效，在实际应用中较为广泛，样本之间的距离多采用欧式距离进行计算。从图 可以看出，层由 和 构成，具体又包含 相似图像、标签、图像的相似度、加权标签、加权图像向量部分，其中“相似图像”代表与当前服装图像前 个相似的服装，“标签”对应该前 个服装图像的标签，“图像的相似度”代表该 个服装图像与原服装的相似度，“加权标签”意味着加权值的大小与相似度成正相关。假设整个训练集数据样本为 ，其对应的数据集样本的标签为 ，则相应的距离计算公式为：（，）（）（）式中：为当前的预测样本；为训练集数据样本 中的第 个服装样本；和 分别为当前预测样本和第 个服装的第 维向量；为样本的维数。采用欧式距离计算公式计算预测服装和整个服装数据集之间的相似度，得到整个数据集中最临近的前 个相似服装集，其对应的相似服装集的标签为，。使用式（）（）进行相似度计算得到前 个相似样本：（，）（），（）式中：，；为进行相似度计算得到的相似度分值；为数据集前 个序列的注意力权重，对得到的服装数据集前 个相似服装的输出标签和输出向量使用 进行加权。对服装数据集中前 个相似样本的输出标签进行加权的公式为：（）式中：表示注意力权重；表示第 个输出标签值；，。对服装数据集中前 个相似样本的输出向量进行加权的公式为：（）式中：表示第 个实例样本。数据集中的实例样本经过计算后得到加权后的输出标签 和实例样本向量，将 的输出向量 与 进行融合得到，更好地表达服装图像最真实的信息，然后将融合后的 输入到 层进行分类。训练环节采用 优化器更新权重，重新定义交叉熵损失函数为：（，）（）（）（）（）式中：为真实标签值；为加权的类别标签值；为每次进行训练的样本总数。实验设计及分析 实验环境及数据集 实验在 系统上进行，具体实验环境如表 所示。表 实验环境 实验环境环境配置操作系统 （）（）内存 编程语言 深度学习框架 版本 实验 数 据 集 为 公 开 的 和 数据集中的服装数据集，是一个包含 张图像的大型服装数据集，该数据集来源于购物网站和 的收集，共包含 个类别，分别为 （短袖上衣）、（长 袖 上 衣）、（短袖外套）、（背心）、（吊带）、毛纺科技 第 卷 第 期 年 月（短裤）、（长裤）、（半身裙）、（短袖连衣裙）、（长袖连衣裙）和 （吊带裙），取 数据集中 （短袖上衣）、（长袖上衣）、（短袖外套）、（背心）种类别进行标记和实验。包含 种属性维度共计 张图像，取其中上身视角中的领子设计属性维度进行实验，该属性下对应 种类别，分别是娃娃领、清道夫领、衬衫领、飞行员领，对 种类别分别进行标记，然后进行对比实验。所有的数据集按照 的比例分别作为训练集、验证集和测试集，然后输入到模型中进行学习。参数设置 模型的参数设置对最终结果有较大的影响，为了使模型达到最优分类效果，在模型进行训练时对其涉及的主要参数进行动态调节。模型的参数设置主要分为模型参数和训练参数 个部分。模型参数提出的 模型主要由 层和 层组成，对不同层的参数设置如下：层的核心参数主要是卷积核的大小，卷积核的大小不同可能会对实验结果造成不同的影响，因此后续章节将进一步讨论 卷积核大小的设置，对比实验中卷积核大小设置为（，），值设置为 ，随机失活 的神经单元。层核心参数为 值的大小，模型中 的取值相较于其他参数对最终的结果产生的影响较大，因此后续章节将着重分析 的不同取值对实验结果造成的影响，对比实验中设置 的默认值为。训练参数 训练参数主要包括激活函数、批处理的大小（批大小）、优化器、学习率等，训练参数设置如下：激活函数通过为模型增加非线性能力使得模型可以更好地学习更深层次的信息，因此为模型选择合适的激活函数是非常有必要的，模型的激活函数设置为。批大小会对梯度下降的方向产生较大的影响，过大的批处理会导致泛化能力差，过小的批处理会导致 模型的收敛速度慢，实验批大小设置为。合适的优化器可以让 模型在训练时找到模型的最优解，增强模型的效果，模型对比实验采用的优化器为。学习率的设置对最终的结果影响较大，过大的学习率会出现损失值震荡，过小的学习率会导致模型收敛速度慢，发生过拟合现象，模型的学习率设置为 。评估指标 采用准确率（）、精确率（）、召回率（）、精准率和召回率的调合平均数（）作为评价指标，混淆矩阵如表 所示。表 混淆矩阵 判断项负例正例正确负例正确（）正例正确（）错误负例错误（）正例错误（）表 中行和列分别表示分类前样本的实际类别及分类后对样本的预测类别，具体计算公式见式（）（）：（）（）（）（）对比实验 为验证 模型的性能，在相同条件下与以下基准模型进行对比：由 个网络层组成，包括前 个卷积层和后 个全连接层，并在每个卷积层和全连接层之后使用 非线性激活函数，然后输入到分类器中进行分类。由 和 组成，模型先用 提取图像信息，然后使用 进一步将模型的注意力集中在对分类结果影响较大的像素点上，经过 加权后输入到分类器中进行分类。值设置为，通过欧式距离计算公式计算预测样本和其他样本的距离，通过前 个样本投票表决该样本的分类结果。使用 种新颖的 架构，一种架构的过滤器数量随着网络深度的增加保持不变，而另一种架构的过滤器数量随着深度的增加而减少，种架构全部采用大小为 的卷积核。模型和以上基准模型在公开数据集上的实验结果如表 所示。其中，表 为模型在 数据集上的总体效果，表 为模型在 第 卷 第 期 年 月毛纺科技 表 总体实验结果对比 模型 表 不同服装类别 实验结果对比 模型短袖上衣长袖上衣短袖外套背心 表 总体实验结果对比 模型 表 不同领子设计 实验结果对比 模型娃娃领清道夫领衬衫领飞行员领 数据集上识别不同服装类别的准确率，表 为模型在 数据集上的总体效果，表 为模型在 数据集上对领子设计属性识别的准确率。由表 可以看出，模型在 个数据集上的分类效果最好，模型在 和 上的准确率相较于 模型性能分别提升了 、，相较于 模型性能分别提升了 、，相较于 提出 的 模 型 性 能 分 别 提 升 了 、。模型、模型和 提出的模型进行图像特征提取时通过其改进的 可以更有效地提取当前样本的深层信息，但没有有效地利用训练集数据中其他样本的实例信息，因此提取的特征是不全面的，而 模型不仅可以提取当前 样 本 的 信 息，在 此 之 上 通 过 引 入 使得在数据集中实例样本的信息也得到了充分的使用，因此提取的特征更全面，更能代表最真实的图像信息，因此分类效果也更好。模型相较于 模型在 和 上的准确率分别提升了 、，这是因为 模型进行分类时只关注与当前样本相似的其他样本的信息，没有考虑到当前样本潜在的深层信息，而提出的 模型在此基础上引入 使得提取相似样本的信息更有优势，除此之外还引入了，弥补了对当前样本信息提取的不足，因此分类效果也更好。同时还可以看出，模型在精确率、召回率、值上的性能提升也很大，相较于 模型，模型在 数据集上精确率、召回 率、值 上 分 别 提 升 了 、，模型在 数据集上精确率、召回 率、值 上 分 别 提 升 了 、；相较于 模型，模型在 数据集上精确率、召回率、值分别提升了、，在 数据集上精 确 率、召 回 率、值 分 别 提 升 了 、；相较于 模型，模型在 数据集上精确率、召回率、值分别提升了 、，在 数据集上精确率、召回率、值分别提升了 、；相 较 于 提 出 的 模 型，模型在 数据集上精确率、召回率、值分别提升了 、，在 数据集上精确率、召回率、值分别提升了 、，以上实验结果充分显示了 模型的优势。模型训练所耗费的时间是评价模型的另一个重要指标，因此在以上对比实验的基础上进行模型训练时所花费时间的实验，实验结果如表 所示。表 训练时间实验结果 模型 毛纺科技 第 卷 第 期 年 月训练时间实验是在单机下进行的，系统为 ，为 ，为（）（），采用 加速计算。从表 可以看出，模型训练时间与对比模型所消耗的时间接近，在可接收训练时间范围内提高了模型的分类效果。参数分析 参数设置不同会对最终的分类效果产生不同的影响。为进一步探究最符合 模型的参数设置以提升模型性能，对 卷积核大小、层的 值进行详细分析。将卷积核大小分别设置为、（，）、（，）、（，）、（，），值固定为，在 数据集上进行实验，实验结果如表 所示。表 卷积核大小对实验结果的影响 卷积核大小 （，）（，）（，）（，）由表 可 以 看 出，当 卷 积 核 大 小 设 置 为（，）时，模型在公开数据集上的表现最优，与单个最优卷积核为 时相比性能提升了，这是因为多尺寸卷积核可以提取更多的服装信息，对结果起到了促进作用，因此由多尺寸卷积核组成的模型要比单一尺寸卷积核组成的模型效果好，模型的卷积核大小设置为（，）。为验证 值设置的大小对实验结果的影响，设置 值的取值范围为，固定卷积核大小设置为（，），在 数据集上进行实验，实验结果如图 所示。当 值等于 时模型预测性能较低，此时 层不发挥作用，模型退化为 模型，模型的准确率为 。当 值从 逐渐增大时，可以看出 模型的预测性能逐渐提升，此时 模型由于结合了，相较于 模型可以更有效地提取预测样本的实例信息，因此性能更好。当 值设置为 时模型的表现最好，准确率为 。从图 还可以看出，值的不同设置对最终结果会造成不同的影响，当 值从 在一定的范围内增大时 模型的预测性能也逐渐提升，但当 值的设图 值对实验结果的影响 置超过阈值时，模型的预测性能开始降低。这是因为 值的设置超过阈值时会引入过多对结果影响不大的相似服装，从而出现特征冗余的问题，影响 模型的分类性能，因此 值的设置要适中，模型的对比实验中的最佳 值应设置在，使 模型的预测性能达到最大值。消融实验 消融实验可以进一步检验 模型的性能，以便更好地理解神经网络的学习行为，因此对所提模型进行消融实验。分解 模型，设置为 模型、模型和 模型，在相同的实验环境下进行对比实验，结果如表、所示。表 消融实验结果 模型 表 消融实验结果 模型 从表、可以看出，在 个公开数据集中的实验效果优于单一的 模型，这是因为单一的 模型进行分类任务时无法有效区分不同的实例信息对最终结果造成的不同影响，认为提取的 个实例样本发挥同等作用，而通过 计算后可以看出提取的 个实例样本与原样本的近似程度不同，因而对最终结果造成的影响也不同，与原样本更近似的样本应该发挥更大的作第 卷 第 期 年 月毛纺科技 用，因而权重也更大。模型的分类效果优于 模型和，这是因为 特有的网络结构可以学习到服装图像更深层次的信息，而 模型和 进行分类时只采用了类比投票的方式，没有考虑到当前样本潜在的特征，因此 模型的分类效果更好。从表、可以看出，模型的分类效果最好，这是因为进行分类任务时 模型不仅可以通过 模型提取服装局部关键特征，还引入了 模型，使得 模型在提取训练集实例信息上更有优势，因此 模型的表现最优。结 论 为了解决传统服装分类模型进行分类时无法有效提取训练集中其他样本的实例信息的问题，提出基于最近邻注意力（）与卷积神经网络（）的服装分类模型（）。通过引入 使得模型在提取数据集其他相似样本信息上更有优势，有效地解决了特征提取不全的问题。当卷积核大小为（，），值为 时，模型在 和 上的准确率分别为 和 。通过与其他模型的对比实验进一步验证 模型的优势，可以有效提升服装分类效果。参考文献：，（）：，（），（）：，：，（）：陈巧红，陈翊，李文书，等 多尺度 服装图像分类 浙江大学学报（工学版），（）：，（），（）：，：，（）：，（）：，（）（）：，（）（）：，（）：，：，（）：，：，（）：，：，（）：