基于ResNet和迁移学习的服装图像检索方法_游小荣.pdf

第 卷 第 期 年 月北京服装学院学报（自然科学版）（）：基于 和迁移学习的服装图像检索方法游小荣，李淑芳，邓 丰（常州纺织服装职业技术学院，常州；常州市生态纺织技术重点实验室，常州）摘 要：针对传统服装图像检索方法存在检索效率低、精度不高的问题，提出了基于 和迁移学习的服装图像检索方法。在互联网上选取当下流行的服装，建立长裙、短裙、风衣、恤 类小样本数据集。借助基于 数据集训练好的 预训练模型，对小样本数据集进行迁移学习，进一步优化预训练模型中的参数，得到新的网络模型。基于新的网络模型，提取特征向量，做归一化处理，并进行相似度计算，排序输出图像检索结果，实现服装图像检索功能。为验证方法的有效性，搭建了基于颜色、纹理、边缘、无迁移学习和有迁移学习的服装图像检索测试平台。经实验对比，这种方法不但适用于小样本情况，而且平均精度、均值等指标以及检索效率优于其他方法，实用性强。关键词：服装图像；内容检索；迁移学习；中图分类号：.文献标志码：文章编号：（）收稿日期：基金项目：常州市科技计划项目（）；江苏省高等学校大学生实践创新训练项目（）作者简介：游小荣（），副教授，硕士，主要研究方向为服装数字化、人工智能；：。随着电子商务的快速发展，人们不再满足通过文字搜索商品购物，越来越多的人希望通过以图搜图，找到自己所需的服装。服装设计师也希望有这么一套系统，能够具备快速找到相似的服装版式、收集设计元素、分析当前时尚趋势等功能。针对同款或近似服装图像检索可以分为基于文本标注的检索和基于内容的图像检索两类。基于文本标注的检索简单，但存在标注工作量大、标注缺失等问题，不适合海量图片检索。基于内容的图像检索大致可以分为基于颜色、纹理、边缘、图论等传统图像检索方法以及基于机器学习的图像检索方法。传统检索方法借助图像处理方法，提取图像的整体特征，如颜色、纹理、形状等，再与图像集的服装图像进行相似度测量，根据测量结果排序输出。这种方法在特定场合能够取得不错的效果，如庄立锋等提出的基于改进 算法的服装款式结构特征识别与分类，能够很好地识别服装结构款式；陈倩等提出了借助主颜色提取算法进行服装图像检索，能够适用于简单背景或复杂背景，花色或非花色；吴传彬等借助正化随机漫步算法和 算法对服装草图进行服装图像检索，可以较好地实现服装检索功能。然而，服装图像检索不仅要考虑颜色、纹理等全局特征，还要考虑款式、风格等细节特征，属于细粒度图像检索问题。随着机器学习的广泛应用，特别是深度学习的兴起，越来越多学者发现深度学习不仅能够自动学习颜色、纹理等全局特征，还能提取图片更深层次的信息及其内在联系，在图像分类、图像风割、图像检索等领域得到了广泛应用。基于深度学习的服装图像检索也成为当前的研究热点，如高妍等采用改进 方法对服装图像进行识别分类研究，可有效解决形变服装图像识别问题；王振等基于可变形卷积和相似性学习实现服装图像检索，可解决由于服装几何形变问题而导致检索准确率不高的问题；邓莹洁等研究的基于卷积神经网络的半身裙款式特征分类识别，可有效解决半身裙款式识别效果较差的问题，但这些方法在精度和效率上都有提升空间，且不适合小样本数据集。基于上述存在的问题，本文在 大型数据集训练的 预训练模型基础上，对小样本服装数据集进行迁移学习，进一步优化 网络参数，输出新模型，并在此模型基础上构建服装第 期 游小荣等：基于 和迁移学习的服装图像检索方法图像检索方法，达到提升服装图像检索精度及效率的目的。网络服装图像分类检索不仅要考虑如服装颜色等低层次信息，还要考虑服装款式、风格等高层次信息，属于典型的细粒度分类与检索。对卷积神经网络来说，需要加深网络，才能获得更丰富的信息和特征。相比 等网络，由于引入了残差网络，可以很好地解决由于网络的加深带来的梯度消失、退化等问题。根据层次的不同，常见的网络包括、及，其中、选用的残差网络结构是 结构，而、及 选用的残差网络结构是 结构。为了提取更多的服装图像特征，本文选用 网络，其结构如图 所示，包含 个卷积层、（）个 网络层和 个全连接层，整个网络的参数量超过 万个，图中 的 为 个分类。迁移学习方法.迁移学习迁移学习是指将在某个领域或任务上学习到的知识和技能应用到新的领域 任务中，可有效解决深度学习中因为数据集不足而导致网络模型出现过拟合的问题。迁移学习大致可以分为基于特征的迁移方法、基于共享参数的迁移方法和基于关系的迁移方法。其中，基于共享参数的迁移方法结合了深度学习和迁移学习，通过对包含高质量的标注数据大数据集进行训练，得到预训练模型，在此基础上，采用少量标注数据的小样本数据集进行迁移学习，完成目标分类的任务。本文采用的正是基于共享参数的迁移方法。.基于 模型的迁移学习方法针对小样本数据集及样本数据相似度高的情况，本方法保留了预训练模型中的卷积层、网络结构以及预训练参数，所保留的网络结构和预训练参数用于提取图像初始特征，另外的全连接层参数则进行重置，并基于小样本数据集进行重新训练。本文对全连接层网络结构进行了改进，改图 模型的网络结构 进结果如图 所示。将图 中的 层结构改成了 层结构，其中第 层输出结果为本方法所需提取的最终特征向量。图 所示为本文基于 模型的迁移学习的具体过程。首先加载并归一化数据集，为了增强网络的泛化能力，在训练集归化过程中还需对数据集进行平移、随机翻转、剪切等操作，而验证集图像只需进行归一化处理，不需要进行额外的操作；然后加载 预训练模型，重置全连接层，包括初始化训练参数等；接着，循环迭代进行训练、验证模型操作，如果准确率优于之前保存的最佳准确率，则更新模型，直到步长条件结束为止，最终得到迁移学习训练后的新模型。本文服装图像检索方法图 所示为本文服装图像检索全过程，首先根据图 得到的新模型，对小样本数据集中所有服装图像进行特征提取，提取方法如图 所示，在最后一个全连接层前提取 的特征向量，该特征向量即图像检索所采用的特征向量，并对其进行归北京服装学院学报（自然科学版）年图 改进后的全连接层 图 基于 模型的迁移学习过程 一化处理；然后输入用户需要查询的服装图像，根据新模型进行特征提取，并对特征向量进行归一化处理，接下来将查询图像的特征向量（）与数据集的所有特征向量进行相似度计算，得到对应的相似度值，并由高到低进行排序，根据需要输出 的图像检索结果。图 服装图像检索过程 图 中的相似度计算方法采用的是余弦相似度，计算公式如式（）所示相似度 （）式中：为查询图像的特征向量；为数据集中某幅图像的特征向量；为特征向量中特征值个数，相似度取值范围为 ，值越大相似度越高。实验结果与分析.数据集准备本文所需服装图像数据集来源于各大电商平台销量好的品牌网店，一定程度上代表着当前的流行趋势。在标注的过程中，只需将这些服装图像放到相应分类的文件夹，无须进行额外标注，因此，标注工作量小。本文选取了长裙（）、短裙（）、风衣（）、恤（）个分类。每个类包含 幅图片，其中 用于训练用，用于验证用，数据集中部分图像如图 所示。.测试环境实验采用的计算机硬件环境为（）（）.、内存、固态硬盘，软件及运行环境为 位操作系统，、无。.迁移学习实验经过对比实验，选择了如下参数设置及相关函数进行迁移学习，可以获得较高的准确率、较低的损第 期 游小荣等：基于 和迁移学习的服装图像检索方法图 数据集中的部分服装图像 失率以及较快的收敛速度。具体设置包括：步长（）设置为、批大小（）设置为，损失函数选择交叉熵损失函数，并结合 激活函数，梯度下降算法选择随机梯度下降法（，），其中学习率（）设置为.，动量（）设为.，预训练模型版本为 。图 所示为本文迁移学习训练模型准确率及损失率变化曲线。可以看出，步长接近 时即收敛，表明迁移学习在小样本学习训练中效果明显，其原因是初始的预训练模型已经得到了很好的训练，模型的参数已接近最优解。此外，训练最佳准确率能够达到.，对应的损失率则为.，且模型在训练过程产生的震荡很小，这是因为设置了较小的学习率。图 模型准确率 损失率变化曲线 .服装图像检索实验为了与传统基于内容的图像检索方法（如颜色、纹理、边缘），以及非迁移学习的深度学习图像检索方法进行对比，搭建了基于颜色、纹理、边缘、非迁移学习的深度学习及本文方法的服装图像检索测试平台，以验证本方法的有效性。其中，颜色特征选取了全局颜色直方图方法，基于纹理特征方法选取了 算法，基于边缘方法采用了 算法，非迁移学习的深度学习则分别选用了未进行迁移学习的 预训练模型和文献所采用的 预训练模型。在非迁移学习的深度学习中，将模型中全连接层前的输出结果作为检索图像的特征向量，相似度计算方法仍然采用余弦相似度。图 图 分别是基于全局颜色直方图方法、基于 算法、基于 算法、基于 预训练模型、基于 预训练模型及本文方法进行的 检索的结果。其中，第 幅图像为查询图像，后 幅图像为检索结果，从左到右相似度逐渐减小。从检索效果来看，传统基于内容的图像检索方法存在类别出错的情况，未进行迁移学习的 网络的服装图像检索效果欠佳，文献的 预训练模型能够取得不错的图像检索效果，但检索结果有遗漏。图 基于全局颜色直方图的检索结果 图 基于 算法的的检索结果 北京服装学院学报（自然科学版）年图 基于 算法的检索结果 图 基于 方法的检索结果 图 基于 方法的检索结果 图 基于本文方法的检索结果 为了定量评价图像检索结果以及验证检索效率，对 幅未经过训练和验证且背景简单的服装图像进行检索实验，检索数据库为训练和验证用的 幅图像。首先选用的评价指标是平均精度均值。这个指标适用于多类别图像分类，能够反映检索方法在所有图片上的检索效果。表 列出了上述方法进行 检索所对应的平均精度均值。从表中可以看出，相比传统基于内容的服装图像检索结果，本文方法精度更高，且具有很好的稳定性。其次，对各方法进行了 查准率和查全率检索实验。具体做法是计算每幅检索图像对应的查准率和查全率，并进行平均运算，所得的结果如表 所示。从表中可以看出，本文方法无论是平均查准率还是平均查全率均明显优于其他方法。最后进行检索效率测试。表 列出了各种方法平均检索时间对比结果。可以看出，本文基于 和迁移学习方法具有更高的检索效率。表 各种方法平均精度均值 对比结果 方法分类 长裙短裙风衣 恤平均颜色.文献.本文.表 各种方法平均查准率和查全率对比结果 方法平均查准率平均查全率颜色.文献.本文.表 各种方法平均检索时间对比结果 方法平均检索时间 颜色.方法平均检索时间.文献.本文.结 语传统的基于内容的服装图像检索方法存在检索速度慢、精度不高的问题，而非迁移学习的深度学习方法每次添加新的样本都需要重新进行大样本训练，灵活性不足。针对上述问题，本文提出了基于 和迁移学习的服装图像检索方法。该方法是建立在预训练模型基础上，对小样本服装图像进行迁移训练，输出新模型，并以此新模型提取特征向第 期 游小荣等：基于 和迁移学习的服装图像检索方法量，进行相似度运算并排序，实现服装图像检索功能。实验结果表明，与基于颜色、纹理、边缘及非迁移学习深度学习方法相比，本文基于 和迁移学习的图像检索方法训练收敛速度快，检索效果、平均精度均值等指标以及检索效率有明显的优势，验证了本文方法的有效性。参考文献 陈嫒嫒，李来，刘光灿，等 基于关键点的服装检索 计算机应用，（）：，（）：，：，：张振焕，周彩兰，梁媛 基于残差的优化卷积神经网络服装分类算法 计算机工程与科学，（）：，（）：庄立锋，林俊文 基于改进 算法的服装款式结构特征识别与分类 实验室研究与探索，（）：，（）：，陈倩，陶彬娇，潘中良，等 主颜色提取算法及其在服装图像检索中的应用 华南师范大学学报（自然科学版），（）：，（），（）：吴传彬，刘骊，付晓东，等 结合显著区域检测和手绘草图的服装图像检索 纺织学报，（）：，（）：游小荣，李淑芳，熊宗志 基于卷积姿态机和 的服装图像轮廓分割方法 毛纺科技，（）：，（）：侯媛媛，何儒汉，刘军平 融合颜色特征和深度特征服装图像检索算法 计算机应用与软件，（）：，（）：高妍，王宝珠，郭志涛，等 改进 的服装图像