标签与样本双语义增强的跨模态检索_滕少华.pdf

第 卷 第 期 年 月江西师范大学学报（自然科学版）（）收稿日期：基金项目：国家自然科学基金（）资助项目作者简介：滕少华（），男，江西南昌人，教授，博士，博士生导师，主要从事大数据、数据挖掘、人工智能、模式识别、智能制造和网络安全方面的研究：滕少华，黄文彪，张巍，等 标签与样本双语义增强的跨模态检索 江西师范大学学报（自然科学版），（）：，（），（）：文章编号：（）标签与样本双语义增强的跨模态检索滕少华，黄文彪，张 巍，滕璐瑶（广东工业大学计算机学院，广东 广州；广州番禺职业技术学院信息工程学院，广东 广州）摘要：针对目前大多数跨模态哈希检索方法无法捕获多标签信息和特征语义更深层的语义关系信息问题，该文提出了一种标签与样本双语义增强的跨模态检索框架 首先，该框架将不同模态的高维数据映射到低维共享特征语义空间中，进行样本语义学习；其次，引入松弛变量到标签语义制约的哈希码学习函数中，通过最小化标签成对距离强化样本语义相似性哈希码学习，这样既保持了跨模态对应样本语义的关系，强化了哈希码的标签语义学习，又解决了实对称矩阵的求解及算法的收敛性问题；再次，进一步应用样本特征语义和标签语义增强哈希码的语义学习；最后，在 个常用的数据集上的实验结果表明该方法优于目前的方法关键词：标签与样本双语义增强；跨模态检索；标签语义中图分类号：文献标志码：引言近年来，多媒体数据开始爆炸式增长，且数据纬度高，存在于图片、文本、音频等不同模态中 由于不同模态的数据可能具有相同的语义，所以出现了各种新的技术研究和应用需求，如稀疏表示学习、跨域识别和跨模态检索等 目前，跨模态检索受到广泛关注 跨模态检索是通过一种模态样本来检索具有近似语义的另一种模态样本的检索技术，如文本到图像或图像到文本 早年的跨模态检索方法是基于实值表示的，用于提升跨模态语义相关性，进而提高跨模态检索准确度 然而，基于实值表示的跨模态检索方式的计算和存储成本较高，对大规模不同模态的多媒体数据执行高效和精确的跨模态最近邻搜索几乎是不可能的 为了解决这个问题，研究者们提出了基于哈希的跨模态检索方法 基于哈希的思想是将在高维空间中相似的样本映射到低维的汉明空间中对应的相似二进制哈希码表示，然后以通过简单的异或运算来计算汉明距离，根据汉明距离的大小来排序就可以实现近似搜索 因此，计算和存储成本大大降低 许多跨模态哈希方法被相继提出现有的跨模态哈希方法主要可分为 类：无监督跨模态哈希和有监督跨模态哈希 无监督跨模态哈希方法，旨在利用不同模态数据的潜在相关性来学习相似的哈希码 与无监督跨模态哈希不同，有监督跨模态哈希方法不仅利用原始数据的特征信息，还利用标签语义信息来学习相似的哈希码，这更有利于发现异构数据之间的相似关系因此，有监督跨模态方法比无监督跨模态方法获得了更高准确率的检索性能 其中具有代表性的是有监督矩阵分解哈希（，）、可拓展非对称的离散跨模态哈希（，）、语义相关最大化哈希（，）、离散跨模态哈希（，）、子空间 关 系 学 习 的 跨 模 态 哈 希（，）等 这些有监督跨模态哈希的方法以不同的方式将标签的语义信息嵌入哈希码中，如 将标签语义集成到哈希码学习过程中来最大化数据相关性，但该方法使用松弛方案解决二进制约束，可能会导致较大的量化误差、次优哈希码和哈希函数 将标签语义信息学习当成分类问题解决，采用逐位优化的策略来学习哈希码；然而，逐位优化哈希码的方案会导致优化时间对哈希码的长度非常敏感，哈希码长度越长，优化时间越长 直接将标签语义信息构造成一个 相似性矩阵，由此来指导学习相似的哈希码，但成对相似性矩阵对于哈希码的学习优化具有较大的时间成本和空间成本 将哈希码的学习当作标签信息的线性回归问题，利用标签信息来指导每一位哈希码的学习；但该方法只考虑标签的类别语义信息，忽略了原始数据之间的标签语义成对相似性 将标签语义当作第 种模态来参与数据的矩阵分解过程，这可能会导致标签类别的区分性语义信息的丢失，从而学习到次优的哈希码 综上所述，尽管有监督哈希方法取得了可喜的成就，但仍有一些问题需要进一步考虑：）量化误差大 为了解决离散哈希码优化问题，大多数跨模态哈希方法（如、）放松了对哈希码施加的离散约束）大多数方法单一地考虑模态间的成对相似性，如 通过分解成对相似性矩阵使得哈希码保持语义相似性信息，没有考虑标签语义的区分性信息）大多数方法只考虑了标签的判别性语义 如、和 直接使用线性回归策略从 和 的标签学习哈希码，没有考虑标签语义的成对相似性信息为解决以上的问题，本文提出了一种标签与样本双语义增强的跨模态哈希检索方法 该方法先将不同模态数据分解到低维共享潜在子空间中，再进行样本特征语义的学习；其次，在标签语义约束下，引入松弛变量，通过最小化标签成对距离增强样本语义相似的哈希码学习，保持了跨模态样本语义的相似性，也强化了哈希码的标签语义学习；最后，进一步应用样本特征语义和标签语义增强哈希码的语义学习 这使得最终学习的哈希码在保持标签语义相似性的同时又具有判别性 在 个广泛使用的数据集上的实验结果表明该方法优于目前的方法，特别是在多标签数据集上 相关工作如前文所述，相较于无监督哈希方法，有监督哈希方法能够结合语义标签来学习，因此更能够学习到保持语义相似性的哈希码 如语义相关最大化哈希（）将标签语义集成到哈希码学习过程中来最大化数据相关性，但该方法采用松弛策略解决哈希码的离散约束，带来了较大的量化误差；为了解决量化误差问题和避免使用成对相似性矩阵以解决时间复杂度高的问题，离散跨模态哈希（）保持离散约束并逐位迭代生成哈希码然而，这种逐位优化方式对哈希码长度较为敏感，也会导致比较大的优化时间复杂度问题 为了解决这 个 问 题，可 拓 展 的 离 散 矩 阵 分 解 哈 希（）使用矩阵分解和语义回归嵌入的策略来学习模态内和模态间的相似性，并离散地生成哈希 码 子 空 间 关 系 学 习 的 跨 模 态 哈 希（）将哈希码的学习当作标签信息的线性回归问题，利用数据点之间的相似性学习哈希码，同时利用标签信息来指导每一位哈希码的学习 可拓展判别性离散跨模态哈希（）直接通过矩阵分解来学习离散哈希码，利用标签信息回归到哈希码来提高哈希码的判别性 但是这些方法都忽视了标签语义成对相似性的学习 可拓展非对称的离散跨模态哈希（）将成对相似度矩阵分解成 个标签矩阵的乘积，然后将标签信息嵌入哈希码的学习中，从而更好地利用了标签语义成对相似性和解决了离散优化问题 但是该方法没有考虑标签语义的类别级别语义信息本文主要解决标签语义信息和特征语义信息的充分利用问题，以便捕获多标签信息和特征语义更深层的语义关系信息 为此提出了一种标签与样本双语义增强的跨模态哈希方法，该方法不仅考虑标签的成对标签语义相似性，还考虑它的类别信息和原始数据的特征语义信息 双语义增强的跨模态检索本文中所使用的主要符号列于表 算法的框架示意图如图 所示，主要分为哈希码的学习和哈希函数的学习 在哈希码的学习中，该方法首先通过矩阵分解来学习不同模态数据之间的低维特征语义表示；然后使用分类矩阵 来挖掘不同模态数据之间的标签语义的判别性信息；接着，通过线性第 期滕少华，等：标签与样本双语义增强的跨模态检索加权融合的方法来利用特征语义信息和标签判别性信息，以此来生成判别性哈希码矩阵；最后，采用非对称策略，将特征语义信息作为一种辅助信息来指导哈希码对标签成对相似性信息的学习，这能够进一步保证语义相似性信息完全嵌入哈希码中在哈希函数学习中，基于已经学习好的哈希码，根据核化和线性回归来学习不同模态的哈希函数表 主要符号符号表示的意义矩阵 的转置（）第 模态的特征矩阵（）文本的特征矩阵（）图像的特征矩阵哈希码矩阵标签矩阵范数归一化标签矩阵维度为 维、元素全为 的列向量训练集实例的数量哈希码的长度标签的类别数矩阵 的 范数（）的指数函数（）矩阵 的迹（）的符号函数（）的核化哈希码学习哈希函数学习X(2)X(1)L分类操作QX（2）X（1）特征语义V矩阵分解核化线性加权融合标签语义判别性QL2-范 数 归一化(标签矩阵G)成对距离差最小化哈希码B核化哈希函数H1哈希函数H2哈希码B标签语义成对相似性GTG图 算法框架示意图 哈希码学习 样本特征语义信息学习矩阵分解是在学习原始数据中潜在特征的最有用工具之一 许多跨模态方法通过这一技术直接从不同模态中学习共同的潜在特征，没有考虑数据的非线性特征，从而导致学习的潜在特征的非线性不足 为了解决这个问题，本文先对原始数据进行核化，进一步提取原始数据的非线性特征，从而更好地提取有用的潜在特征信息 此外，为了减少数据特征之间的冗余和使得特征学习更稳定收敛，在矩阵分解过程中引入了正交约束和平衡约束：（），（），其中 和 是超参数，是基向量，是潜在特征表示，（）是径向基函数（）核，即（）（）（），（）（），其中（）（，）是 训练样本中的锚点数目，是第 模态的核宽度 标签语义制约的哈希码学习许多有监督哈希方法会构造一个 大小的语义相似性矩阵来利用标签信息，从而确保语义相似的原始数据能学习到相似的哈希码 然而，大小的成对相似性矩阵会带来较低的优化效率和较大的存储成本为了攻克这个难题，提出了一种通过最小化标签成对距离和哈希码成对距离之间的距离差的学习方案：，（），其中 为 范数归一化后的标签矩阵，其元素为 通过式（），虽然可以保证以比较高的效率来学习优化高质量的哈希码，但是在式（）中对称的离散哈希码的优化是一个 难题 为了解决这个优化难题，许多跨模态哈希方法采用松弛的策略，将二进制取值变成连续实值取值参与算法的整个优化过程，待优化后再将连续取值通过符号函数映射为二进制取值 然而，这将导致较大的量化误差为了解决这个问题，本文引入一个非对称策略，利用特征语义信息 替代其中一个，得到 ，（），通过这种非对称策略，将量化的操作局限在算法优化的每一次迭代中，通过 不断迭代的更新来对 进行修改，使得 达到松弛并稳定更新的作用 这不仅可以缓解采用松弛策略所能带来的量化误差问题，而且可以将特征语义信息作为一个监督信息来辅助标签成对相似性信息嵌入所学习的哈希码中 双语义增强的哈希码学习本文在式（）中采用非对称策略，利用特征语义信息 去替换其中一个，使得优化问题变得快速可解 但是这存在江西师范大学学报（自然科学版）年以下问题：）和 之间存在一定的量化误差；）由于标签语义信息是通过余弦相似度计算成一种成对相似性信息来监督哈希码的学习，使得标签语义之间的区分性信息得不到有效的利用 为了解决这 个问题，本文提出了一种通过线性加权融合策略，将特征语义信息和标签语义判别性信息融合起来，进一步增强哈希码在语义上的学习，可表示为 （），（）其中 和 是超参数，矩阵是一个分类器，用于将标签语义信息回归到哈希码，从而使得标签语义的判别性信息能够被保持在所学习的哈希码中 整体目标函数算法的整体目标函数是将式（）、式（）和式（）联合起来优化，得 （）（），（），优化算法直接同时优化具有 个变量（，）的非凸目标函数是非常困难的 然而可以每次只优化一个变量，然后固定其他变量不变，通过这种迭代更新来为每一个变量获得一个近似解 具体的迭代过程如下：）固定、，更新，则式（）可写为（），（）展开式（）并对 求导，令其导数为，在，约束下可得到闭式解（）（）（）（）固定、，更新，则式（）可写为（），（）展开式（）并对 求导，令其导数为，在，约束下可得闭式解（）（）（）固定、，更新，则式（）可写为（）（），（）为了解决上述问题，本文将式（）中的目标函数在 ，和 ，约束下转为矩阵的迹的形式，最终简化为（）（）（），本文定义 ，（）（）（）然后，用于奇异值分解，具体式子为（）|（），其中 是由正特征值构成的对角矩阵，和 （）分别对应于正特征值的特征向量构成的矩阵和零特征值的 个特征向量构成的矩阵，是 的秩 对 进行 正交化处理来得到 （）进一步定义 和一个随机正交矩阵 （）最后根据文献，可得 的最优解为 （）（）（）固定、，更新，则式（）可写为 （）（）展开式（）并对 求导，令其导数为，可得到闭式解 （）（）