基于判别性矩阵分解的多标签跨模态哈希检索_谭钰.pdf

2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1349-1354ISSN 1001-9081CODEN JYIIDUhttp：/基于判别性矩阵分解的多标签跨模态哈希检索谭钰1，王小琴1，蓝如师1*，刘振丙1，罗笑南2（1.广西图像图形与智能处理重点实验室（桂林电子科技大学），广西 桂林 541004；2.卫星导航定位与位置服务国家地方联合工程研究中心（桂林电子科技大学），广西 桂林 541004）（通信作者电子邮箱）摘要：现有的跨模态哈希算法低估了不同类别标签之间语义差异的重要性，忽略了哈希向量的平衡条件，导致所学习到的哈希码的判别性能差。此外，一些方法利用标签信息构造相似性矩阵，并将多标签数据视为单标签数据进行建模，这在多标签跨模态检索中造成了较大的语义损失。为了保留异构数据之间精确的相似程度和哈希向量的平衡特性，提出了一种新的有监督哈希算法基于判别性矩阵分解的多标签跨模态哈希检索（DMFH）。该方法利用核化特征的协同矩阵分解（CMF）获得了一个共享的隐式子空间；同时利用数据之间共有标签的比例来描述异构数据的相似程度；此外，利用标签的平衡信息构造平衡矩阵，生成具有平衡特性的哈希向量，并最大化不同类别标签之间的类间距。在两个常用多标签数据集MIRFlickr和NUS-WIDE上与7种先进的跨模态哈希方法进行对比，在“以图搜文”（I2T）和“以文搜图”（T2I）任务上，DMFH均取得了最高的平均精度均值（mAP），而且T2I任务的mAP更优，说明DMFH能够更有效地利用文本模态中的多标签语义信息。还分析了所构造的平衡矩阵与相似性矩阵的有效性，验证了DMFH算法能有效保持语义信息和相似性关系，在多标签跨模式检索中是有效的。关键词：跨模态检索；矩阵分解；哈希学习；平衡向量；多标签数据中图分类号：TP181；TP391 文献标志码：AMulti-label cross-modal hashing retrieval based on discriminative matrix factorizationTAN Yu1，WANG Xiaoqin1，LAN Rushi1*，LIU Zhenbing1，LUO Xiaonan2（1.Guangxi Key Laboratory of Image and Graphic Intelligent Processing（Guilin University of Electronic Technology），Guilin Guangxi 541004，China；2.Satellite Navigation Positioning and Location Service National and Local Joint Engineering Research Center（Guilin University of Electronic Technology），Guilin Guangxi 541004，China）Abstract:Existing cross-modal hashing algorithms underestimate the importance of semantic differences between different class labels and ignore the balance condition of hash vectors，which makes the learned hash codes less discriminative.In addition，some methods utilize the label information to construct similarity matrix and treat multi-label data as single label ones to perform modeling，which causes large semantic loss in multi-label cross-modal retrieval.To preserves accurate similarity relationship between heterogeneous data and the balance property of hash vectors，a novel supervised hashing algorithm，namely Discriminative Matrix Factorization Hashing（DMFH）was proposed.In this method，the Collective Matrix Factorization（CMF）of the kernelized features was used to obtain a shared latent subspace.The proportion of common labels between the data was also utilized to describe the similarity degree of the heterogeneous data.Besides，a balanced matrix was constructed by label balanced information to generate hash vectors with balance property and maximize the inter-class distances among different class labels.By comparing with seven advanced cross-modal hashing retrieval methods on two commonly used multi-label datasets，MIRFlickr and NUS-WIDE，DMFH achieves the best mean Average Precision（mAP）on both I2T（Image to Text）and T2I（Text to Image）tasks，and the mAPs of T2I are better，indicating that DMFH can utilize the multi-label semantic information in text modal more effectively.The validity of the constructed balanced matrix and similarity matrix is also analyzed，verifying that DMFH can maintain semantic information and similarity relations，and is effective in cross-modal hashing retrieval.Key words:cross-modal retrieval;matrix factorization;hash learning;balanced vector;multi-label data文章编号：1001-9081（2023）05-1349-06DOI：10.11772/j.issn.1001-9081.2022030424收稿日期：2022-04-01；修回日期：2022-07-19；录用日期：2022-08-03。基金项目：国家自然科学基金资助项目（62172120，61936002，6202780103，61772149）；广西科技计划项目（2019GXNSFFA245014，AD18216004，AD18281079，AA18118039）；广西图像图形与智能处理重点实验室开发课题（GIIP2001）。作者简介：谭钰（1997），女，广西南宁人，硕士研究生，主要研究方向：跨模态检索、机器学习；王小琴（1994），女，广西桂平人，硕士，主要研究方向：图像检索、机器学习；蓝如师（1986），男，广西河池人，教授，博士，主要研究方向：人工智能、图像处理、医学信息处理；刘振丙（1980），男，山东济宁人，教授，博士，主要研究方向：机器学习、图像分类、图像复原；罗笑南（1963），男，江西南城人，教授，博士，主要研究方向：机器学习、图像分类、图像复原。第 43 卷计算机应用0 引言 随着多媒体数据数量和种类的快速增长，不同类型的检索数据为检索任务带来了新挑战，由此需要更有效的算法解决多样化跨模态检索问题。跨模态检索需要解决异构数据的表示及比较问题，如给定一个图像样本，如何有效且快速地检索出相关的文本、视频等其他模态数据。为获得更好的性能，跨模态检索引入了哈希学习方法1-5以降低存储成本并获得更快的检索速度。通常，跨模态哈希方法可分为两类：有监督方法6-10和无监督方法11-15。无监督方法旨在挖掘数据之间的结构关系；而有监督方法可以充分利用标签信息，在构建相似关系时获取更多的语义关系信息。近些年来，一些现有的跨模态哈希方法16-21认为，可以通过协同矩阵分解将原始特征的语义关系保留在隐式子空间中。此外，部分哈希方法22-27对哈希向量的平衡性进行了研究，并认为哈希向量的平衡性可以最大化信息熵。在现实场景中，多标签的检索样本占总检索样本的绝大部分，却很少有哈希方法关注构建多标签数据下的平衡哈希向量，并且丢弃了大部分的标签信息，导致哈希码的可信度和语义保持性降低。为解决这些问题，本文提出一种简单而有效的哈希方法判别性矩阵分解的多标签跨模态哈希（Discriminative Matrix Factorization Hashing，DMFH）。本文目标是通过矩阵分解获得具有模态特性的公共隐式子空间，并为成对的异构数据生成统一的哈希码。为使生成的哈希码更具判别性，本文进一步构造了一个可以精确度量数据关系的多标签相似矩阵。此外，本文还引入哈达玛矩阵以保持哈希向量的平衡状态。最后，通过量化子空间的数据表示获得目标哈希码。1 相关研究 近些年来，协同矩阵分解（Collective Matrix Factorization，CMF）方法被应用于跨模态哈希检索中。CMF旨在使用两个低秩矩阵的乘积来逼近一个非满秩的高阶矩阵。不同于传统跨模态哈希方法直接将数据投影到汉明空间，CMF方法将数据投影到所分解出来的隐式子空间中。例如，协同矩阵分解哈希（Collective Matrix Factorization Hashing，CMFH）21方法首次将 CMF 方法应用于跨模态检索领域，通过矩阵分解对原始特征进行分解并获得潜在隐式子空间，从而比较异构数据的相似性。Tang等18通过 CMF 得到隐式语义特征，并将原始空间的标签相似性与局部结构相似性保持到子空间中。Li等28将核化特征进行矩阵分解，同时利用标签下的语义嵌入获取更优子空间，并将模态间和模态内的相似性保持于子空间中。Wang等29首次将模态独立矩阵分解与模态联合矩阵分解融合：模态独立矩阵分解侧重于获取不同模态内特有的数据特征；模态联合矩阵分解侧重于获取不同模态间共有的数据特征。在哈希学习中，二值码的质量是提升模型效果的关键。传统哈希方法通过模型最终获得的精度来评价所学哈希码的优劣，而模型的效果受多方面因素影响，由此对哈希码质量的判断并不准确。近些年来有研究人员对哈希码的质量作了进一步研究，Liu等22通过哈希比特的平衡度与相似关系保持能力对哈希码的质量进行评价，认为好的二值码应当拥有平衡的二值占比，并证明了哈希比特的平衡性有助于保持原始数据的相似性关系。由此可知，平衡的哈希码能够携带更多的原始语义信息，有利于哈希学习获得更好的效果。此外，为了生成更具判别性的哈希码，Lin等24将哈达玛矩阵引入哈希学习