第49卷第2期2023年2月ComputerEngineering计算机工程基于特征融合的无监督跨模态哈希梁天佑，孟敏，武继刚（广东工业大学计算机学院，广州510006）摘要：已有的无监督跨模态哈希（UCMH）方法主要关注构造相似矩阵和约束公共表征空间的结构，忽略了2个重要问题：一是它们为不同模态的数据提取独立的表征用以检索，没有考虑不同模态之间的信息互补；二是预提取特征的结构信息不完全适用于跨模态检索任务，可能会造成一些错误信息的迁移。针对第一个问题，提出一种多模态表征融合结构，通过对不同模态的嵌入特征进行融合，从而有效地综合来自不同模态的信息，提高哈希码的表达能力，同时引入跨模态生成机制，解决检索数据模态缺失的问题；针对第二个问题，提出一种相似矩阵动态调整策略，在训练过程中用学到的模态嵌入自适应地逐步优化相似矩阵，减轻预提取特征对原始数据集的偏见，使其更适应跨模态检索，并有效避免过拟合问题。基于常用数据集Flickr25k和NUS-WIDE进行实验，结果表明，通过该方法构建的模型在Flickr25k数据集上3种哈希位长检索的平均精度均值较DGCPN模型分别提高1.43%、1.82%和1.52%，在NUS-WIDE数据集上分别提高3.72%、3.77%和1.99%，验证了所提方法的有效性。关键词：无监督；跨模态；检索；哈希；深度学习开放科学（资源服务）标志码（OSID）：中文引用格式：梁天佑，孟敏，武继刚.基于特征融合的无监督跨模态哈希［J］.计算机工程，2023，49（2）：90-97.英文引用格式：LIANGTY，MENGM，WUJG.Unsupervisedcross-modalhashingbasedonfeaturefusion［J］.ComputerEngineering，2023，49（2）：90-97.UnsupervisedCross-ModalHashingBasedonFeatureFusionLIANGTianyou，MENGMin，WUJigang（SchoolofComputer，GuangdongUniversityofTechnology，Guangzhou510006，China）【Abstract】MostoftheUnsupervisedCross-ModalHashing（UCMH）methodsfocusontheconstructionofasimilaritymatrixfromthepre-extractedfeaturesandthestructurecontrolofthecommonrepresentationspace.However，twocriticalproblemsneedtobeaddressed.First，thecomplementarityamongdifferentmodalitiesisignoredinmoststudies.Second，thestructuralinformationinthepre-extractedfeaturesispartiallycompatiblewiththecross-modalretrievaltask，whichmaycauseanegativetransfer.Toaddressthefirstproblem，thisstudyproposesamultimodalfusionarchitecture....
