http://www.jsjkx.comDOI:10.11896/jsjkx.220100083到稿日期:2022-01-10返修日期:2022-07-05基金项目:深圳市科技计划项目(JSGG20220301090405009)ThisworkwassupportedbytheShenzhenScienceandTechnologyProgram(JSGG20220301090405009).通信作者:殷光强(yingq@uestc.edu.cn)基于Transformer的图文跨模态检索算法杨晓宇李超陈舜尧李浩亮殷光强电子科技大学公共安全技术研究中心成都611731(yangxy@std.uestc.edu.cn)摘要随着互联网多媒体数据的不断增长,文本图像检索已成为研究热点。在图文检索中,通常使用相互注意力机制,通过将图像和文本特征进行交互,来实现较好的图文匹配结果。但是,这种方法不能获取单独的图像特征和文本特征,在大规模检索后期需要对图像文本特征进行交互,消耗了大量的时间,无法做到快速检索匹配。然而基于Transformer的跨模态图像文本特征学习取得了良好的效果,受到了越来越多的关注。文中设计了一种新颖的基于Transformer的文本图像检索网络结构(HAS-Net),该结构主要有以下几点改进:1)设计了一种分层Transformer编码结构,以更好地利用底层的语法信息和高层的语义信息;2)改进了传统的全局特征聚合方式,利用自注意力机制设计了一种新的特征聚合方式;3)通过共享Transformer编码层,使图片特征和文本特征映射到公共的特征编码空间。在MS-COCO数据集和Flickr30k数据集上进行实验,结果表明跨模态检索性能均得到提升,在同类算法中处于领先地位,证明了所设计的网络结构的有效性。关键词:Transformer;跨模态检索;特征分层提取;特征聚合;特征共享中图法分类号TP399Text-ImageCross-modalRetrievalBasedonTransformerYANGXiaoyu,LIChao,CHENShunyao,LIHaoliangandYINGuangqiangCenterforPublicSecurityTechnology,UniversityofElectronicScienceandTechnologyofChina,Chengdu611731,ChinaAbstractWiththegrowthofInternetmultimediadata,textimageretrievalhasbecomearesearchhotspot.Inimageandtextre-trieval,themutualattentionmechanismisusedtoachievebetterimage-textmatchingresultsbyinteractingimageandtextfea-tures.However,thismethodcannotobtainimagefeaturesandtextfeaturesseparately,andrequiresinteractionofimageandtextfeaturesinthelaterstageoflarge-scaleretrieval,whichconsumesalotoftimeandisnotabletoachievefastretrievalandma-tching.However,thecross-modalimagetextfeaturelearningbasedonTransformerhasa...
