第５１卷第５期陕西师范大学学报(自然科学版)Vol．５１No．５２０２３年９月JournalofShaanxiNormalUniversity(NaturalScienceEdition)Sep．,２０２３■人工智能专题(主持人:谢娟英)引用格式:冯皓楠,何智勇,马良荔．基于文本增强的共注意机制的多模态标签推荐[J]．陕西师范大学学报(自然科学版),２０２３,５１(５):６０Ｇ６６．[FENGHN,HEZY,MALL．MultiＧmodallabelrecommendationbasedontextＧenhancedcoＧattentionmechanism[J]．JournalofShaanxiNormalUniversity(NaturalScienceEdition),２０２３,５１(５):６０Ｇ６６．]DOI:１０．１５９８３/j．cnki．jsnu．２０２３０２７收稿日期:２０２２Ｇ０２Ｇ０３基金项目:十三五预研项目(４１４１２０１０８０１)∗通信作者:马良荔,女,教授,博士生导师,主要从事系统结构、系统可靠性等方面研究.EＧmail:maliangl＠１６３．com基于文本增强的共注意机制的多模态标签推荐冯皓楠,何智勇,马良荔∗(海军工程大学电子工程学院,湖北武汉４３００００)摘要:针对新型社交平台用户发布帖子时通常会使用标签来标记帖子的关键词或话题来提高自己在社交媒体中参与度的问题,使用了层级结构,从单词、短语和句子三个层级来提取文本特征.并且提出文本内容的汇总注意机制,将每个层级的语义内容总结为一个特征向量,然后提出一个文本增强的共注意模型,将每个层级的语义分别与图像模态进行语义融合.同时,考虑到不同用户使用标签的偏好习惯等各不相同,引入一个外部存储单元来记录每个用户的历史标签习惯,计算当前待推荐帖子与历史帖子之间的相似度影响向量,建立用户的个性化模块.在真实数据集上的实验结果表明,文中基于多模态帖子内容理解和个性化模块分析模型相比与其他模型,在精确率、召回率和F１分数上都有很大提升;提出的两个关于多模态内容理解的注意力机制和用户的个性化建模都对整体推荐效果有显著的贡献.关键词:文本层级建模;共注意机制;文本注意机制;多模态推荐;个性化推荐中图分类号:TP３９１文献标志码:A文章编号:１６７２Ｇ４２９１(２０２３)０５Ｇ００６０Ｇ０７MultiＧmodallabelrecommendationbasedontextＧenhancedcoＧattentionmechanismFENGHaonan,HEZhiyong,MALiangli∗(SchoolofElectronicEngineering,NavalUniversityofEngineering,Wuhan４３００００,Hubei,China)Abstract:Innewsocialplatforms,usersusuallyusehashtagstomarkthekeywordsortopicsofthepostswhenpostingposts,whichwillincreasethe...
