基于全连接张量网络的多模态与多样性推荐算法①孟诗蓓1,郑睿2,常亮1,陈玉珑3,孟睿伟4,程诺41(北京师范大学人工智能学院,北京100875)2(北京师范大学数学科学学院,北京100875)3(上海交通大学,上海200240)4(中国国家博物馆,北京100006)通信作者:常亮,E-mail:changliang@bnu.edu.cn摘要:在全媒体时代下,基于多模态数据的推荐具有重要意义.本文使用文本、音频、图像3种模态数据进行推荐,通过两个阶段进行张量融合:第1阶段通过3个平行分支对任意两个模式的相关性进行建模和融合,第2阶段再将3个分支的结果进行融合,不仅考虑了两模态之间的局部交互作用,并且消除了模态融合顺序对结果的影响;在推荐模块中,将融合特征通过堆叠降噪自编码器作为协同过滤的辅助特征进行推荐.本文所构建的推荐系统中模态融合与推荐采用端到端的训练过程.同时,为了解决推荐结果中存在的相似度高、多样性差的问题,我们基于二阶段的张量模态融合特征构建相似度矩阵,在已有推荐结果的基础上进一步精化结果,实现快速的多样性推荐.实验证明,基于本文提出的多模态融合特征的推荐模型不仅能够有效地提升推荐性能,并且能够增强推荐结果的多样性.关键词:张量网络;多模态融合;多样性推荐;堆叠降噪自编码器;协同过滤;推荐算法引用格式:孟诗蓓,郑睿,常亮,陈玉珑,孟睿伟,程诺.基于全连接张量网络的多模态与多样性推荐算法.计算机系统应用,2023,32(2):63–74.http://www.c-s-a.org.cn/1003-3254/8940.htmlMultimodalandDiverseRecommendationAlgorithmBasedonFully-connectedTensorNetworksMENGShi-Bei1,ZHENGRui2,CHANGLiang1,CHENYu-Long3,MENGRui-Wei4,CHENGNuo41(SchoolofArtificialIntelligence,BeijingNormalUniversity,Beijing100875,China)2(SchoolofMathematicalSciences,BeijingNormalUniversity,Beijing100875,China)3(ShanghaiJiaoTongUniversity,Shanghai200240,China)4(NationalMuseumofChina,Beijing100006,China)Abstract:Intheall-mediaera,recommendationbasedonmultimodaldataisofgreatsignificance.Thisstudyproposesrecommendationbasedondatainthreemodalities:text,audio,andimage.Tensorfusionisimplementedintwostages:Thecorrelationbetweenanytwomodesismodeledandfusedbythreeparallelbranchesintheformerstage,andtheresultsofthethreebranchesarethenfusedinthelatterstage.Thisapproachnotonlyconsidersthelocalinteractionbetweentwomodalitiesbutalsoeliminat...
