基于多视图对比学习的多行为推荐.pdf

1研究与探讨1网络首发：2 0 2 3-0 4-0 7基于多视图对比学习的多行为推荐魏静，李剑*（北京邮电大学人工智能学院，北京10 0 8 7 6）【摘要】为了有效挖掘用户行为图中的语义信息和结构信息，充分利用节点间复杂的依赖关系，提出了一种基于多视图对比学习的多行为推荐方法（MVCL）。M V C L通过构建元路径视图和结构视图，来分别建模节点间的高阶语义信息和局部结构信息；此外引入自监督技术，提出跨视图对比学习机制，使得两个视图能够相互协作。在真实数据集上与多个基线模型相比，MVCL的归一化折损累计增益最高有2 4.7%的提升。实验结果表明MVCL的效果优于其他模型，能够学习到更有效的节点表示。【关键词】推荐系统；图注意力网络；对比学习；元路径doi:10.3969/j.issn.1006-1010.20221117-0001中图分类号：TP399文献标志码：A文章编号：10 0 6-10 10(2 0 2 4)0 3-0 152-0 5引用格式：魏静,李剑.基于多视图对比学习的多行为推荐.移动通信,2 0 2 4,48(3)：152-156.WEI Jing,LI Jian.Multi-behavior Recommendation Based on Multi-view Contrastive LearningJ.Mobile Communications,2024,48(3):152-156.Multi-behavior Recommendation Based on Multi-view Contrastive Learning(School of Artificial Intelligence,Beijing University of Posts and Telecommunications,Bejing 100876,China)AbstractIn order to effectively extract semantic and structural information from user behavior graphs and fully utilize the complexdependencies between nodes,we propose a multi-behavior recommendation method(MVCL)based on multi-viewcontrastive learning.MVCL constructs a meta-path view and structure view to model high-order semantic informationand local structural information between nodes respectively.In addition,we use self-supervised techniques and proposea cross-view contrastive learning mechanism,which enables the two views to collaborate with each other.Comparedwith multiple baseline models on real-world datasets,MVCL achieves the highest normalized discounted cumulativegain improvement of 24.7%.Experimental results demonstrate that MVCL outperforms other models and can learn moreeffectivenode representations.KeywordsOSID:WEI Jing,LI Jianrecommendation system;graph attention network;contrastive learning;meta-path扫描二维码与作者交流0引言多行为推荐的方法可以协同考虑用多种交互行为中隐藏的信息，这已在实践中得到了广泛的探索和验证2-7 。LightGCNI8)（Li g h t G r a p h Co n v o l u t i o n Ne t w o r k，轻量级图卷积网络）直接为每个行为建模而不考虑行为之间的关联。MBGCN9)（M u l t i-Be h a v i o r G r a p h Co n v o l u t i o n a lNetwork，多行为图卷积网络）在建模时区分不同行为之间的差异来捕获其影响。收稿日期：2 0 2 2-11-17*基金项目：国家自然科学基金（92 0 46 0 0 1）；中央高校基础研究基金（2 0 19XD-A02)*通信作者152移动通信2024年3月第3期尽管现有的推荐方法都已取得了不错的效果，但他们仍存在一些局限性。首先，在图中节点聚合的过程中，图中度数越高的节点影响也会越大，这会导致无法对长尾节点进行有效学习，长尾节点的嵌人表示更容易受噪声影响。其次在训练时引人多种辅助行为数据，这可以为模型提供更多的信息，但现有的基于有监督学习的方法，无法充分利用数据中包含的有效信息。为解决上述问题，本文提出一个新的多行为推荐方法MVCL。具体而言，针对用户多行为交互数据，建立异构图来进行表示，图中包含多种节点类型以及多种边类型。分别建立元路径视图和结构视图两个视图，在视图内部进行节点聚合，之后通过视图间的对比学习来更充分地利用数据中隐含的信息，以学习到更有效的节点表示。第48 卷总第52 3期魏静，李剑：基于多视图对比学习的多行为推荐1相关工作基于序列的推荐10 主要利用用户的序列行为来挖掘用户的兴趣，侧重于用户行为信息。多行为推荐模型使用了辅助行为，引入了更多的信息，有利于建模更准确的推荐模型。NMTRl（Ne u r a l M u l t i-T a s k Re c o mme n d a t i o n,神经多任务推荐模型）使用多行为数据，采用级联构建行为关系，建立多任务模型来学习用户偏好。MATNU2（M e m o r y-A u g m e n t e d T r a n s f o r m e r Ne t w o r k s，记忆增强变压器网络）使用注意力机制和内存单元来区分不同行为之间的影响。MB-GMNU3)（M u l t i-Be h a v i o r G r a p h M e t aNetwork，多行为图元网络）结合元学习和图卷积神经网络，通过执行行为感知的节点聚合以捕获多行为模式，建立多任务模型来学习节点表征。MMCLRl14(Multi-behaviorMulti-view Contrastive Learning Recommendation，多行为多视图对比学习推荐模型）将数据建模为多个视图，并在每对视图间使用对比学习进行协同训练，联合优化多个损失以充分考虑行为之间关联和区别。但上述模型均没有同时考虑高阶语义信息以及自监督学习模块，无法充分使用数据中包含的信息，本文提出的MVCL模型能充分考虑以上问题，并取得优秀的推荐效果。2基础概念2.1异构图HINl15（H e t e r o g e n e o u s In f o r ma t i o n Ne t w o r k，异构信息网络）表示为网络G=(V,E)，其中V是所有实体节点的集合，E是所有关系边的集合。在其上定义节点类型映射函数:VA，和边类型映射函数:ER。对Vv E V,(v)E A,对 Ve E E,(e)E R。当IAlIl 或IRI1时，网络被称为异质信息网络。2.2对比学习传统的监督学习方法严重依赖于可用的标注数据的数量。自监督学习由于无需标签信息，可直接利用数据本身作为监督信息来学习数据样本的特征而受到广泛关注。当前自监督学习模型可以概括为两类：生成式方法和判别式方法。对比学习16 属于判别式方法，即根据指导原则自动构造相似实例和不相似实例，并从这些实例中学习获得一个使得相似的实例在映射空间中距离近，不相似的实例在映射空间中距离远的表示模型。3MVCL模型实现3.1整体架构MVCL的整体模型架构如图1所示。可以看到，最左边是基于用户多行为交互数据建立的多行为图，并基于此图拆分出上下两个子视图：结构视图和元路径视图。在结构视图中按行为分域用GATl17（G r a p h A t t e n t i o n Ne t w o r k，图注意力网络）进行节点表示聚合，再融合多个行为得到该视图的节点表示z；在元路径视图中分别聚合每个路径视图中的节点，再聚合多个元路径的节点表示，得到视图级的节点表示z。自监督学习部分是在两个视图间使用对比学习，计算自监督学习损失LcL，最后融合两个视图的节点表示得到最终的节点嵌入并计算监督学习损失Lo。3.2节点初始化首先，需要将图中的所有节点映射为一个对应的嵌人表示。对于用户和项目节点来说，分别使用one-hot向购买加购收藏点击未交互候选项目GAT自监督学习损失元路径3元路径2元路径1图1MVCL模型结构监督学习损失节点最终表示GAT移动通信2024年3月第3期153点击收藏一加购一购买用户项目第48 卷1研究与探讨1总第52 3期量来描述其ID（I d e n t ifia b le I n fo r m a t io n，身份信息）。使用矩阵乘法来获得节点嵌入：X,=U.ID,XF=I-IDi其中ID和ID分别表示节点ID对应的向量，U和I分别为初始化特征。3.3结构视图编码层在结构视图中，用户与项目间存在多种交互行为，在节点聚合时按照行为类型分域进行聚合。对于节点而言，定义与其存在交互类型t的邻居为N，考虑不同邻居对节点i的贡献也不相同，因此采用GAT来更新节点i的节点表示：h=GAT(h,Ije N)其中h，是与节点i存在交互类型t的节点。对于节点i，得到所有交互行为对应的节点嵌入表示(hj,h,h)后，使用行为级注意力融合，以得到结构视图下节点i的最终表示z：T1-13.4元路径视图编码层在异构图G上给定元路径P，图G中基于元路径P的所有邻居对构建的子图即为一个元路径视图。在节点聚合时基于元路径分层聚合，包括同一元路径内聚合和不同元路径间聚合。给定元路径PE(Pi,P2,PM)，对于节点i而言，可以得到基于元路径的节点表示h，计算同式（2）根据不同的元路径，节点i可以用上述方式聚合得到多个节点表示(h,h，,h），使用注意力机制融合不同元路径的语义信息以获得元路径视图下节点i的最终表示z7，计算同式（3）。3.5视图间对比学习从以上两个视图中得到节点i的表示z和z后，将两个视图的表示映射到同一向量空间中：z/0l=MLPa(2f),z/l=MLPa(2)其中,MLPcc是用ReLU(RectifiedLinear Unit,修正线性单元）作为激活函数的2 层MLP（M u l t i-La y e r Pe r c e p t r o n，多层感知机）。为了计算对比损失，接下来需要定义正负样本。对于一个节点，将其在不同视图中得到的嵌人表示作为正样本对，同一视图中不同节点的嵌人表示作为负样本对，记为 Ni。基于 InfoNCE（No i s e Co n t r a s t i v e Es t i m a t i o n，噪声对比估计）定义对比学习损失【18 ，目的是通过对比正样本对与负样本对来最大化嵌入表示之间的互信息。结构视图中节点i的对比损失计算如下：154移动通信2024年3月第3期exp(sim(e.a)jeN(1)其中sim()表示两个节点间的余弦相似度，t是温度参数。优化这种损失直观地推高语义相似样本的相似度，并在两个样本不相似时推低相似度。类似地，能得到元路径视图中的对比损失LP。总体对比损失为两个视图损失的加权平均值：(6)ieV其中入是平衡两个损失的加权系数。3.6多视图融合(2)经过上述操作，得到了每个节点在不同视图内的嵌入表示，接下来对其进行融合以得到最终的节点表示。具体来说，对于某一节点，使用2 层MLP融合不同视图的节点表示得到最终表示：z,=MLP(z,z2),z,=MLP(z/z2)(3)得到用户和项目的最终表示后，使用经典的成对贝叶斯个性化排名损失来学习参数，这促使用户与关联项目之间的概率高于非关联项目。具体计算如下：Lo=Z-1og(o(z/z,-z/.z,)(u,i.j)eo其中O=(u,i.j)l(u,i)Ot,(u,j）O)是训练数据，O+表示观察到的用户项目间的交互行为，O表示所有未观察到的交互行为。3.7联合优化最终优化的损失如下：Limal=Lc+ALo+llo其中，表示所有可学习的参数（包括模型中权重参数和超参数），几和分别是控制损失和L2正则化比例的超参数。4实验及分析(4)4.1数据集与评估指标为了评估MVCL的有效性，在3个真实数据集上进行了实验淘宝(https:/ t t p s:/w w r m a l i z e d/T)(5)(7)(8)(9)第48 卷总第52 3期魏静，李剑：基于多视图对比学习的多行为推荐Discounted CumulativeGain，归一化折损累计增益）和HRK（H i t s Ra t i o，命中率）。(1)命中率命中率代表在推荐结果中能够命中用户实际偏好的，强调推荐结果的准确性，具体计算如下：HRK=Zhits(i)Ui=其中，U表示用户总数量，hits(i)表示第i个用户的真实交互项是否在推荐列表中，是为1，否则为0。（2）归一化折损累计增益归一化折损累计增益是一个与位置有关的评价指标，它主要用来衡量排序列表的正确性，表示排名靠前的结果重要性越高。如下定义了基于位置的单个推荐列表的评估得分：DCGK=Z_2r0-1台1og,(i+1)其中rel,表示推荐结果中位置i的相关性，K是推荐列表的大小。容易看出，推荐结果相关性越大，DCG（D i s c o u n t e dCumulativeGain，折损累计增益）越大，相关性好的结果排在推荐列表的前面，推荐效果越好，DCG越大。为了横向评估每个推荐列表，需要对推荐列表的评估得分进行归一化。引人一个概念：IDCG（I d e a l D i s c o u n t e dCumulativeGain，理想折损累计增益），指的是推荐系统为某一个用户返回的最佳推荐结果，即假设返回结果按照相关性排序，最相关的结果放在最前面，IDCG的计算如下：台log,(i+1)那么某一用户的推荐列表归一化后的评估得分为：DCGKNDCGK=IDCGK表1数据集统计数据集淘宝用户41738商品11953购买255586加购1.996收藏221514浏览1813 4984.2对比实验为了全面评估性能，将MVCL与来自各个领域的先进基线方法进行比较。按使用的行为数据可以分为单行为模型和多行为模型。单行为模型包括NGCF19)（Ne u r a l G r a p hCollaborative Filtering，神经图协同过滤），LightGCN，SG L 2 0 1（Se l f-s u p e r v i s e G r a p h Le a r n i n g，自监督图学习）；多行为模型包括NMTR，M BG CN,M B-G M N,M A T N,M M CLR。4.3效果比较实验结果如表2 和图2 所示。表2 整体模型效果对比淘宝贝贝HR10NDCG10HR10 NDCG10 HR10(10)NGCF0.271LightGCN0.295SGL0.302NMTR0.325MBGCN0.337MB-GMN0.391MATN0.374MMCLR0.416MVCL0.483(11)提升16.1%0.80.70.60.50.30.20.10(12)0.50.45(13)0.40.35OIOOON0.30.25条0.2贝贝Retailrocket21 7161407.580797723506130457622.457642 622693322.412.5862.664 312RetailrocketNDCG100.1750.5320.1770.5440.1830.5680.1890.5830.1950.5920.2040.6210.2090.6060.2310.6510.2880.71724.7%10.1%13.30%11.2%NGCFLightGCNSGLINMTRMBGCNMB-GMNMATNMMCLR淘宝贝贝数据集(a)0.150.10.050可以观察到，MVCL模型的性能始终优于其他基线方法。与基线模型中表现最好的MMCLR模型相比，MVCL在三个数据集上命中率平均提升0.58 7，归一化累计折损增益平均提升0.0 38。多行为推荐模型性能普遍优于单行为推荐模型，这反映了用户辅助行为数据包含了更丰富的语义信息，有利于更准1550.3140.3180.3230.3290.3660.3750.3880.3980.431Retailrocket淘宝贝贝数据集(b)图2 在不同数据集上的实验结果对比0.2610.2630.2680.3130.3090.3110.3030.3420.385MVCLNGCFLightGCNSGLINMTR.MBGCNMB-GMN.MATNMMCLRRetailrocketMVCL移动通信2024年3月第3期0.1460.1540.1630.2080.1870.1910.1890.2060.23010.4%第48 卷1研究与探讨1总第52 3期确地建模用户偏好，对预测目标行为有着更积极的作用。在所有的多行为推荐模型中，MVCL明显优于其他模型。一方面是因为MVCL在训练节点嵌人时，除了考虑行为之间重要性的区别之外，还融合了元路径视图提取的语义信息，从不同维度学习数据中的有效信息。另一方面是因为MVCL引人了不同类型不同维度的辅助自监督信号，有效缓解了数据中目标行为少，监督信号稀疏的问题。5结束语本文提出了一个新的推荐模型MVCL，主要基于多行为数据进行推荐。一方面使用元路径来学习高阶语义信息，另一方面引入自监督学习来充分使用数据中隐含的信息，对比两个视图的信息进行协同优化，从而充分利用多行为信息。经过充分的实验，验证了MVCL的有效性。MVCL主要基于多行为数据建模用户兴趣，虽然考虑到了用户与商品之间的多种交互行为，但是用户侧和商品侧仍有很多辅助信息没有利用，另外还有一些用户的隐式反馈也包含了用户的兴趣倾向，后续工作可以考虑融合更多的辅助信息，从中抽取相应的特征信息来建模用户的兴趣倾向。参考文献：1 Wei Y,Ma H,Wang Y,et al.Multi-behavior recommendationwith two-level graph attentional networksC/Proceedings of the27th International Conference on Database Systems for AdvancedApplications(DASFAA),2022:248-255.2Xuan H,Liu Y,Li B,et al.Knowledge enhancement forcontrastive multi-behavior recommendationCJ/Proceedings ofthe 16th ACM International Conference on Web Search and DataMining,2023:195-203.3 Wei W,Huang C,Xia L,et al.Contrastive meta learning withbehavior multiplicity for recommendationCj/Proceedings ofthe 15th ACM International Conference on Web Search and DataMining,2022:1120-1128.4Xi D,Chen Z,Yan P,et al.Modeling the sequential dependenceamong audience multi-step conversions with multi-task learningin targeted display advertisingC/Proceedings of the 27th ACMSIGKDD Conference on Knowledge Discovery&Data Mining,2021:3745-3755.5 Chen C,Ma W,Zhang M,et al.Graph heterogeneous multi-relational recommendationC/Proceedings of the AAAIConference on Artificial Intelligence,2021,35(5):3958-3966.6Chen C,Zhang M,Zhang Y,et al.Efficient heterogeneouscollaborative filtering without negative sampling forrecommendationC/Proceedings of the AAAI Conference onArtificial Intelligence,2020,34(01):19-26.7Yang Y,Huang C,Xia L,et al.Multi-behavior hypergraph-enhanced transformer for sequential recommendationC/Proceedings of the 28th ACM SIGKDD Conference onKnowledge Discovery&Data Mining,2022:2263-2274.8He X,Deng K,Wang X,et al.Lightgcn:Simplifying and poweringgraph convolution network for recommendationCj/Proceedingsof the 43rd International ACM SIGIR Conference on Research andDevelopment in Information Retrieval,2020:639-648.9Jin B,Gao C,He X,et al.Multi-behavior recommendation156移动通信2024年3月第3期with graph convolutional networksC/Proceedings of the43rd International ACM SIGIR Conference on Research andDevelopment in Information Retrieval,2020:659-668.10 Zhang S,Yao L,Sun A,et al.Deep learning based recommendersystem:A survey and new perspectivesjj.ACM ComputingSurveys(CSUR),2019,52(1):1-38.1l Gao C,He X,Gan D,et al,Neural multi-task recommendationfrom multi-behavior dataC/2019 IEEE 35th InternationalConference on Data Engineering(ICDE),IEEE,2019:1554-1557.12 Xia L,Huang C,Xu Y,et al.Multiplex behavioral relationlearning for recommendation via memory augmented transformernetworkC/Proceedings of the 43rd International ACM SIGIRConference on Research and Development in InformationRetrieval,2020:2397-2406.13 Xia L,Xu Y,Huang C,et al.Graph meta network for multi-behavior recommendationC/Proceedings of the 44thInternational ACM SIGIR Conference on Research andDevelopment in Information Retrieval,2021:757-766.14Wu Y,Xie R,Zhu Y,et al.Multi-view multi-behavior contrastivelearning in recommendationC/Proceedings of the 27thInternational Conference on Database Systems for AdvancedApplications(DASFAA),2022:166-182.15 Wang Z,Liu H,Du Y,et al.Unified embedding modelover heterogeneous information network for personalizedrecommendationC/Proceedings of the 28th International JointConference on Artificial Intelligence,2019:3813-3819.16 Jaiswal A,Babu A R,Zadeh M Z,et al.A survey on contrastiveself-supervised learning.Technologies,2020,9(1):2.17 Velickovic P,Cucurull G,Casanova A,et al.Graphattention networksJ.International Conference on LearningRepresentations,2017,1050:20.18 Oord A,Li Y,Vinyals O.Representation learning with contrastivepredictive codingJ.Advances in Neural Information ProcessingSystems,2019,01,22.19 Wang X,He X,Wang M,et al.Neural graph collaborativefilteringCJ/Proceedings of the 42nd International ACM SIGIRConference on Research and development in InformationRetrieval,2019:165-174.20 Wu J,Wang X,Feng F,et al.Self-supervised graph learning forrecommendationC/Proceedings of the 44th International ACMSIGIR Conference on Research and Development in InformationRetrieval,2021:726-735.魏静（orcid.org/0000-0002-1142-9481）：北京邮电大学硕士研究生在读，主要研究方向为NLP、推荐、搜索。李剑：教授，博士生导师，任职于北京邮电大学计算机学院智能科学与技术中心。从事人工智能、信息安全、量子密码等方面的研究。在国内外重要期刊发表论文2 0 0 余篇；出版教材10余本，其中包括信息安全概论、信息安全导论等国家级规划教材和北京市精品教材。承担多项国家8 6 3、97 3、自然基金课题。中国互联网协会反恶意软件技术组组长，中国密码学会高级会员。作者简介