基于双重注意力机制和时间因子的深度推荐模型_吴定谕.pdf

2023 年第 3 期计算机与数字工程收稿日期：2022年8月12日，修回日期：2022年9月23日基金项目：江苏省重点研发计划（社会发展）项目（编号：BE2016630，BE2017628）资助。作者简介：吴定谕，男，硕士研究生，研究方向：数据挖掘与机器学习。周从华，男，博士，教授，研究方向：大数据技术、人工智能。单田华，男，硕士，讲师，研究方向：大数据分析。刘志锋，男，博士，副教授，研究方向：数据挖掘与机器学习。1引言推荐系统能够缓解由于互联网快速发展所导致的“信息过载”的问题，帮助用户从大量信息中找出用户所需要的信息。传统推荐系统大多依据用户评分来判断用户喜好实现未评分项目预测，比如最为经典的矩阵分解（Matrix Factorization，MF）模型1，将用户和项目特征映射成同一隐空间的隐向量。然而，评分仅能大致表现用户对项目的整体态度，无法对用户喜好的原因进行挖掘，例如用户喜欢某间餐厅是因为美食还是因为服务态度好，可解释性较差。另一方面，评分矩阵一般情况下都十分稀疏，进行评分预测的精度较差。基于以上原因，研究人员将研究重点转移至基于评论文本的推荐模型，相比于评分仅能代表用户的总体态度而言，评论信息能够体现用户喜好的原因，具有较强的可解释性。许多推荐模型应运而生，例如CTR2、HFT3等，这些模型验证了基于评论的推荐模型的有效性。但是这些以往的工作一般都是使用隐狄利克雷分配模型（LDA）4从评论总第 401期2023 年第 3期计算机与数字工程Computer&Digital EngineeringVol.51No.3基于双重注意力机制和时间因子的深度推荐模型吴定谕周从华单田华刘志锋（江苏大学计算机科学与通信工程学院镇江212013）摘要现阶段大多数基于评论文本的推荐模型没有从多个视角充分挖掘用户评论的价值，忽略了评论文本在不同层面的重要度信息。基于此，论文提出一种基于双重注意力机制和时间因子的深度推荐模型DATCoNN。该模型使用并行的卷积神经网络结合两层注意力层分别挖掘单词层面和评论层面的重要度信息，然后使用时间因子进一步拟合用户对项目兴趣度的变化情况，最终采用因子分解机实现评分预测。模型在Amazon的三组不同领域数据集上进行对比实验评估，发现论文提出的推荐模型性能最优，同时该模型具有较好的可解释性。关键词推荐系统；注意力机制；卷积神经网络；时间因子中图分类号TP39DOI：10.3969/j.issn.1672-9722.2023.03.026A Deep Recommendation Model Based on Dual AttentionMechanism and Time FactorWU DingyuZHOU ConghuaSHAN TianhuaLIU Zhifeng（School of Computer Science and Telecommunication Engineering，Jiangsu University，Zhenjiang212013）AbstractAt present，most of the recommendation models based on review text has not fully mined the value of reviews frommultiple perspectives.They ignore that the review contains a lot of information at different levels.Based on these reasons，this paperproposes a deep recommendation model DATCoNN based on dual attention mechanism and time factor.The model uses parallel convolutional neural network combined with two attention layers to mine the importance of review at word level and review level respectively，the time factor is used to fit the change of users interest in items.Finally，the model uses factorization machine to obtain therecommendation results.In this paper，the experimental comparison and analysis is carried out on three groups of datasets in different fields provided by Amazon.The experimental results show that the proposed model obtain the best performance.Moreover，theproposed recommendation model has better interpretability.Key Wordsrecommendation system，attention mechanism，convolution neural network，time factorClass NumberTP39679第 51 卷文本中挖掘各种信息57，这种方式忽略了评论上下文的语义信息。文献 8 认为使用 LDA不能对除词语级别以外的主题分布进行挖掘，提出了TopicMF模型，通过非负矩阵分解得到评论隐藏主题信息，并通过主题分布体现用户商品特性。由于深度学习对文本信息的强大建模能力，研究人员将深度学习技术应用于基于文本的推荐系统的研究。Zheng9等提出DeepCoNN模型将评论文本划分为用户评论集和项目评论集，使用并行的卷积神经网络提取用户和项目的特征，然后通过因子分解机（FM）10耦合两个部分进行建模，对用户评分进行预测，取得了较好的效果。这种使用并行卷积神经网络进行用户和项目建模的思想启发了很多相关研究。Catherine等11针对待预测评分的评论文本的隐表达进行研究，首先对评论进行预测，再基于该预测评论进行评分预测。Wang等12指出卷积神经网络可能会忽略词频带来的影响，提出一种结合主题模型和卷积神经网络的推荐模型，缓解了词频丢失的问题。尽管上述模型解决了各方面的问题，但是都未能充分挖掘评论信息的价值。首先，每条评论由不同的单词组成，每个单词对评论语义的影响程度是不同的。其次，每个用户或者项目拥有的所有评论对用户和项目本身的重要程度也是不一致的，只有挖掘出重要程度更高的评论才能更好地对用户和项目进行特征建模，只是简单地提取单词和评论信息而不对单词和评论进行差异化处理，可能会曲解评论的含义，忽略重要信息。为了解决上述问题，提取隐藏的有效信息，本文提出一种基于双重注意力机制和时间因子的深度推荐模型DATCoNN，使用融入双重注意力机制和时间因子的并行卷积神经网络，从单词级别和评论层面充分挖掘重要度信息，更好地对用户和项目进行特征建模，实现评分预测。提升了推荐的精度，并且具有更好的可解释性。本文进行的主要工作如下：1）本文提出一种融合双重注意力机制的神经网络推荐模型，从单词层面和评论层面以两种不同的视角提取评论文本中的重要信息。模型采用review-level建模方式，相较于 document-level1315建模的推荐系统具有更好的可解释性。2）本文在词级别注意力层使用卷积神经网络分别对用户评论和项目评论进行词级别的信息挖掘，能够更好地融合单词上下文信息挖掘单词重要程度，过滤出对评论重要性更高的单词。3）本文在评论级别注意力层融入时间因子，根据艾宾浩斯提出的记忆曲线遗忘规律，拟合用户对评论序列中信息的记忆程度，能够更好体现评论信息重要度随时间流逝衰减的规律，提升用户和项目特征建模的准确程度。2DeepCoNN推荐模型近年来，许多基于深度学习的文本处理方法被提出，这些方法取得了比传统算法更好的表现，例如fastText，TextCNN等。于是，研究人员将深度学习对文本处理的优势运用于推荐领域，取得了不错的效果。DeepCoNN充分利用了深度学习的优势，该模型对用户的评论文本和项目的评论文本分别使用卷积神经网络进行特征提取，挖掘评论文本的深层特征，大大提升了评分预测的准确率。模型使用并行的卷积神经网络分别对用户评论集和项目评论集进行信息提取。以用户评论集为例，模型使用预训练的词向量作为输入，每一个单词都会通过词向量映射函数f:M Rd映射为一个d维的向量表示，将用户的所有评论词向量合并为一个文档du1:n，总共有n个单词组成，用户u的评论词向量矩阵表示为Vu1:n。Kj评论文本词嵌入层卷积层MaxPooling全连接层图1DeepCoNN模型特征提取部分使用卷积神经网络进行评论特征的提取，卷积核共包含z个神经元，第l个神经元产生的特征如下所示：zul=ReLU()Vu1:n*Kj+bl（1）上式中卷积核为KjRcd，其中c代表卷积核的窗口大小，*表示卷积操作，bl为偏置项，使用ReLU函数作为激活函数。在窗口大小为c的滑动窗口的作用下，第l个神经元的特征为zu1,zu2,zul(nc+1)。通过最大池化吴定谕等：基于双重注意力机制和时间因子的深度推荐模型6802023 年第 3 期计算机与数字工程操作，捕获每个通道最重要的特征，定义如下：fuj=max(zu1,zu2,zul(nc+1)（2）接下来将各通道的计算结果，即z个神经元对应的特征使用拼接得到用户u经过卷积层的结果，记为Fu=fu1,fu2,fu3,fuz（3）将上式结果送入全连接层，其中权重矩阵WeRnk1，偏置项beRk1，用户u在该层的特征提取结果如下式所示：Gu=ReLu(We*Fu+be)（4）通过共享层将用户u的特征矩阵和项目i的特征矩阵进行连接得到单一向量f，最终使用因子分解机FM进行用户u对项目i评分的预测。3一种新的推荐模型DATCoNN虽然基于评论文本的深度学习推荐模型DeepCoNN 评分预测表现突出，但是仍然存在诸多问题。首先，该模型使用了document-level的建模方式对用户和项目进行特征建模。该建模方式以用户或者项目为单位将所有词向量连接成一个矩阵并通过卷积层进行特征提取，这种做法无视了不同评论之间的界限，将不同时刻、场景、情况下产生的评论混为一谈，可解释性较差，同时会在池化操作时丢失大量有效信息。其次，该模型忽略了评论内部与评论之间的重要性差异，评论中的每个单词对评论含义的表达程度是不同的，每条评论对于对应用户或者项目的重要程度是不同的。无法对用户和项目进行充分表达，导致特征建模效果不理想。因此，本文提出一种基于双重注意力和时间因子的深度推荐模型，对上述问题进行改进。3.1模型整体结构本文提出DATCoNN模型整体结构如图2所示。融入时间因子的评论级别注意力机制评分预测层Element-wise productr?u,iXuYik=1pau,kGu,kau,1au,2au,pGu,1Gu,2Gu,pgi1gi2gipCNN特征提取融合上下文信息的词级别注意力层V?u,11:TV?u,21:TV?u,p1:TVu,p1:TVu,21:TVu,11:T用户评论文本词嵌入合并融入时间因子的评论级别注意力机制Yik=1qai,kGi,kai,1ai,2ai,qGi,1Gi,2Gi,qgu1gu2guqCNN特征提取融合上下文信息的词级别注意力层V?i,11:TV?i,21:TV?i,q1:TVi,q1:TVi,21:TVi,11:T项目评论文本词嵌入合并图2DATCoNN模型整体结构首先将用户评论文本和项目评论文本中的单词进行词嵌入表示，并以评论为单位合并词向量，得到评论的