基于注意力增强的热点感知新闻推荐模型_丁琪.pdf

第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023基于注意力增强的热点感知新闻推荐模型丁琪1，2，田萱1，2，孙国栋1，2（1.北京林业大学信息学院，北京 100083；2.国家林业草原林业智能信息处理工程技术研究中心，北京 100083）摘要：完全个性化的新闻推荐工作通常只基于用户兴趣，可能会导致推荐结果与点击过的内容过于相似甚至重复.事实上即使一些热点新闻并不完全符合用户兴趣，用户也可能希望点击类似的新闻.目前基于热点的新闻推荐方法不能很好挖掘潜在新闻的热点特征、灵活平衡用户兴趣和热点特征.本文提出一种新颖的注意力增强的热点感知新闻推荐模型（Hotspot-aware Attention enhaNced model，HAN），充分利用注意力网络和自注意力网络等深度神经网络的优势，在个性化推荐中将个性化兴趣与新闻热点性进行更好平衡与利用.该模型包括新闻编码器、热点特征提取器、用户兴趣提取器和点击预测器四个组件.提出一个热点特征提取器，使用注意力网络动态聚合热点新闻学习热点表示以更好挖掘热点特征；提出一个新颖的点击预测器来灵活融合热点特征、用户兴趣和候选新闻，以提升候选新闻的点击预测准确率.真实数据集上的实验表明HAN模型在AUC（Area Under the Curve of ROC）和F1两项指标上分别提升了7.51%和8.63%，且能够有效缓解用户冷启动问题.关键词：新闻推荐；热点感知；自注意力网络；注意力网络；卷积神经网络基金项目：国家重点研发计划（No.2018YFC1603305）中图分类号：TP391.1文献标识码：A文章编号：0372-2112(2023)01-0093-12电子学报URL:http:/DOI:10.12263/DZXB.20210570HAN:Hotspot-Aware Attention Enhanced News RecommendationDING Qi1,2,TIAN Xuan1,2,SUN Guo-dong1,2(1.School of Information Science and Technology,Beijing Forestry University,Beijing 100083,China;2.Engineering Research Center for Forestry-Oriented Intelligent Information Processing of National Forestryand Grassland Administration,Beijing 100083,China)Abstract:Personalized news recommendation is usually based on users interests only,which may cause the recommendation results to be too similar with or even repeat the content that has been clicked.In fact,even if some hot news may not meet the users interests,users may also want to click on similar news.At present,hotspot-based approaches usually can not well mine the potential news hotspot features and flexibly balance the user interest and hotspot features.In this paper,a hotspot-aware attention enhanced model(HAN)for news recommendation is proposed,which makes full use of the advantages of deep neural networks such as attention networks and self-attention networks to better balance and utilize personalized interests and news hotspot in recommendation algorithm.HAN includes four components:news encoder,hotspot feature extractor,user interests extractor and click predictor.In order to effectively mine hotspot features,a hotspot feature extractor is proposed,which uses an attention network to dynamically aggregate hot news and learn hotspot feature representation;in order to improve the accuracy of predicting the click probability of candidate news,a click predictor is proposed to flexibly fuse hotspot features,user interests feature and candidate news representation.Experiments on a real-world dataset show that the area under the curve of ROC(AUC)and F1 increase by 7.51%and 8.63%respectively.At the same time,the model also helps to alleviate the cold-start problem of users.Key words:news recommendation;hotspot-aware;self-attention networks;attention networks;convolutional neural networksFoundation Item(s):National Key R&D Program of China(No.2018YFC1603305)收稿日期：2021-05-06；修回日期：2021-12-21；责任编辑：梅志强电子学报2023 年1引言随着互联网的快速发展，越来越多的人习惯上网获取新闻.然而，每天产生的大量新闻使得用户无法通过浏览所有内容来找到真正感兴趣的新闻.新闻推荐可以帮助用户快速找到感兴趣的新闻，成为有效缓解新闻信息过载的重要方式14.在当前已有的研究工作中，很多工作利用用户的新闻点击历史等行为数据挖掘用户的个人兴趣，仅基于用户兴趣模型进行推荐5，6.然而，这种完全个性化的推荐方式可能会导致推荐结果与点击过的内容过于相似甚至重复.事实上，热点新闻对用户有着重大影响7，8.例如，当发生过诸如马航370失踪或新冠疫情爆发等热点事件时，对于一个平时只喜爱关注体育新闻和 IT（Information Technology）新闻的用户来说，他（她）也可能想要点击类似的热点新闻.也就是说，用户想要点击的新闻不仅与个人的兴趣偏好相关，还可能与某些热点新闻相关.目前也一些新闻网站采取了推荐热点新闻的策略，但他们对所有用户提供相同的推荐，无法应对用户兴趣的差异化.因此，如何将个性化兴趣与新闻热点性在推荐算法中更好地平衡与利用，是一个值得深入研究的问题.有一些工作尝试将热点与个性化推荐相结合911.例如，文献 9 采用了词的流行度、出现度（关键词的出现频率）和关键词之间的共现度来识别流行文章，并通过手工设置权重的方式将文章的流行程度和用户的兴趣得分相加，得到推荐得分.文献 10 提出了一种混合方法，将新闻流行度和用户配置文件结合起来推荐个性化的流行新闻，用余弦相似度来计算一条新闻与流行度或个人兴趣的匹配程度.然而，这些工作通常采用传统的机器学习方法，使用手工设计的权重来平衡用户的兴趣和热点特征.事实上，手工设计的特征通常不是最优的，往往无法深度挖掘新闻的语义信息，无法提取潜在热点特征，也无法灵活平衡用户兴趣和热点特征.近年来，深度学习技术发展迅速12，13，基于深度学习的方法已经成为新闻推荐的主流方法5，1417.它们使用深层神经网络来提取新闻的深层语义特征，并通过用户点击历史学习用户兴趣的精确表示，有效提高了新闻特征和用户兴趣特征的表达能力.然而，目前还没有利用深度学习来提取热点特征、平衡用户兴趣和热点特征的工作.此外，对于点击历史很少的用户，基于兴趣的推荐模型往往无法产生有效的推荐结果18，19.基于以上原因，本文提出一种基于注意力增强的热点感知新闻推荐模型（Hotspot-Aware Attention Enhanced News Recommendation Model，HAN）.HAN 使用深度学习技术提取热点特征及用户兴趣特征，并能够将这两种因素灵活地平衡以用于新闻推荐.HAN包括新闻编码器、热点特征提取器、用户兴趣提取器和点击预测器四个组件，其中，设计了带有自注意力网络的新闻编码器，提取不连续的文本特征，弥补卷积神经网络（Convolutional Neural Networks，CNN）能提取局部连续特征的限制；提出带有注意力网络的热点特征提取器，动态聚合热点新闻来学习热点表示；用户兴趣提取器源于 DKN（Deep Knowledge-aware Network for news recommendation）模型20，其使用注意力网络获得用户兴趣表示；提出一个新颖的点击预测器，在其中尝试了3种不同的融合方法用于融合平衡热点特征与用户兴趣，并预测候选新闻的点击概率.2相关工作2.1基于深度学习的新闻推荐近年来，深度学习技术的不断创新推动了新闻推荐领域的蓬勃发展.文献 14 提出使用降噪自编码器（Denoising Auto-Encoder，DAE）从新闻正文中学习新闻表示，并使用门控循环单元（Gated Recurrent Unit，GRU）网络从用户的新闻点击历史中学习用户的兴趣表示.文献 20 设计了一种知识感知的卷积神经网络将单词、实体、实体的上下文作为CNN的多个通道输入从新闻标题中学习新闻表示，并使用注意力机制（Attention Mechanism，AM）有权重地聚合用户的点击新闻表示向量来学习用户兴趣表示.文献 5 提出一种个性化的词级和新闻级的注意力网络分别学习新闻表示和用户兴趣表示，在学习新闻表示时，利用CNN处理新闻标题单词序列，通过捕获新闻标题中单词的局部上下文学习单词的语义表示；再基于用户ID（Identification）设计出个性化的AM来为不同用户区分不同的重要单词；在学习用户表示时，同样基于用户ID设计出个性化的AM来为不同用户区分不同的重要新闻.文献 21使用了门控循环网络（Gated Recurrent Unit，GRU）分别从用户点击历史和用户的ID嵌入向量中学习长期兴趣表示和短期兴趣表示，并探索了2种方法对用户的长期兴趣表示和短期兴趣表示进行融合，以获得最终的用户表示.文献 16 应用了多头自注意力机制（Multi-Head Self-Attention，MHSA）来学习新闻表示，从新闻标题中建模单词之间的交互来学习单词的上下文表示，并使用AM选择重要的词语来学习更具有信息量的新闻表示；同时使用MHSA捕捉新闻之间的长距离依赖关系学习用户兴趣表示，以增强用户兴趣特征表