基于用户行为序列的短视频用户多行为点击预测模型_顾亦然.pdf

基于用户行为序列的短视频用户多行为点击预测模型顾亦然*王雨杨海根(南京邮电大学自动化学院、人工智能学院南京210023)(南京邮电大学智慧校园研究中心南京210023)(南京邮电大学宽带无线通信技术教育部工程研究中心南京210003)摘要：目前主流的点击预测模型采用线性模型和深度神经网络相结合的方法学习用户与物品之间特征交互，忽略了用户的历史行为本质上是一个动态序列的事实，从而导致无法有效捕获用户行为序列中蕴含的时间信息。为此，该文提出了基于用户行为序列的短视频用户多行为点击预测模型(USCP)。该模型将用户的历史行为按交互时间的顺序排序，生成用户历史行为序列。在DeepFM模型的基础上引入词嵌入模型Word2Vec，根据用户历史行为序列自适应学习到该用户的动态兴趣，有效捕获到用户兴趣的变化。在某短视频平台上公开的脱敏数据集上进行了对比实验，评价指标采用GAUC(GroupAUC)，结果表明该模型性能优于其他几个模型。关键词：行为序列；深度学习；DeepFM；点击预测；Word2Vec中图分类号：TN911.73;TP181文献标识码：A文章编号：1009-5896(2023)02-0672-08DOI:10.11999/JEIT211458Multi-action Click Prediction Model for Short Video UsersBased On Users Behavior SequenceGUYiranWANGYuYANGHaigen(College of Automation&College of Artificial Intelligence,Nanjing University of Posts andTelecommunications,Nanjing 210023,China)(Center of Smart Campus Research,Nanjing University of Posts and Telecommunications,Nanjing 210023,China)(Center of Wider and Wireless Communication Technology,Ministry of Education,Nanjing 210003,China)Abstract:Atpresent,themainstreamclickpredictionmodelusesthecombinationoflinearmodelanddeepneuralnetworktolearnthecharacteristicinteractionbetweenusersanditems,ignoringthefactthattheusershistoricalbehaviorisessentiallyadynamicsequence,resultingintheinabilitytocaptureeffectivelythetimeinformationcontainedintheusersbehaviorsequence.Therefore,ashortvideoUSermultibehaviorClickPredictionmodel(USCP)basedonuserbehaviorsequenceisproposedinthispaper.Themodelsortstheusershistoricalbehaviorintheorderofinteractiontime,andgeneratestheusershistoricalbehaviorsequence.BasedontheDeepFMmodel,thewordembeddingmodelword2vecisintroducedtolearnadaptivelytheusersdynamicinterestaccordingtotheusershistoricalbehaviorsequenceandcaptureeffectivelythechangesofuserinterest.Acomparativeexperimentiscarriedoutonthedesensitizationdatasetpublishedonashortvideoplatform.TheevaluationindexadoptsGAUC(GroupAUC).Theresultsshowthattheperformanceofthismodelisbetterthanothermodels.Key words:Behaviorsequence;Deeplearning;DeepFM;Clickprediction;Word2Vec收稿日期：2021-12-08；改回日期：2022-06-07；网络出版：2022-06-13*通信作者：顾亦然基金项目：科技部重点研发计划(SQ2021YFB3300069)FoundationItem:TheKeyR&DProgramofMinistryofScienceandTechnology,China(SQ2021YFB3300069)第45卷第2期电子与信息学报Vol.45No.22023年2月JournalofElectronics&InformationTechnologyFeb.20231 引言根据中国互联网络信息中心(ChinainternetNetworkInformationCenter,CNNIC)发布的第47次中国互联网络发展状况统计报告，中国短视频用户规模达8.73亿人，人均单日刷视频时长达125min，可见短视频受到了越来越多的人的喜欢。随着短视频的发展，短视频的数量越来越多，大量冗余的短视频信息远超用户的个人需求，导致了信息过载问题。为了解决信息过载的问题，推荐系统应运而生，点击率(ClickThroughRate,CTR)预测就是推荐系统的一个关键性问题1。CTR预测任务主要用于预测用户点击推荐物品的概率，目前主要的研究方法分为基于机器学习模型的方案24和基于深度学习的方案59。在传统的机器学习模型中，最早用于解决点击率预测问题的是文献2提出的逻辑回归模型。为了学习到特征间的非线性关系，文献3则提出了混合逻辑回归模型(MixedLogisticRegression,MLR)，它是对逻辑回归模型的改进，进一步提升了模型的精度。然而这类模型存在稀疏特征带来维度灾难的问题。为了解决现实场景中存在的数据稀疏性的问题，Rendle等人4提出了因子分解机模型(FactorizationMa-chine,FM)，该模型使用分解参数对所有特征变量交互进行建模，将2阶的组合特征的权重分解为两个隐含向量的点积，有效缓解了数据稀疏性的困扰。随着深度学习在计算机视觉、自然语言处理等领域取得巨大成功，越来越多的学者利用深度学习算法进行CTR预测。Cheng等人5提出了一种将线性模型和深度学习模型融合的模型Wide&Deep(Wide&DeepLearningforRecommenderSys-tems)，不仅考虑了低阶特征携带的信息，而且考虑了高阶特征的交互信息，然而Wide部分依赖人工交叉特征。Guo等人6在Wide&Deep模型的基础上，将线性模型换成FM模型，提出了DeepFM(DeepFM:AFactorization-MachinebasedNeuralNetworkforCTRPrediction)模型，该模型解决了Wide&Deep模型需要手动交叉特征的缺点，可以自动学习到低阶和高阶特征的交互，但是该模型忽略了用户的行为本质上是一个动态序列的事实。文献7提出的循环神经网络(RecurrentNeuralNet-work,RNN)及其文献8提出的变种长短期记忆网络(LongShort-TermMemory,LSTM)和文献9提出的门控循环单元(GatedRecurrentUnit,GRU)被广泛用于用户行为序列建模，捕获用户行为序列间的依赖关系。然而该类方法受限于循环结构，缺失低阶特征交互信息。本文提出了一种基于用户行为序列的短视频用户点击行为预测模型。用户的行为序列蕴含了用户的行为习惯、不同行为之间的顺序依赖关系以及用户兴趣偏好随时间推移而发生变化的内在模式等重要信息10，因此本文对用户的历史行为进行分析，将用户的历史点击行为按照点击时间先后顺序进行排序，得到用户的历史行为序列，将用户的历史行为序列作为文本输入，利用词向量模型Word2Vec1113进行特征提取，提取出一系列序列特征信息用来表征用户的动态兴趣偏好，通过FM模型和深度神经网络(DeepNeuralNetworks,DNN)模型分别学习到低阶和高阶特征交互信息，最终完成用户对短视频进行点击行为的预测。在一个真实的短视频平台数据集上的实验结果表明，本文提出的用户行为预测模型优于其他几个深度学习模型。本文的主要工作总结如下：(1)提出一种用于预测短视频用户对不同视频内容的发生点击行为的概率的模型，包含预测用户对视频的点赞、查看视频评论、点击头像及转发视频的概率。(2)根据用户历史行为发生的时间先后顺序构建用户历史行为序列，利用词向量模型Word2Vec提取出一系列的序列特征用来表征用户的偏好；将融合视频文本、声音和图像的多模态特征向量通过主成分分析模型(PrincipalComponentAnalysis,PCA)进行数据降维处理得到低维稠密的视频特征。(3)在一个真实的短视频平台进行实验，本文设计的模型性能相较于其他深度学习模型的性能都有着不同程度的提升。2 基于用户行为序列的用户多行为点击预测模型2.1 问题定义(x,y)xyy 0,1 yyx yi=F(x)i假设有n个用户与视频的交互实例记作，包含与用户产生交互的视频特征，表示用户与视频已产生的交互行为，包括查看视频评论、点赞、点击头像及转发行为，(=1表明用户与视频产生该交互行为，否则=0)。可能包含与用户产生交互的视频ID、作者ID及视频时长等基础特征，也可能包含用户观看视频总和、停留视频时长平均值等交互特征及用户序列特征。短视频用户点击行为预测的任务就是建立一个预测模型=read_comment,like,click,forward来预测用户对推送的视频产生点击行为的概率，其中read_comment,like,click,forward分别表示用户查看视频评论、点赞、点击头像和转发行为。第2期顾亦然等：基于用户行为序列的短视频用户多行为点击预测模型6732.2 模型整体结构用户序列特征就是根据用户的历史交互行为产生的，因此对用户序列特征的表示就是对用户的偏好进行了表征。为了提取出用户对视频的偏好，本文提出一种基于用户行为序列的短视频用户多行为点击预测模型(USermultibehaviorClickPredic-tionmodel,USCP)，模型结构自下而上主要由输入层、因子分解机层、深度神经网络层和输出层4部分组成。模型结构如图1所示。2.2.1 输入层输入层主要由ID特征、用户历史行为特征、视频特征及融合视频文本、图像、声音等信息的多模态特征4部分组成。其中ID类特征包括用户ID、视频ID、视频作者ID、背景音乐歌手ID和背景音乐ID等5个ID类特征；用户历史行为特征包括用户播放视频时长、停留视频时长和用户点赞、转发、查看评论、点击头像等4种历史行为；视频特征包括视频时长、视频关键字、视频标签等特征；视频多模态特征包含视频图像、声音、文本的多模态特征信息。首先将ID类特征和视频特征进行合并后组成基础特征；为了进一步挖掘出用户对视频不同特征如视频作者、视频背景音乐、视频标签等的偏好，本文对N天内用户对视频的不同特征之间的交互进行交叉统计，得到交互特征。最后将经过处理后的特征送至因子分解机层和深度神经网络层来分别学习低阶和高阶特征交互。2.2.2 因子分解机层xixj为了捕获基础特征和交互特征间1阶和2阶的特征交互信息，本文利用因子分解机FM模型进