基于增强注意力机制的三通道神经协同过滤改进算法.pdf

年第卷第期 传感器与微系统（）：（）基于增强注意力机制的三通道神经协同过滤改进算法成凌飞，杨向峰，陈天源，刘安康（河南理工大学物理与电子信息学院，河南焦作）摘要：在神经协同过滤（）的基础上，提出了模型，在原有的广义矩阵分解（）、多层感知机（）双特征通道基础上，增加辅助信息处理（）通道，结合用户和项目的辅助信息，增强算法学习特征向量不同维度的高阶交互关系。同时，融入注意力机制为网络模型合理分配权重，减少信息的损失，提升推荐性能。最后，在个真实数据集和上进行实验，结果表明：该模型对比其他常用算法在命中率（）和归一化折扣损益（）都有所提升。关键词：注意力机制；推荐系统；多层感知机中图分类号：文献标识码：文章编号：（），（，）：（），（）（）（），（）（）：；引言随着互联网高速发展和其用户的激增，信息过载（）是当下信息系统面临的严重问题，推荐算法是解决信息过载的典型手段。目前，推荐算法主要有基于传统的协同过滤算法、基于深度学习的推荐和混合推荐系统。协同过滤算法大致可以分为种：基于用户的协同过滤，基于内容的协同过滤和基于矩阵分解的协同过滤。前种是通过计算用户与用户、内容与内容的相似度进行推荐的，核心点在于相似度计算。但在数据稀疏的情况下相似度计算效果并不好，从而引出了基于模型的协同过滤，改善了数据稀疏情况下的推荐效果。基于矩阵分解的思想，等人提出了神经协同过滤（，），（）等模型，将深度学习与协同过滤接合，深度感知机捕获到用户、项目的高阶信息，使得模型表征能力更强。但由于只捕获了用户特征和项目特征，忽略了用户与项目的其他辅助特征信息。本文在的双特征通道的基础上增加辅助信息处理（，）通道，捕获辅助特征；同时加入注意力机制，自动调整三通道的特征参数，进一步提升了模型的特征提取能力与推荐效果。相关工作协同过滤年，协同过滤概念被等人首次提出。年，明尼苏达大学的等人研究出了第一个推荐系统，首次将协同过滤应用到推荐系统。经收稿日期：基金项目：河南省科技厅科技攻关项目（）传 感 器 与 微 系 统第卷过十几年的发展，推荐系统的研究与应用越来越多，特别是近几年，推荐系统的身影随处可见，如、今日头条、抖音、淘宝等软件中更是将推荐系统融入以提供个性化服务。尽管各种推荐算法层出不穷，但协同过滤由于其解释性强、易于理解等优点，仍然是应用最广泛的算法，并且持续获得业界众多学者的研究。近年来，业界更是掀起了将深度学习运用到协同过滤的狂潮。等人提出将协同过滤和深度学习融合的推荐算法，并验证其性能优于之前流行的基于矩阵分解的算法模型。李同欢等人将矩阵分解和多层感知机（，）模型结合，在神经网络学习用户与项目的特征时，对每一层进行一次用户与项目的交互操作，进一步提高了推荐系统的性能。然而，这些研究大多数都是讲深度学习作为一种特征提取的辅助手段，为了更深入将深度学习应用到推荐系统中，等人提出了基于神经网络的协同过滤算法，进一步提高了推荐系统的性能。注意力机制注意力机制假设人们在需要的时间和地点下能够选择性地关注某一部分而不需要关注所有整个信号数据。框架使用软注意力，在归一化为的前提下，为一组特征分配注意力权重，较高的权重表示对应信息有更多的信息量。近年来为推荐系统引入注意力机制引起了众多学者的研究。等人提出的模型使用双重注意力来提取用户评论潜在的特征以此提高最终评分的性能。等人提出了基于注意力的多任务模型从而提高推荐效果的解释性。等人提出使用注意力机制提高基于自编码器的系统过滤的性能。框架由广义矩阵分解（，），三通道特征组成，由于，三个特征对结果的影响权重并不相同，所以不能简单地把它们进行融合，这里通过加入注意力层自动调整特征权重解决各个模型的影响大小，通过层输出预测值。模型传统的利用矩阵分解思想，将评分矩阵分解为个低纬矩阵和，表示了用户特征矩阵和项目特征矩阵，其乘积为评分矩阵（）求评分矩阵就转换成了求用户隐向量矩阵和项目隐向量矩阵。模型通过“元素积（）”的方式进行互操作（）（）式中 为用户特征隐向量，为项目特征隐向量。为链接权重，为输出层的激活函数。这种元素积的方式使得特征交叉比原始交叉更充分，得到更多有价值的特征组合信息。层引入了非线性特征，将表征用户的隐向量和表征项目的隐向量交互扩展到了非线性空间，有利于从数据中学习到非常复杂的非线性特征。模型不是简单使用向量乘积表征项目与用户的特征，而是将向量送入学习高级交互关系。好处就是利用深度神经网络（，）强大的学习能力表征更深层次的特征关系。表达式（）（）式中 为的预测结果，为连接权重，为偏置量，为激活函数。为防止梯度消失，激活函数选择函数。模型模型使用隐式反馈数据建立特征模型，然而隐式数据有个很严重的问题，数据有比较大的噪声。和只靠用户和物品矩阵交互建模，由于噪声的存在会导致比较大的偏差。本文模型在原来的模型基础上加入了用户和项目辅助信息。加入这个模型可以从辅助信息挖掘更多深层次的特征，减小噪声数据的影响。除此之外用户和项目辅助信息往往更具有可靠性，利用这些信息可以使得推荐有更好的影响。例如用户的个人信息反映的不同年龄、性别、职业，不同年龄偏好可能完全不同。这也符合现实世界的逻辑。对项目信息也可以同样考虑，项目的辅助信息也可以反映项目的特征。为了从这些辅助信息中挖掘信息，增加模型。为了将用户辅助信息和项目辅助信息转换为向量，采用了自编码器模型。顾名思义自编码器可以将输入数据进行“自编码”，使得数据转为向量形式的表达。自编码器广泛地应用于使用深度学习做推荐系统中。因此，本文增加了使用自编码模型的模型。首先使用自编码器重构用户项目的评分向量，从中获得用户和项目的隐向量，通过自编码后获得用户预测评分和项目预测评分（）（）式中为预测评分向量，为评分向量，和为激活函数，同样为了避免在梯度消失使用函数作为激活函数。同时把自编码得到的用户评分隐向量、项目评分隐向量和辅助信息特征向量结合，输入到中，函数表达式为（）（）第期成凌飞，等：基于增强注意力机制的三通道神经协同过滤改进算法式中 为模型输出，分别为用户隐向量、项目隐向量、用户辅助信息特征向量、项目辅助信息特征向量。注意力多通道融合框架中，学习到了用户与项目的低阶交互关系，学习到了用户和项目的高阶交互关系，通过辅助信息挖掘用户与项目潜在兴趣，三通道模型挖掘到了更多特征，它们的融合至关重要，影响到了最终预测结果。考虑到不同模型对结果的影响程度是不一样的，不能一视同仁的对待所有交叉特征，这将导致消除了大量有价值的信息。于是本文提出通过引入注意力机制，使得自动调整权重区分不同特征的影响程度，同时由于自动调整权重，使得模型收敛更快，减少了训练时间。这里本文借鉴了 等人提出的模型中的局部推理部分来实现对特征数据的融合，在斯坦福大学自然语言推理数据集上达到了 的准确率。利用式（）将学习到的三通道模型进行增强融合，再通过激活函数得到最后预测值，（）（）（）式中为指元素间相乘；，分别为，的输出向量；，分别为组件的权重，其在训练过程中会不断更新。为指使用求平均的方式提取特征。此外，将，两两进行了组合尝试，输出，如式（）（）所示（）（）（）然而，结果并没有因为再次引入而提升，说明不能对特征进行持续多次的融合，避免过拟合丢失特征。模型最终目标就是让模型学习到更多数据特征并给出一个预测值，为了使得预测值和和标签数据损失最小，得到更好的推荐结果，这里选择了逐点对数损失（）下的二值交叉熵损失函数学习模型参数，公式如式（）所示。激活函数使用函数，将预测值映射到（，）范围（）（，）（）（）（）（）式中 为负样本集合；为训练样本集合中的?，?权重，用以衡量样本数量。实验数据集为了尽可能测试模型的性能，验证在稀疏数据和稠密数据上模型的性能，使用了两种不同领域的真实数据集进行实验：和。是被广泛应用于推荐效果的电影数据集，包含多个用户，多个项目。对数据集进行预处理，保留了至少有次交互的用户和物品，把交互次数小于的视为没有交互。数据集用户与项目的交互比较少，保留用户与数据集交互次数至少次的数据。稀疏性（）为，为，两种数据集的稀疏性差别较大，可以较好地验证模型在稀疏数据与稠密数据的性能。数据集如表所示。表实验数据集数据集用户项目稀疏度 评价指标评价指标这里采用推荐系统常见的命中率（，）和归一化折损累积增益（，），这个指标广泛存在于推荐模型中。能较好地反映出推荐结果的召回率，召回率就是推荐的前个项目有多少是用户的实际偏好，该值越大则推荐越好。公式（）（）式中 为推荐的前个项目用户实际喜欢的数目，本文将指定为。指标将排序因素考虑进去，可以用作排序的评价指标，可以预测序列的准确度，该指标值越大越好 （）（）式中 为归一化系数，表示最好情况下（）的倒数，为在第个位置时的等级关联性，其规则表达，0（）式中 为第个位置的项目，为测试数据集。模型中的参数使用高斯随机分布，设其分布符合均值为，标准差为。物品嵌入维度从，依次取值。注意力网络的隐含层维度和物品嵌入维度一样，设定为，的值在数据集上设为，在设为，边际距离的值设置为。将模型与下列模型进行对比：为一种传统的协同过滤方法，根据项目相似度进行推荐的算法。为一种使用（）来优化的模型，以使得该模型可以从隐式反馈的数据传 感 器 与 微 系 统第卷中学习，在基于隐式反馈数据的协同过滤推荐中，是一个常用的基准方法。为一种使用与的结合挖掘用户与项目的网络模型。实验结果分析为了验证模型的推荐性能，分别在和进行实验，以，三个基线作为比对目标，以，作为评价指标，实验结果如图所示。ATNETItemKNNNCFMF-BPR0.300.350.400.450.50迭代次数HR1090705030100.550.600.650.700.750.80(a)?MovieLens-1m 上的实验结果ATNETNCFMF-BPRItemKNNATNETNCFMF-BPRItemKNNATNETNCFMF-BPRItemKNN90705030109070503010(b)?Pinterest-20 上的实验结果0.700.750.800.850.900.951.000.400.450.500.550.60907050301010080604020DNCG10迭代次数10080604020迭代次数10080604020迭代次数10080604020HR10DNCG10图模型性能实验结果 为了提高实践利用率，每次实验都迭代了次。从图中可以看到，随着迭代次数的增加，推荐性能也在升高，而且在迭代第次左右时基本稳定，和迭代次效果差不多。这也验证了网络在训练初期即达到了最优值，收敛快。此外，在和数据集上的实验效果也基本类似，说明有比较好的稳定性。从实验中可以看出，在种数据集上和指标均取得了比较明显的提高。迭代次时，在上为，比提高了，比提高了 ；指标为，比提高了 ，比提高了 。在数据集上，的性能比提高了，比提高了 ；指标比提高了 ，比提高了。在指标提升比较少，分析可能是因为数据稀疏的原因导致欠拟合。结束语本文将注意力机制和深度学习结合，提出了一种新的框架，在原来模型基础上添加了通道，捕获到更深层次的特征，同时加入注意力机制控制权重，使得推荐性能得到较大的提升。通过多组实验，在和数据集进行验证，模型在命中率和排序性提升明显，相对于和，在数据集上，指标分别提高 和 。参考文献：欧高亮，汪海涛，姜瑛，等基于深度学习的混合推荐算法传感器与微系统，（）：，（）：黄立威，江碧涛，吕守业，等基于深度学习的推荐系统研究综述计算机学报，（）：刘纵横，汪海涛，姜瑛，等基于自注意力机制与知识图谱的序列推荐算法传感器与微系统，（）：，（）：，：，：，：，：，：，：李同欢，唐雁，刘冰基于深度学习的多交互混合推荐模型计算机工程与应用，（）：，：，：，：，李诺，郭斌，刘琰，等神经协同过滤智能商业选址方法浙江大学学报（工学版），（）：（下转第页）第期陈璐，等：不同温度下基于的锂电池估计与预测 ，（）：庞景月，马云彤，刘大同，等锂离子电池剩余寿命间接预测方法中国科技论文，（）：，：陈毅，黄妙华，王树坤基于数据驱动的锂电池剩余容量估计自动化与仪表，（）：，（