基于相对词距权重的方面情感分类模型.pdf

2023 年第 7 期104计算机应用信息技术与信息化基于相对词距权重的方面情感分类模型徐 明1 仇丽青1 张 晶2XU Ming Qiu Liqing Zhang Jing 摘要 针对方面情感分类模型易受与目标方面无关的描述性词汇干扰的问题，本文提出了相对词距权重算法(relative word distance weight，RWDW)。首先，RWDW 将每个词语与方面词之间的相对距离转化为注意力权重，然后刻画每个词汇对于方面词的关键程度，使模型优先关注靠近方面词的上下文信息；最后，本研究将表征词间距离的权重关系作为先验知识，成功地将其融入了 Aspect-LSTM 和 IAN 模型之中，设计了两种基于相对词距权重的方面情感分类模型：RWDW-LSTM 和 RWDW-IAN。实验结果表明，使用 RWDW 算法优化后的 RWDW-LSTM 和 RWDW-IAN 模型在准确率和鲁棒性方面均实现了显著提升。关键词 情感分析；先验注意力机制；词相对距离；深度学习 doi：10.3969/j.issn.1672-9528.2023.07.0261.山东科技大学 山东青岛 2665902.青岛尤尼科信息科技有限公司 山东青岛 266000基金项目 山东省社会科学规划数字山东研究专项（项目号：21CSDJ48）0 引言情感分析的主要任务是提取分析和归纳人们生活中带有情感色彩的主观文本。根据处理的文本粗细度，情感分析可以分为文本级、句子级和方面级三个层次1。其中，文本级和句子级的文本或句子中通常只包含一种情感，情感分析相对粗粒度。传统的情感分析通常只分析个人观点，即个人对某个人或事的看法是积极、中立还是消极的。新型社交媒体的出现使得人们可以把互联网当做发表观点和交流意见的大数据平台，当下的情感分析任务正是分析这种大规模的线上非要对语言表达过程中的语法规则、方面抽取以及情感捕捉等问题进行更深入的研究，因此方面级情感分析是一项更具挑战性的任务。作为情感分析领域中重要的研究方向之一2，方面情感分析旨在识别特定文本的特定方面的情感极性。例如，在“这个餐厅的食物味道很好但价格太贵了”这句话中，在同一个句子中出现了两个方面：“味道”和“价格”，同时也有两个不同方面极性：正面和负面。传统的解决方案是结合情感词典的自定义规则方法3-4，但这种方法泛化性较弱，严重依赖领域专家。近年来，随着深度学习技术的发展，基于神经网络的方面级情感分析研究取得了重大进展5。Dong 等人6提出一种基于依存树的自适应递归神经网络，针对给定的情感文本生成依存树，并根据文本中不同的目标词来变换依存树，从而使目标词处于树根位置。并且在计算父节点的向量矩阵时，通过多种不同的组合函数，结合上下文和语法结构来判断目标方面情感极性。Tang 等人7提出基于目标的 LSTM 模型（target dependent-LSTM，TD-LSTM），分别按照前向和后向两个方向将文本输入 LSTM 网络，在提取上下文双向的语境信息后再将其融合。Ruder8在此基础之上提出分层双向循环神经网络，该模型将每一层的 LSTM 隐藏层拼接起来，以学习句子内部与句子间的依赖关系。Wang 等人9认为这种标准的 LSTM 模型没有考虑某些特定方面和上下文之间的相关性，因此无法区分对某些特定方面更重要的上下文信息，他们提出了一种结合注意力机制的 LSTM 网络（ATAE-LSTM），利用方面嵌入注意力，分别关注句子的不同部分。结果表明，注意力机制可以显著提高方面级情感分析模型的性能。在此基础上，Ma 等人10人认为目标和文本方面应该是交互的，而之前的模型将两者分别建模，并提出了一个细粒度交互注意网络 IAN，使用两个 LSTM，对每个句子和方面信息建模，并通过池化层获取注意力，并将注意力与深度记忆网络结合完成交互操作。Huang 等人11认为 IAN 只考虑了位置信息而缺少语句间的联系，提出 AOA-LSTM 模型，将方面词与文本关联建模，使用多层注意力得到方面词与文本之间的权重矩阵。Chen 等人12人提出一种基于记忆网络的多注意力机制，该方法将多注意力权值与非线性递归神经网络组合，捕获了距离较远的方面情感文本情绪特征，从而减少了其他方面的噪声干扰，增强了模型的表达能力。1 相对词距权重在下文中，将输入的文本序列定义为 S=w0,w1,.,2023 年第 7 期105计算机应用信息技术与信息化wa+1,wn-1，文本中一共有 n 个字，同时文本中目标方面词一共有 m 个字。表示方面词在句子中的起始索引，对于每个句子，使用相对词距权重算法得到一个权重向量 P=p0,p1,pa,pa+1,pn-1，P 表示句子中每个字的权重。将文本S 输入到 FastText、Bert 等预训练模型之后，得到的文本嵌入矩阵表示为 E=e0,e1,ea,ea+1,en-1。最终本文使用权重向量 P 来微调文本嵌入矩阵 E，得到增强后的文本表示，这里使用 I=i0,i1,ia,ia+1,in-1 来表示。然后用 I 取代原嵌入矩阵 E，来进行后续的情感分类任务。综上可以看出，本算法核心之处在于，相对词距权重算法的设计，本文共设计了两种相对词距权重算法，分别是线性相对词距权重以及非线性相对词距权重。这两种算法将句子中词的相对距离映射到词的权重大小，下面依次介绍这两种算法。1.1 线性相对词距权重算法线性相对词距权重算法是指将词的相对距离映射成线性权重，图 1 是一种理想的线性权重关系，输入文本“这里的服务很差但饭很好”的权重向量是 3/11,4/11,5/11,6/11,7/11,8/11,9/11,10/11,1/11,10/11,9/11，这个向量中每个元素分布表示句子中每一个字的重要程度。在这段文本中，“饭”这个单词是这个句子的目标方面词，可以从图中看出“差”这个干扰描述词的权重被减小到了 5/11，而与此同时“好”这个主要描述词的权重仍然维持在 9/11。因此这种方法可以使模型更关注于“好”这个主要描述词，而忽略掉“差”这个干扰描述词，从而更有可能得到正确的分类结果。图 1 线性权重理想化实例 从图 1 可以注意到句子中方面词“饭”的权重只有1/11。因为本文注意到绝大多数情况下，在一个句子中目标方面词是名词，且这个名词实际上和分类任务的结果无关。例如上述例子中饭”可以替换成任何名词，都不会影响这句话的情感倾向。因此通过削弱句子中目标方面词的权重，使句子专心关注其他的与情感倾向有关的词。本文设计的线性相对词距权重算法中，相对词距是指每个词与目标方面词的距离，在文本序列 S=w0,w1,wa,wa+1,wn-1 中，第 i 个词的权重可以由公式(1)与公式(2)求出。(1)(1)0i()1(1)i+m (1)()1(1)(1 +min()iiunmgpunmgimunmg+=+（1）在公式(1)中，、g 是两个可训练的参数，其中可以放大线性权重缩放带来的分布差异，g 可以代表线性关系中权重下降的趋势快慢。g 越大表示权重下降得越慢。公式 2 规定公式 1 中得到的权重最大值只能是 1。对于句子中每一个字，都应用公式(1)与公式(2)，即可得到输入句子的权重向量 P=p0,p1,pa,pa+1,pn-1，然后通过公式(3)计算得到增强后的文本表示。Ii=piei线性相对词距权重算法可以描述为算法 1。算法 1：线性相对词距权重算法输入：文本序列 S=w0,w1,wa,wa+1,wn-1输出：句子的权重向量 P=p0,p1,pa,pa+1,pn-11：初始化权重集合 P=2：for wi in do3：利用公式(1)得到 wi的权重 pi4：将 pi输入到公式(2)中进行规范化6：P.append(pi)7：end for8：return P1.2 非线性相对词距权重算法非线性相对词距权重算法是指将词之间的相对距离映射到非线性的关系中，词之间的相对距离是指每个词与目标方面词的距离。非线性权重函数在曲线体现上比线性的下降趋势更平滑。具体的，在文本序列 S=w0,w1,wa,wa+1,wn-1 中，第 i 个词的权重 pi(0,1)可以由公式(4)与求出。()(1)cos 0i 211(1)i+m (4)()(1)cos +mi2()1iiupunmiunm+=+n （4）是一个可训练的参数，其中 可以放大权重缩放带来的分布差异。缩小分布差异是由 dropout 算法启发的思路，在 dropout 算法根据实现设置的概率随机使一些输入的神经元失活，为了维持输出的期望保持不变，该算法再得到输出后，对所有的输入乘以了一个大于 1 的权重。而在本算法中，由于输入文本 S=w0,w1,wa,wa+1,wn-1 中所有的字向量都会乘以 p (0,1)，因此为了维持输出的期望保持不变，本文对输出进行了(1+)的放大操作。与线性相对词距权重算法类似，再得到输入句子的权重向量 P=p0,p1,pa,pa+1,pn-1，然后通过公式 3 计算得到2023 年第 7 期106计算机应用信息技术与信息化增强后的文本表示。计算句子权重向量的方法可以描述为算法 2。算法 2：非线性相对词距权重算法输入：文本序列 S=w0,w1,wa,wa+1,wn-1输出：句子的非线性权重向量 P=p0,p1,pa,pa+1,pn-11：初始化权重集合 P=2：for wi in do3：利用公式(3)得到 wi的权重 pi4：将 pi输入到公式(2)中进行规范化6：P.append(pi)7：end for8：return P2 本文模型架构本文设计的相对词距权重算法可以应用在多种方面情感分类模型中，以增强这些模型的文本嵌入矩阵表示，进而提升该模型在方面级情感分类任务上的性能。如图 2 所示，其中 B 是批次大小，S 是句子中单词个数，V 是词汇表大小。设计思路是，当文本输入到预训练模型得到文本的嵌入矩阵后，应用本文设计的方法（图 2 中第二行的部分）缩放句子中每个词的向量信息，同时保持嵌入矩阵的维度不变，以得到增强后的文本表示。当预训练模型是基于 FastText 词向量的嵌入时，维度是 300，而当使用 Bert 或 RoBERTa 等预训练模型编码词向量时，嵌入的维数是 768。本节选择了当前三种具有代表性的方面级情感模型作为基础模型并介绍本文如何将相对词距算法应用在这些模型上，以得到改进后的三种模型。2.1 基于注意力的 LSTM 模型基 于 注 意 力 的 LSTM 模 型13（Attention based LSTM,AT-LSTM）是 Wang 等人在 2016 年提出的一种深度学习端到端的方面情感分类模型，它的特点在于在模型中不仅使用文本中词向量特征，同时使方面特征也参与到计算当中。如图 3 所示，基于注意力的 LSTM 模型首先将除方面词之外的文本嵌入 W=w1,wn-1 通过一层 LSTM 表示成了文本特征矩阵 H=h1,hn，然后再将文本特征矩阵 H 与方面词的嵌入特征向量 va拼接，再经过注意力抽取机制得到待预测的特征向量。图 3 基于注意力的 LSTM 模型结构下面介绍如何将本文提出的线性或非线性词距权重算法应用与改进这个原有的模型，首先通过线性或非线性词距权重算法得到权重向量 P=p0,p1,pa,pa+1,pn-1，对于除方面词之外的文本嵌入 W=w1,wn-1，每个字嵌入都乘以权重向量 P 中对应位置的权重值，即可以得到普通文本嵌入的增强表示。而对于方面词的嵌入增强则稍微复杂一些，需要先将各个方面词的字嵌入乘以对应的权重值，然后使用平均池化层得到方面词的平均词向量，即为增强后的嵌入特征向量。在得到普通词与方面词的增强嵌入表示后，完全替换上图中的 W 与 va。模型后续的注意力计算、预测结果、反向传播等操作都是基于增强嵌入表示。2.2 交互注意力网络交互注意力网络14（interactive attention network,IAN）是 Ma 等人在 2017 年提出的一种融合了方面注意力与文本注意力的交互式网络。它的创新点在于使用提取的方面词特征计算文本特征的注意力，同时使用提取的文本特征反过来计算方面词特征的注意力。交互注意力网络是一个专门为方面情感分类任务设计的模型，它的结构比 AT-LSTM 复杂一些。如图 4 所示，交互注意力网络使用LSTM网络分别提取文本与标签的嵌入特征，然后交互式计算文本对标签的、标签对文本的注意力，然后用注意力机制增强文本与标签的特征表示，最终再把特征表示输出到分类层。需要特别提到的是，由于交互注意力网络对文本特征的计算依赖于方面词的嵌入特征，而本文提出的线性或非线性词距权重算法的特点是削弱方面词的特征，为了不影响 IAN网络对文本特征的注意力运算，本文把通过词距权重算法得到权重向量 P=p0,p1,pa,pa+1,pn-1 应用于除了方面词之外的文本嵌入特征上，并没有使用方面词权重 pa,pa+1 削弱方面词特征的嵌入表示。图 2 方法设计图 2023 年第 7 期107计算机应用信息技术与信息化3 总结当文本中方面词过多时，传统的方面情感分类模型容易注意到无关词，从而导致其准确率下降，针对这个问题，本章提出了两种基于词距权重算法，算法根据句中字与方面词的距离，生成权重向量。按照生成权重的二元函数曲线类型，本算法可分为线性词距权重算法与非线性词距权重算法。基于此，本文提出了基于相对词距权重的方面情感分类模型。经实验证明将这个权重向量应用于目前多种先进的方面级情感分类模型中，有助于提高模型的泛化能力。参考文献：1 杨玉亭.基于 BERT 的方面级短文本情感分类方法研究D.成都：四川师范大学,2021.2 杨立公,朱俭,汤世平.文本情感分析综述J.计算机应用,2013,33(6):1574-1607.3 赵妍妍,秦兵,刘挺.文本情感分析 J.软件学报,2010(8):15:1834-1848.4 ZHOU J,HUANG J X,CHEN Q,et al.Deep Learning for aspect-level sentiment classification:Survey,vision and challengesJ.IEEE access,2019(99):78454-78483.5 LI D,WEI F,TAN C,et al.Adaptive recursive neural network for target-dependent twitter sentiment classifi cation C/The 52nd Annual Meeting of the Association for Computational Linguistics,Baltimore,Maryland:Association for Computational Linguistics,2014:4954.6 TANG D,QIN B,FENG X,et al.Effective LSTMs for target-dependent sentiment classificationJ.Computer science,2015(10):3298-3307.7 RUDER S,GHAFFARI P,BRESLIN J G.A hierarchical model of reviews for aspect-based sentiment analysisC/Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing,Texas:Association for Computational Linguistics,2016:999-1005.8 WANG Y,HUANG M,ZHU X,et al.Attention-based LSTM for aspect-level sentiment classificationC/Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing,Texas:Association for Computational Linguistics,2016:606-615.9 HUANG B,OU Y,CARLEY K M.Aspect Level Sentiment classification with attention-over-attention neural networksC/International Conference on Social Computing，Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation,Washington:Association for Computational Linguistic,2018:197-206.10PENG C,SUN Z,BING L,et al.Recurrent attention network on memory for aspect sentiment analysisC/Proceedings of the Conference on Empirical Methods in Natural Language Processing,Copenhagen,Denmark:Association for Computational Linguistics,2017:452-461.11QIU X,SUN T,XU Y,et al.Pre-trained models for natural language processing:A surveyJ.Science China technological sciences,2020,63(10):1872-1897.12PETERS M,NEUMANN M,IYYER M,et al.Deep contextualized word representationsC/IProceedings of NAACL,New York:IEEE,2018:2227-2237.13WANG Y,HUANG M,ZHU X,et al.Attention-based LSTM for aspect-level sentiment classificationC/Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing,Austin,Texas:Association for Computational Linguistics,2016:606-615.14MA D,LI S,ZHANG X,et al.Interactive attention networks for aspect-level sentiment classificationC/Proceedings of the IJCAI,Melbourne:Association for Computational Linguistics,2017:4068-4074.【作者简介】徐明（1998），女，山东济宁人，硕士，研究方向：文本情感分析、数据挖掘。仇丽青（1978），女，山东德州人，博士，研究方向：数据挖掘、人工智能。张晶（1982），女，山东青岛人，本科，研究方向：人工智能。（收稿日期：2023-03-14 修回日期：2023-05-12）图 4交互注意力网络结构