多特征感知情感分析模型_袁勋.pdf

基金项目:国家社会科学基金项目(19BTQ005)收稿日期:2021-05-21 修回日期:2021-06-07 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0509-05多特征感知情感分析模型袁 勋1,刘 蓉1,刘 明2(1.华中师范大学物理科学与技术学院,湖北 武汉 430079;2.华中师范大学计算机学院,湖北 武汉 430079)摘要:情感分析旨在对带有情感色彩的主观性文本进行分析和总结,针对现有的情感分析研究存在语料特征提取不足等问题,提出了一种基于 BERT 的多特征感知情感分析模型。首先,将情感文本输入 BERT 进行语料编码,然后使用多个卷积核提取编码文本片段的局部特征设计了局部特征层,再对编码文本进行降采样操作构造全局特征层,通过融合局部特征层与全局特征层得到多特征感知网络,从而增强情感语料间的信息关联。实验表明,所设计的多特征感知情感分析模型是有效的。关键词:自然语言处理;情感分析;多特征感知;特征融合中图分类号:TP183 文献标识码:BMulti-Feature Perception Sentiment Analysis ModelYUAN Xun1,LIU Rong1,LIU Ming2(1.College of Physical Science and Technology,Central China Normal University,Wuhan Hubei 430079,China;2.School of Computer,Central China Normal University,Hubei Wuhan Hubei 430079,China)ABSTRACT:Sentiment analysis aims to analyze and summarize subjective texts with emotional colors.Aiming at theproblems of insufficient corpus feature extraction in existing sentiment analysis research,a BERT-based multi-feature perception sentiment analysis model is proposed.First,the emotional text was input into BERT for corpus en-coding,and then multiple convolution operations were used to extract the local features of the short text to design a lo-cal feature layer,and then the encoded text was down-sampled to construct a global feature layer.By fusing the localfeature layer and the global feature,the multi-feature perception network was obtained,thereby enhancing the infor-mation association between emotional corpus.Experiments show that the multi-feature perceptual sentiment analysismodel designed in this paper is effective.KEYWORDS:Natural language processing;Sentiment analysis;Multi-feature perception;Feature fusion1 引言随着科学技术的飞速发展,移动互联网已成为人们日常生活中密不可分的一部分,文本数据因其容易编辑、表达简单、存储空间占比小等优点在互联网上的应用最广,如何对这些数据进行分析并为实际应用场景提供支持是自然语言处理(Natural language processing,NLP)的主要研究方向。情感分析是当下 NLP 领域中最热门的任务之一1,它能够利用计算机技术实现对情感文本的极性判断,有着重要的研究价值。情感分析最早由 Nasukawa2在研究商品评论时提出,互联网商品评论往往带有强烈的个人情感倾向,用户评论对于商家来说是非常重要反馈信息,通过对海量用户的评价进行情感分析,可以量化用户对产品及其竞品的褒贬程度,从而针对性的对自己的产品进行迭代升级。早期的情感分析主要基于情感词典对广泛使用的情感词进行归纳整理3-5所得,通过将文本语句与情感词典进行对比来判断文本的情感极性,但这种方法无法解决词典的边界问题。近年来,随着机器学习特别是深度学习的快速发展,深度学习方法逐渐应用在情感分析领域,并取得了显著的成果。在深度学习方法中,如何将自然语言转换为计算机可理解的语义特征是文本情感分析的首要任务。Kim 等6采用类似多元语法的方法提取多个卷积神经网络(ConvolutionalNeural Network,CNN)特征进行拼接,得到多个文本局部特征905从而增强了模型的特征感知能力。Johnson 等7用类似图像卷积的思路设计了一种高维度文本卷积方法,使用深层次卷积方法将文本词向量与远距离单词进行交互,在情感分析任务上取得了不错的结果。陶永才等8针对单一文本词向量无法全面表示文本中的情感特征信息等问题,将情感词特征、情感符号特征与词性特征进行融合,设计了一种多特征融合的情感分析方法。然而,卷积神经网络主要通过卷积核窗口式抽取特征,在长距离建模方面能力有限,且对文本的位序不敏感,缺乏对文本的整体感知能力。针对文本位序不敏感问题,Mikolov 等9提出循环神经网络(Recurrent NeuralNetwork,RNN),RNN 是一种带有记忆性质的特征提取网络,可以方便的提取上下文之间的位置关联。Li 等10认为传统RNN 网络无法解决长文本梯度消失的问题,采用长短时记忆网络(Long Short-Term Memory,LSTM)11提取长文本上下文间的语义关联,在情感多分类问题中取得了比 RNN 更好的成绩。但是,循环神经网络由于其记忆模块逐级传递的特性,难以实现并行操作。Devlin 等12提出基于双向 Trans-former13的 BERT(Bidirectional Encoder Representations fromTransformers)语言模型,该模型采用自注意力而非记忆传递的方式将每个词映射为矩阵,因此能够实现并行操作,并且该模型是一种双向的预训练模型,在预处理阶段为每个元素添加位置信息,因此 BERT 输出编码包含整体文本的位序关系,为情感分析任务提供了语义表示基础。针对卷积网络整体感知不足问题,Severyn 等14在处理推特情感分析任务中使用平均池化和最大池化交互的方式,将提取到的文本特征图中的纹理特征和数据特征拼接起来,提升了模型对文本整体的感知能力。受以上方法的启发,本文基于 BERT 提出一种融合多特征感知的情感分析模型(BERT MeanMaxpool CNN,BMMC)。首先,该模型将情感语料输入 BERT 进行编码,提取文本整体的位序关系,然后对编码信息进行卷积操作提取局部特征,并采用池化操作提取文本的纹理特征和数据特征,再将纹理特征和数据特征级联构造全局特征,最后将局部特征与全局特征进行融合得多特征感知网络,既补全了卷积神经网络位序不敏感问题,又提升了编码向量的整体特征感知,使模型达到了更好的分类性能。2 多特征感知情感分析模型模型将待分类文本从编码层输入,通过 BERT 将原始文本编码转换为词向量矩阵,然后分别对句子编码进行局部特征挖掘和全局特征提取,最后将两种特征进行融合以进行情感预测。BMMC 模型由编码层、多特征感知层和输出层三部分构成。模型的整体结构如图 1 所示。2.1 编码层编码层用于将输入原始文本转换为带有文本位序关系的词向量。本文使用 BERT 来完成文本编码,为保证特征融合维度匹配,编码层使用的词嵌入维度为原始 BERT 的一图 1 BMMC 模型架构半。编码层的输入为带有情感色彩的文本语料,经过 BERT中的双向 Transformer 转换为句子编码,编码采用自注意力机制,计算公式如下=softmax(QKTdk)V(1)Pout=(1,2,n)(2)其中,Q、K、V 为输入单词的词嵌入矩阵经过线性变换所得,dk是 Q、K 和 V 矩阵的向量维度,为句中单个单词编码,(1,1,n)为输入句子所有单词的编码组合,文本编码Pout是后续局部特征层与全局特征层的基础。2.2 多特征感知层文本特征抽取是对文本进行科学的抽象,建立数学模型,用以描述和代替原始文本。在文本卷积网络中,往往卷积核尺度远小于输入文本的维度,需要使用滑动窗口来提取对应文本片段的特征,这使得文本卷积网络可用来提取文本局部特征,使用多种不同大小的卷积核可以获得多个局部特征信息,将局部的特征组合可得更丰富的文本抽象特征。然而卷积神经网络主要靠卷积核窗口式抽取特征,在长距离建模方面能力有限,且对文本的语序不敏感,缺乏对文本的整体感知能力,因此需要在 BERT 编码层来获取文本位序关系。同时,对预训练输出编码信息进行最大池化可以保留编码文本的整体纹理特征,而平均池化则可以提取文本编码的数据特征,将两种池化方案结合可有效地获取上下文依赖关系,提升模型对文本整体浅层特征的感知能力。2.2.1 局部特征层在局部特征层,本文模型分别使用 3 种大小不同的感知器来提取文本的局部特征。文本特征提取通常使用卷积操作完成,通过卷积核与对应文本上进行乘法操作就可以得到当前卷积核的局部视野。卷积核长度远小于文本长度,卷积核在整个文本上进行滚动,可得到当前卷积核对全文本的局部特征,使用多种不同尺寸卷积核可以得到多窗口的文本视野,从而能够捕捉文本向量局部依赖关系。图 1 中编码层 BERT 输出为词嵌入矩阵,记词嵌入维度为 d。使用 3 种长度不同但词嵌入维度相同的卷积核与矩阵015进行卷积就可以得到 3 种不同尺寸的特征图(feature maps),局部特征层结构如图 2 所示。图 2 局部特征层如图 2 所示,Xhidden1与 Xhidden2分别表示句子编码Pout的长度与词嵌入维度,不同大小的卷积核可以得到不同视野的语料文本,从而提取出多个角度的局部特征。本文设计的卷积核的个数为词嵌入维度大小的 2/3,即 2d/3,卷积核的尺寸有 3 种,分别是2,d、3,d和4,d,分别卷积可得到 3 种大小不一的特征图,特征图维度计算公式如下。convout=convin-convker nel+2paddingstride+1(3)padding 为填充 0,stride 为滑动窗口长度,大小与词嵌入维度一致,convkernel为卷积核横向长度,convin为输入文本长度,convkernel为输出文本长度。由图 2 可知每种尺寸对应特征图数量为 2d/3。则 feature maps 层维度为2d/3,convout,1,经过最大池化层转换为2d/3,1大小的矩阵,将 3 类池化层拼接可得维度为2d,1的特征矩阵,该特征矩阵可与下文全局特征进行级联。2.2.2 全局特征层为强化模型对远距离文本的情感感知能力,从全局视角提取文本的纹理特征与数据特征并进行交互,以获取完整语义特征。在 BERT 的训练中,情感文本数据是按批次输入,本文采用动态填充的方式对每个小批次中的短文本数据进行补 0,以保证所有句子编码等长,这样可以减少计算资源浪费以提高训练速度。由于待分类文本需按批次输入,所以利用分批池化策略来提取全局特征。全局特征层的设计如