基于改进BERT的景点评论情感分析_刘宇泽.pdf

技术与应用 Technology&Application传感器世界 2022.12Vol.28 NO.12 Total 33024摘要：针对景点推荐领域评论的情感信息未得到充分利用的现状，文章融合残差网络和双向长短期记忆网络提出了一种改进的 BERT 模型。深度学习模型 BERT 以无监督的学习方式，通过后续的任务来完成推理和判断，而在语义层面忽略特定领域知识。该文研究多头残差网络（Multi-head residual network，MRN），可以从多个层面上学习情绪特征，在补充领域知识的同时避免深度神经网络退化，利用 BERT 预训练模型提供语义特征，动态地将语句的情感嵌入到模型中，并将各层次模型输出的特征与双向长短期记忆网络的输出数据进行特征融合，得到最终的文本情感。该模型对比 BERT 预训练模型、BERT-BiLSTM 模型、BiLSTM 模型和卷积神经网络 CNN 的实验结果，最后得到的 F1 值和准确率都有显著提高。由此认为，BERT-MRN 模型的情感极性分析能力有较好的提升，可以更好地分析景点评论的情感信息。关键词：情感分析；BERT；残差网络；双向长短期记忆网络中图分类号：TP391.1 文献标识码：A 文章编号：1006-883X(2022)12-0024-06收稿日期：2022-11-18基于改进 BERT 的景点评论情感分析刘宇泽 叶青 刘建平长沙理工大学电气与信息工程学院，长沙 4101140 前言随着社会经济和旅游业的发展，游客选择旅游景点时依赖于该景点的评论信息。评价信息既可以分析消费者的旅游感受，又可以影响其他潜在游客的景点选择，而如何有效地分析景点评论的情感成为了一项非常有意义的任务。情感分析是指通过分析用户形容某件事件的文本而确定用户对该事情的看法和评估。基于支持向量机、朴素贝叶斯、最大熵、K 邻近等传统的机器学习方法都可以用来解决情感分析问题1。PANG B 等人2采用朴素贝叶斯分类的方法来计算文本的情感极性。LI D 等人3研究了长短期记忆网络在文本情感分类任务中的效果。PENGHUA Z 等人4通过结合 BiGRU和注意力机制并将其应用于情感分类任务，获得了良好的分类结果。与以往的神经网络比较，预训练模型在许多 NLP 任务中都有较好的作用。ELMo5、Transformer6、基于转换器的双向编码表征 BERT7等丰富的预训练模型接踵举出。堪志群等人8将 BERT与 BiLSTM 结合，BERT 模型采用了一种特殊的调整方案，可以在学习过程中不断地学习领域的知识，并通过神经网络的反馈对原有的模型进行参数的更正，在微博数据的观点分析方面获得了不错的成效。胡任远等人9提出了多层次语义协同模型，在不同数据集上验证了该模型的优越性。上述文献对语篇序列情感极性的研究表明，BERT 模型难以对文本情感进行多角度的分析学习，在语句级别的文本情感分类中，BERT 自身就是多层神经网络结构，与传统神经网络结合易出现退化的问题。因此，本文提出一种将连结残差网络与 BERT 模型相结合的模型，该模型由不同维度的卷积神经网络通过残差连接组成，可以使每一维的语义特点都包括原始文本信息，并且特征信息互不相同，再结合双向长短期记忆网络，从而使模型学习更全面的语义信息。DOI:10.16204/ki.sw.2022.12.009Technology&Application 技术与应用传感器世界 2022.12Vol.28 NO.12 Total 330251 相关工作1.1 BERT 预训练网络1.1.1 BERT 模型传统的产生词向量工具（如 Word2vec）都是建立在浅层网络模型基础上，而 BERT 则是将模型整合到下游工作中，并能根据具体的任务进行改动。BERT是一种基于双向转换模式的双向转换编码器，它的运算主要选取代码模块，如图 1 所示。使用 MLM 遮蔽语言模型进行建模，使其输出序列能够更完全地了解各个方面的文字信息，利于为后续的更改选取更好的参数。1.1.2 TransformerTransformer 模型的编码部分由多头注意力机制（Multi-Head Attention）和一个完全连接的前向神经网络组成，两个模块都对数据进行了规范化处理。为了处理神经网络的退化问题，模型中各子模块都加入残差相接。基于Seq2Seq 结构的 Transformer 模型，它变化了传统的 Encoder-Decoder 结构，只使用注意力机制和完全连通的神经网络，利用位置编码和单词内嵌，学习了文本序列之间的位置关系，并利用多头自注意力机制，探索文字间的语义，如图 2 所示。虚线为残差连接，能使前面信息准确传送到后面一层，其中注意力的计算如式（1）和式（2）所示。（1）其中，注意力层的输入为 Q，K，V，通过随机初始化来取值，归一化函数中 用来调整模型大小。（2）其中，W0作用使模型学习更多的特征信息，将每个head 学习到的注意力矩阵进行拼接。1.2 长短期记忆网络1997 年，HOCHREITER S 等人10提出了一个新型网络LSTM。该网络是针对 RNN 算法的一种改进，它可以有效地克服RNN在训练时的梯度消失现象，通过采取单元状态和门控机制，将上一阶段的数据存储，并将接收到的数据进行下一步传递，如图 3 所示。LSTM 的计算如下式所示：（3）（4）x1x2xnTrmTrmTrmTrmTrmTrme1e2enInput Embedding输出层输入层Transformer Feed ForwardSoftmaxLinearDECODER#2Add&NormalizeFeed ForwardAdd&NormalizeEncoder-Decoder AttentionAdd&NormalizeMuti-head Attention+Feed ForwardAdd&NormalizeFeed ForwardAdd&NormalizeMuti-head AttentionFeed ForwardAdd&NormalizeFeed ForwardAdd&NormalizeMuti-head Attention+解码器#1编码器#1编码器#2位置编码(,)max()TkQKAttention Q K VsoftVd=kd 01(,)(,)hMutiHead Q K VConcat headheadW=1()tftftffW xU hb-=+1()ti ti tiiW xU hb-=+技术与应用 Technology&Application传感器世界 2022.12Vol.28 NO.12 Total 33026 （5）（6）（7）（8）其中，i、o、f 分别为输入门、输出门和遗忘门；c 记载细胞状态的改变；t 时网络接收到当前输入 xt和上一时间点信息向量 ht-1作为 3 个门的输入；it、ot、ft分别为输入门、输出门、遗忘门在 t 时间点计算得出。为非线性激活函数 sigmoid()；tanh 为非线性激活函数tanh()；图中 Wf、Wi、Wo、Wc和 Uf、Ui、Uo、Uc 分别为遗忘门、输入门、输出门和记忆细胞所对应的权重矩阵；bf、bi、bo、bc是偏置量，通过实验得到。2 改进的 BERT 模型（BERT-MRN）本文在 BERT 基础上搭建了一个多头残差网络模型，如图 4 所示。为了克服 BERT 模型在情绪分析方面的不足，利用 BiLSTM 来获取上下文关系，该模型能从多个角度学习序列中的情绪特点，并且阻止深度神经网络出现信息丢失的情况，最后通过特征融合，克服了由于网络深度造成的梯度消失、信息丢失等问题。本文所确立的 BERT-MRN 模型能够区别情感分类问题中的序列关系和各种程度的情感，从而更适宜于对文本情感分类。2.1 BERT-MRN 模型结构该模型利用多个卷积核的一维卷积神经网络 CNN构成了多头残差结构的语义学习器，能够选择合适数量的残差结构，能够更好地学习文本句子的情感特征，使用残差连接避免了序列结构中的深度神经网络的梯度消失。双向长短期记忆网络 BiLSTM 能够兼顾全文从上至下的语境，把所收到的信号传递给两个反向时序的 LSTM 网络，获得上下文的信息，再使用向量拼接获得最后序列的隐含表达。在每个迭代进程中，对隐藏层中的局部神经元进行随机削减，从而得到一定的正则化效应，其组成如图 5 所示。将 E1，E2，En作为输入，通过 BiLSTM 的正向和反向网络得到 hL和hR，如公式（9）和公式（10）所示：（9）（10）将 hL和 hR进行拼接后计算出 hi(i=1,2,n)。该模型能够从多个层面上对情绪态度进行研究，因此，本模型能够应用于各种语料库的情绪分类。2.2 模型训练该模型经过特征融合层的输出，使用 sigmoid 激活函数得出需要进行情感分类的情感极性，如式（11）所示：1()to to tooW xU hb-=+1tanh()tc tc tccW xU hb-=+?1tt tt tcf ci c-=+?tanh()ttthoc=+tanhtanhCt-1ht-1xtftitotCththttc?e1BiLSTMSoftmaxCNNv3CNNv1e2enBERT预训练模型CNNv212,LLLLnhhhh=12,RRRRnhhhh=Technology&Application 技术与应用传感器世界 2022.12Vol.28 NO.12 Total 33027 （11）其中，W 为权重矩阵；b 为偏置量；x 为拼接后的输出数据；为网络模型的预估输出。本文选取了反向传播来训练网络模型，情感分类的函数选择交叉熵函数，如式（12）所示，y 为实际结果。（12）3 实验结果与分析3.1 实验数据本文选择旅行网站作为评论数据的出处，通过爬虫爬取旅行网站的 400 个景点评论信息，在数据库中整理数据集，首先对数据集进行预处理，削减评论信息中的无用评论和特有的、无意义的符号，经过预处理后得到 4,000 条评论，其中正向评论 2,600 条，负向评论 1,400 条。3.2 输入层开始先删除中文文字数据中的停用词和无意义的符号，然后选取情感分析方面最常见的词来制定词典，生成相应的序列输入。BERT 模型中的输入是词向量、段向量、位置向量加权求和的矩阵。位置向量是指在不同位置出现的词语所具备的语义信息（例如“风景很好”、“很好风景”），所以 BERT 模型会将其各自加入到差别的向量中，如图6所示。3.3 模型参数设置实验选择控制变量法，选择不同优化器优化函数，使用专门针对中文的预训练 BERT 模型。通过多次比较实验，发现取表 1 参数时，BERT-MRN 分类能力最好。3.4 评价标准本文采用的评估指标包括：精确率、召回率、F1 分数。其中精确率是表示预测为正的样本中实际的正样本的数量所占比例，召回率是实际为正的样本被判断为正样本的比例。文中将综合度量指数 F1 作为评估模型的一个评估准则，如下方公式（13）公式（15）所示：（13）（14）（15）其中，TP（True Positive）表示正样本判定为正的个数；FP（False Positive）表示负样本判定为正的个数；FN（False Negative）表示正样本判定为负的个数。3.5 实验结果与分析通过对预处理后的景点评论进行中文文本情感分析，在不同种模型的对比试验中，验证本文方法的可行性，实验结果如表 2 所示。输出层LSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMh1h2h3h4E1E2En-1EnLnh1Lnh-2Lh1Lh0LhRnh1Rnh-2Rh1Rh0Rh()ysigmoid W xb=+y 1ln(1)ln(1)xlossyyyyn=-+-CLS风景很好输入ECLSE风E景E很E好EAEAEAEAEAE0E1E2E3E4+词语向量段向量位置向量SEPESEPEAE5+TPPrecision=TP+FP TPRecall=TP+FN 21PRF=P+R 技术与应用 Techno