基于BERT-BiLSTM-Attention的文本情感分析.pdf

云南民族大学学报（自然科学版），（）：收稿日期：基金项目：国家社科基金（）；教育部人文社科基金（）作者简介：诸林云（），女，硕士研究生 主要研究方向为自然语言处理与文本情感分析通信作者：范菁（），女，教授，硕士生导师 主要研究方向为深度学习、计算机网络与智能控制基于 的文本情感分析诸林云，曲金帅，范菁，代婷婷（云南民族大学 云南省高校信息与通信安全灾备重点实验室，云南 昆明 ）摘要：为了实现对用户对酒店使用感受的情绪倾向的分析，并且针对现有的词向量模型忽略了词的上下文的关系的问题，提出了一种基于 模型的酒店评论情感倾向分析方法 利用 模型获取用户对酒店评论的文本特征表示，将获得的特征表示输入 网络以提取酒店评论的情感特征 在 模型的输出层之前添加一个注意层以突出重点信息，最后由分类器对所提取的特征进行分类 构建的模型与 、对比的结果显示，该模型在测试集上的准确率分别提高了 、，实验结果表明基于 的中文文本情感分析方法在情感分类上有更高的准确率关键词：酒店评论；文本特征；情感分析；中图分类号：文献标志码：文章编号：（）如今，互联网在全球范围内流行起来，随着社交媒体的迅速扩大，它正成为信息载体的一个成本低廉的平台，年的中国互联网用户年度报告显示，我国搜索引擎用户规模达 亿，占全体网民的 随着网络交易的普及，在线评论文本呈爆炸式增长，消费者在酒店入住方面，与商品广告和图纸描述相比，消费者更愿意学习其他消费者评论信息的细节 对于商家来说，他们可以通过这些评论实时获得真实的客户反馈，了解产品存在的问题，并制定合理的销售策略 因此，评论文本中所包含的情感信息对网上购物用户和企业具有巨大的应用价值 通过情感分析，我们可以解释情感并将它们分为不同的类别，帮助商家了解客户的情绪并采取相应的销售策略情感分析旨在从互联网上发布的主观信息中进行分析和提取特征 商品评论的情感倾向分析本质上属于文本分类的范畴 目前的主流方法是基于深度学习的分析方法，在使用神经网络模型进行情感分类时会使用语言表示模型考虑不同的词汇关系 近年来，（）已经被提出用于文本数据的分析，主要作为预训练语言模型 现有的深度模型通常只解决了一些问题，而忽略了其他问题 例如，等 利用 个预先训练好的单词嵌入和长短期记忆神经网络（，）来提取情绪和语义进行情绪识别，但他们的模型没有考虑句子不同部分重要性的差异 等 改进了预先训练好的单词嵌入，但没有考虑到过去和未来的上下文的依赖关系和具有不同重要性的单词 为了对这些模型进行改进，本研究提出了一种新的深度学习模型，用于对酒店评论的情感分析 本文提出的模型提取句内关系，捕捉过去和未来的上下文的依赖关系，通过分配不同的权重来突出文本的重要部分，选择最重要的特征，增强对重要词汇的关注度在实现该模型训练的流程中，本文首先对酒店的评价数据进行预处理，将预处理完成的酒店的评价数据输入到该模型中的 层模块中，获得可以融入文本语境中的动态词向量，再通过双向长短期记忆神经网络（，）捕捉文本过去和未来的上下文信息的重要部分，并且在 输出中使用注意机制，使模型能够或多或少地关注不同的单词和句子，从而提高情感分类的准确度 经本次实验验证，所提出的模型在情绪分析的准确率、召回率以及 值评价指标上都优于其他种方法 相关工作基于文本的情感的自动识别依赖于不同的计算技术，由于研究方法丰富，本文总结了以下 种情感分析方法）基于情感词典的方法基于情感字典分析的方法主要是构建一个基于人类先验知识的情感字典，并将产品评论的分词与情感字典进行比较，实现课程评论的情感分析 商家获取客户评价信息，查看客户反馈，找出句子中各类别情感词的客户观点 但中文情感词典的构建存在两个主要问题：首先，中文单词在语义和句法上存在歧义；其次，可用于构建汉语词典的资源要么不足，要么不适合 尽管如此，研究人员已经设计出克服这些问题的方法，以构建汉语情感词典 王志涛等 对现有的情感词典进行了扩展，搜集了 万条的微博数据构建了情感词典流行的情感检测词典有 和 词情感词典 是 的扩展形式，由带有情感标签注释的情感词组成 词典由 个单词组成，每个单词分配给一种特定的情绪和 种情绪 这些词典是分类词典，用情感状态标记每个单词以进行情感分类 等 将特定领域的词典应用于情感分析中的特征提取过程 作者得出结论，从他们提出的词典中派生的特征优于其他基线特征基于字典的方法通常以其直接使用和开箱即用的功能而被大家熟知 但是，手动标记容易出错、成本高并且不灵活 因此，这个过程在推广到其他情绪时会遇到困难 ）基于机器学习的方法机器学习可以根据具有显式标签的训练样本语料库推断识别情绪的决策规则 这可以克服上述基于词典的方法在可扩展性和域定制方面的限制 机器学习任务，如对学习到的特征向量进行分类和聚类 ，基于机器学习的方法是将从产品评论文本中提取的特征值转移到相关模型中进行情绪分析 ，但一些文本特征注释需要手动注释 情感分类所需的不同类型的算法可能包括朴素贝叶斯、支持向量机（）、决策树等，每种算法各有利弊 等 应用了支持向量机，从调查中收集了超过 条客户反馈 作者实现了各种特征集组合，准确率高达 等 将 、模型和朴素贝叶斯结合，对欧洲和美国的七个热门目的地进行情绪和评论，这些目的地是从 收集的 作者使用 模型实现了高达 的准确度 李锐等 利用 算法对词语赋予一定的权重，以突出句子中的重点信息 等 在使用 特征提取方法实现了种机器学习算法，有 、朴素贝叶斯和最大熵，训练和测试数据集各包含 条评论 作者观察到 中的 值越高，例如 、和 ，准确性就会下降相较于基于情感词典的方法，基于机器学习的方法更简单且结果更为精确，但是机器学习的方法需要大量的人工标注的数据，且人为主观的因素也会对结果造成一定的影响，在这个大数据的时代，基于机器学习的情感分析方法达不到高效准确的效果）基于深度学习的方法在庞大的深度网络类型中，循环神经网络（，）在文本处理相关研究中更为常见 虽然 适用于许多文本情感分析中，但当输入数据中存在长期依赖关系时，它们会出现梯度消失和梯度爆炸 而 可以很好的解决长期依赖的关系，能够更好的提取过去和未来的上下文的依赖关系尽管深度神经网络在情绪分析领域取得了显著的成果，但其性能的仍然不能令人满意 他们的一个普遍的缺点是，他们考虑句子中所有的所有单词，不能关注文本的突出部分为了填补这一空白，注意机制最近已被采用在许多自然语言处理的任务，特别是情感分析，因为它提供了一个有效的解释文本的力量 事实上，注意机制是受到了人类视觉注意机制的启发，这种机制试图关注文本中更重要的部分，而不是编码完整的句子 在这方面，等 通过增加权重来修改 ，并对文本分类的目的发挥了注意作用 等 还提出了一个基于注意力的长短期记忆神经网络，它可以专注于句子的各个部分 等 提出了一种用于多领域情绪分类的领域注意模型 等 提出了一种具有注意机制的双向 来选择重要的特征 等 提出了一种新的情感分析神经词嵌入方法 他们解决了以前的方法的主要缺点，由于它们能够建第 期诸林云，曲金帅，范菁，等：基于 的文本情感分析模长期依赖关系 他们的新方法通过获得更高的性能表现得更好 胡朝举等 构建了一个根据深层注意力的 的特定主题情感分析模型，通过使用共享权重的 算法就可以直接对主题向量和文本词向量分别进行深度注意力训练，并会自动地融合出主题特征向量和文本特征 注意机制是一种非常流行的方法，因为它们的训练时间短，并且使用并行计算，并对许多数据集都取得了良好的结果在情感分析方面，最近研究较多的是词嵌入模型和神经网络的结合进行情感分类 单词嵌入是为了捕捉单词的相似性及其词汇关系 冯兴杰等 在词向量的表示上选用了 模型，利用卷积神经网络（，）不断地学习句子的特征，并且添加了注意力机制，从而对文本进行情感分类 胡荣磊等人 在词向量的表示上同样使用了 模型，通过长短期记忆神经网络并且添加注意力机制突出文本重要信息来进行文本情感分析 年，谷歌公司提出了 模型，由于 有着更强的文本表征能力，目前 已经成为多数自然语言处理任务的预训练语言模型 等 提供了一种构建辅助句子的方案，将情绪分析任务转化为句子对分析的任务，相当于在使用 模型以前通过特殊的算法对数据进行预处理 作者们利用实践结果证明了该方案的有效性 在机器学习方法中，有部分研究者把情感词典和机器学习结合起来，而另外部分研究者也在深度学习中做出了类似的尝试 张杨森等 提供了一种采用双重注意模型的情感分析方法 一种包括了情感词、学位副词、负面词语、表情字符，以及互联网词汇等的情感符号库 将 中的注意机制和情感符号库有效的结合提高了情绪分类的性能 在本研究中，笔者将所提出的方法与 种情感分析的模型进行了对比，主要区别在于笔者的模型同时考虑了以下重要特征：本文使用了文本表征能力更强的 预训练语言模型，使用双向 考虑文本中过去和未来的上下文依赖关系，并对文本的不同部分给予不同的关注，从而提高情感分类的准确度 实验流程与模型构建Softmaxhhh1h0LSTMLSTMLSTMLSTMLSTMa0a1.anan-1BERTWn-1WnW1W0n-1n图 结合 和 的情感分析模型图 情感分类模型的构建笔者构建的文本情感分类模型如图 所示，该模型共有 层，分别是输入层、层、层、注意力机制层和输出层 首先，本文对收集到的数据进行预处理，将预处理完成的数据输入到 层中，利用 模型获取酒店评论文本的特征表示，然后将获得的特征表示输入 层，提取酒店评论的情感特征 由于 不能关注文本上下文信息的重要部分，因此在 模型的输出层之前添加一个注意层，通过分配不同的权重来关注上下文的重要部分，最后由分类器对提取的特征进行分类 输入层首先对收集到的数据进行预处理以及规范化 缺失值及重复值的去除：获取的文本中会存在一定的缺失值，缺失值的存在会导致程序运行出现问题，并且文本中的重复值也会影响模型的训练以及测试的结果 停止词删除：停止词是指在没有协调有意义的信息的语言中使用的单词 表情符号的去除：在汉语中，这些表情符号并没有传达任何信息 词语标准化：在本文的语料库中，许多词语没有以其标准形式使用 有些词语被扭曲了，有些是非正式的形式 本文通过 编程自动地将这些词语转换为它们的标准的形式 这个过程被称为词语标准化，它是一个开发良好的 模型的先决条件，将数据处理完成之后，将其输入到 层进行后续的处理 层 采用了双向编码器结构进行编码，其中的双向编码器结构说明了在模型处理某个词汇时，它能够云南民族大学学报（自然科学版）第 卷通过上下文的语义关系来描述上下文中的其他词汇中的某些语义 在本文中，由 将酒店评论转换为一个数字矩阵，其中每一列表示已识别的特征，每一行表示一个特定的评论 将该矩阵作为 的输入，通过 和下一个句预测的 种训练策略来训练模型，且组合损失函数的性能最好 模型如图 所示Add&NormFeedForwardT1TrmTrmTTrmTrmTTrmTrmAdd&NormHuiti-HeadAttentionN EEEHuiti-HeadAttentionInputs2N12NPositionalEncoding图 模型的网络结构图，表示单词的文本输入 在双向 编码器完成后，评论文本，的向量化表示，即评论文本的向量化表示，主要由 编码器实现 模型预先训练完成任务，通过测量的训练语料库，使由 模型训练向量表示的精确单词学习特征表示为：（，）中，表示第 个句子的向量矩阵，表示每个单词的向量表示，表示最大的句子长度h1h2 h2h3 h3h4 h4Dh1 LSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMx1x2x3x4D图 的体系结构图 层在嵌入层完成后，将数据传递给 层 用一个特殊的结构（单元格）替换了一个常规的 模型的节点 由 个 倒置组件模型，输出从两个 联合决策状态 双向长短期记忆神经网络（）是一个结合了前向 和后向 的双重概念，可以更好地捕获双向语义特征 当一个字被输入到输入层的向量空间时，双向 模型分别在左右 个方面进行计算和输出层的双向 的基本结构如图 所给出 从前到后的更新公式为 （）（）从后到前的更新公式为 （）（）两层 叠加后的输出层公式为 （）其中，是 个时间 的输出，为权重，为偏置，为隐藏单位的个数 注意力机制层在情感分析中，由于文本中词汇的重要程度不同，特征权重也不同，引入注意力机制可以更好地学习词第 期诸林云，曲金帅，范菁，等：基于 的文本情感分析汇间依赖关系，增强对重要词汇的关注度 因此，通过分配不同的权重来关注上下文的重要部分，以进一步提高分类的准确度，其结构如下图 所示Softmaxa1hn-1hnh1h01.nn-1a0aa图 注意力机制结构图其基本原理就是要对各个训练步骤的数据 都乘以矩阵得到，用激活函数 对 去线性化；然后再进行权重计算，得出权重值；最后将每个时间步的 与对应权重 相乘，再把各个时间的加权后的输出数据全部相加，就得出了注意力特征表示数 具体原理如下：（）（）（）（）（）（）其中，为时刻 的 层的输出，和 分别表示参数向量和偏置，（）为指数函数 输出层最后，将特征向量 输入到 进行降维，通过把合并后的输出传递到一个全连接层来实现情感标签预测，然后利用 函数获得句子级别的情感概率分布，具体公式如式（）所示，其中，和 分别表示参数向量和偏置 （）（）实验设计及结果分析 实验数据实验使用了 爬虫在携程、去哪儿网站采集的网用户对酒店入住体验的评论以及哈工大谭松波酒店评论共同组成的数据集，并将数据导入数据库进行存储 数据预处理是开发机器学习模型的重要步骤之一，它有助于提高精度，并减少执行时间 在本次工作中，本文进行了多个预处理步骤，包括了实验数据的情感的积极和消极的标注、停止词语删除、转移无效的字符、删除表情字符、将词语规范化以及把数据进行拆分，将预处理之后数据通过随机抽取，共筛选出了 万条酒店评论作为此次试验的数据集，然后再把不同标签的酒店评论数据集按照 的比率，分成了训练集、验证集和测试集，部分数据如表 所示 最后使用测试集来检验模块的功能 为了衡量和分析性能，本文使用了一些统计评估指标和建立工作流程的重要工具包表 部分酒店评论数据标签评论文本内容非常吵杂服务态度极差。预定的房间告诉他我没有，反正瑞安这个的城市的印象十分不好环境舒适，水很干净，也清静，对开巴士出行方便。订购了二张日月谷温泉门票，市区有接送车，非常方便。实验设置）实验参数设置为了进行实验，使用了一些数学和统计工具 在建立数学模型后，用 编程语言进行编码来实现模型 是本次研究的编码工具和首选工具 为了操作和处理语料库，本次研究使用了 库 库有许多特点，可以根据项目的需求来增加和处理数据；使用 使数据与算法兼容 协助建立了 模型 此外，在 与人工神经网络的交叉中发挥了最关键的作用 此外，云南民族大学学报（自然科学版）第 卷是一个开源库，集成了用于自然语言处理的顶端统计机器学习技术，被用于生成快速文本单词嵌入 实验参数的设置包含两部分，模型的参数和 模型实验参数，模型参数如表 所示表 模型参数参数值 ）实验评价标准本文利用测试数据集对模型进行评估，在评价实验效果时，本文使用了 个 评价指标：准确率 （）、召回率 （）和 值（）准确性是指在评论文本中准确分类的比例 召回率是指所有真实评论的样本，被正确分类的评论的比例 值为算术平均值除以几何平均值，评价指标的计算公式如下所示 （）（）（）其中，、分别表示预测正确的积极类别数和消极类别数；、分别表示预测错误的积极类别数和消极类别数，是查准率 在本次实验中，以积极类别作为正类样本，消极类别作为负类样本来评估模型对情感分类的准确性，）对比模型设置不同的预训练模型比较：本文采用了 、和 种不同的预训练模型，将这种预训练模型放在同一数据集进行情感分析任务的对比，以此对比来验证 强大的文本表征能力各种模型之间的比较：可进行比较的模型有 、以及 ，通过 、与 、情感分类精度的比较得出不同词向量对情感分类精度的影响，其次是通过本文构建的模型与提出的其他 种情感分析的模型进行比较，验证本文构建的模型相较于传统深度学习的模型在情感分类的精度上是否有所提高 实验结果及分析用户对酒店入住体验的评论数据集 为训练集，为验证集，为测试集，不同预训练模型的情感分析结果如表 所示表 不同预训练模型的结果类型 本次研究在训练集上训练本文所构建的模型，并使用测试集来进行评估 从表 所示的结果中，的情感分类的 相较于 和 分别提高了 和 通过对词汇的上下文信息来作特征选择，并按照上下文信息的变化动态地调节词汇向量，从综合指标上证明 预训练模型更有利于该模型提取文本信息 因而在文本的特征表示上，本次构建的模型选取文本表征能力强的 模型 实验结果如表 所示表 实验结果类型 第 期诸林云，曲金帅，范菁，等：基于 的文本情感分析可进行比较的模型有：使用 作为预训练语言模型，通过 来提取文本特征进而进行情感分析 ：使用 作为预训练语言模型，通过 来提取文本特征进而进行情感分析 ：使用 作为预训练语言模型，通过 和 的融合来提取文本特征进而进行情感分析 ：使用 作为预训练语言模型，通过 来提取文本特征进而进行情感分析 ：使用 作为预训练语言模型，通过 来提取文本特征进而进行情感分析在验证本文构建的模型在情感分类的准确度上，可以看到本文提出的方法取得了显著的结果 词向量的表示上，本文选取了可以使用单词的上下文信息来作特征提取，并按照上下文信息的不同动态地调整单词向量的 模型 在处理时间序列时，常规 容易忽略前面的上下文信息，可以通过从 个方向处理文本，然而并不是所有的词对文本分析都有相同的贡献，注意机制能够突出文本中的重要词汇 将本文构建的模型与 、进行对比，结果对比如图 所示图 实验结果对比图由图 可看出，与 模型相比，模型的准确度提高了 ，这是因为 模型结合了 、和注意力机制的优势来提取特征，这表明多模型组合的特征增强策略比单模型特征增强策略更有效 模型的预训练过程参数巨大，在后续自然语言处理任务中内部参数变化不大，容易造成模型过拟合现象，泛化能力稍弱 由表 可看出，以 作为预训练语言模型得出的实验准确度要高于以 作为预训练模型的实验准确度，说明 的预训练模型功能强大，证明 机制和 机制可以有效捕捉上下文甚至整体的关键信息句子，并整合到当前的词向量中 模型相较于 模型的准确度提高了 ，加了注意力机制的模型可以给文本不同的部分给与不同的权重，进而提高情感分类的准确性，综上所述，模型的情感分类的精度相较于前 个模型都有一定的提高，证明 预训练模型更有利于该模型提取文本信息 因此，本文将 和 以及注意力机制结合起来，形成了一个模型 实验结果表明，模型的在情感分类上要优于其他模型 结语笔者提出了一种 酒店评论情绪分析模型，使用了酒店评论数据集来验证模型，为了评估所提出的模型的性能，本文从准确率、召回率以及 值个性能评价指标对模型的性能进行评估 综上所述，在对比模型中的情感分类的精度是最高的 应该通过将这些模型其他机器学习算法混合，来改进这些模型，以获得更好的性能 根据这项研究的基本原理，我们可以进一步期望在各种深度学习应用中利用相同的技术，并研究这种各种模型结合的方法是如何在少量数据中工作的，结合适当的深度学习策略以获得更有效的结果 此外，正在考虑结合 种或更多不同的算法，以利用每种方法的优势 此外，为了使这些模型具有鲁棒性，我们计划在其他相关数据集中实现该模型 综上所述，该模型可以通过多种实验进一步探索，并使其更加准确以及更快获得情感分类的结果，并且可以让商家通过这些评论实时获得真实的客户反馈，了解产品存在的问题，并制定合理的销售策略，获得更大的经济效益云南民族大学学报（自然科学版）第 卷参考文献：，：，：，：，（）：王志涛，於志文，郭斌，等 基于词典和规则集的中文微博情感分析 计算机工程与应用，（）：，：，：，（）：，：，：，（）：，：，：，（）：李锐，张谦，刘嘉勇 基于加权 的微博情感分析 通信技术，（）：，：，：，（），：，：，（）：，（）：胡朝举，梁宁 基于深层注意力的 的特定主题情感分析 计算机应用研究，（）：，：冯兴杰，张志伟，史金钏 基于卷积神经网络和注意力模型的文本情感分析 计算机应用研究，（）：胡荣磊，芮璐，齐筱，等 基于循环神经网络和注意力模型的文本情感分析 计算机应用研究，（）：，：，：，（），（）：（下转第 页）第 期诸林云，曲金帅，范菁，等：基于 的文本情感分析 ，（，）：，（，），：；（责任编辑杨柱元檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿）（上接第 页），（，）：，：；（责任编辑梁志茂）云南民族大学学报（自然科学版）第 卷