基于深度学习的在线教师课程评论情感分析模型_肖海艳.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第6期No.62023年3月Mar.2023收稿日期：2021-12-24稿件编号：202112156作者简介：肖海艳（1982），女，陕西榆林人，硕士，讲师。研究方向：信息化教学，日语语言文学、日语教育。随着互联网平台的快速发展，在线课程凭借其方便、优质等特点逐渐被大众认可，在线学习人数迅速增加1-2。教师与学习者的交互过程会产生大量的评论文本数据，对文本情感倾向进行分析，有利于教师了解学习者的需求，提高在线课程质量。传统静态词向量模型如 Glove和 Word2vec3，将词转换成高维度向量嵌入，但训练过程未加入词的位置信息，存在无法表示多义词的问题。动态词向量模型 ELMO（Embedding from Language Model）4和 BERT（Bidirectional Encoder Representation fromTransformers）5，在大规模语料进行预训练时，通过充分考虑词的上下文语义关联，提取当前词符合语义环境的动态向量表征。MacBERT（MLM as correction基于深度学习的在线教师课程评论情感分析模型肖海艳（咸阳师范学院 外国语学院，陕西 咸阳 712000）摘要：针对传统静态词向量存在语义表征弱以及循环序列模型训练效率低等问题，提出了基于MacBERT-BiSRU-AT的在线教师课程评论情感分析模型。通过预训练模型MacBERT获取评论文本符合上下文语义的动态向量表示，解决了静态词向量存在的一词多义问题，提升词向量语义表示质量。BiSRU模块用于提取评论文本高维情感特征，软注意力用于计算每个词对分类结果的影响程度大小，由分类层输出文本情感极性。在真实在线课程 MOOC评论数据集进行实验，结果表明，MacBERT-BiSRU-AT模型分类 F1值达到了 91.33%，高于实验对比的其他模型，证明了模型的有效性。关键词：情感分析；MacBERT；BiSRU；软注意力中图分类号：TN0；TP391文献标识码：A文章编号：1674-6236（2023）06-0039-04DOI：10.14022/j.issn1674-6236.2023.06.009Sentiment analysis model of online teacher curriculum review based on deep learningXIAO Haiyan（Foreign Language Academy，Xianyang Normal University，Xianyang 712000，China）Abstract:To address the problems of weak semantic representation of traditional static word vectors andlow training efficiency of cyclic sequence model，an online teacher curriculum review emotion analysismodel based on MacBERT-BiSRU-AT was proposed.Through the pre training model MacBERT，we canobtain the dynamic vector representation of the comment text that conforms to the context semantics，solve the problem of polysemy in the static word vector，and improve the semantic representation qualityof the word vector.BiSRU module is used to extract high dimensional emotional features of commenttext，soft attention is used to calculate the impact of each word on the classification results，and theclassification layer outputs the text emotional polarity.The experiment was conducted on the MOOCreview dataset of real online courses.The results show that the classification F1 value of MacBERTBiSRU-AT model reaches 91.33%，higher than that of other models compared with the experiment，which proves the effectiveness of the model.Keywords:sentiment analysis；MacBERT；BiSRU；soft attention-39电子设计工程 2023年第6期BERT）6预训练模型提出了全词掩码和N-Gram掩码策略，利用近义词替换以降低训练和微调的差异，在多项自然语言处理任务上取得最优结果。评论文本情感分析任务主要有基于机器学习方法和基于深度学习方法7。传统机器学习方法依赖人工构建特征工程，操作效率较低，且无法保证提取特征的有效性。随着深度学习模型被广泛应用于情感分析领域，文献8提出了 TF-Word-CNN 模型，在英语文本数据集上取得了较高的分类性能，但 TF-Word 模型无法表示多义词，词向量表征能力较弱。针对在线课程评论情感分类，文献9提出了 BERT-CNN模型，但 CNN模型无法捕获评论文本的序列特征。文献10提出了BERT-BiLSTM模型，BiLSTM受限于循环依赖机制，训练速度慢。以上模型对每个特征赋予了相同的权重，无法识别出对分类结果影响较大的重点情感特征。为解决现阶段研究存在的不足和提升情感分类准确率，提出了基于 MacBERT-BiSRU-AT（MLM ascorrection BERT-Bidirectional Simple Recurrent Unit-Attention）的在线教师课程评论情感分析模型，其主要贡献和创新点如下：1）为解决静态词向量模型无法表示多义词的问题，通过性能优化的 MacBERT 模型，结合当前词的上下文实际语境动态学习编码表示，解决固定词向量模型存在的一词多义问题。2）针对BiLSTM训练效率低问题，采用简单循环单元 SRU11捕捉评论文本高维情感特征，并进一步加速模型训练，降低训练成本。3）软注意力模块通过计算评论文本中每个词对情感分类结果的影响程度大小，赋予模型识别关键词的能力。1MacBERT-BiSRU-AT模型1.1整体结构MacBERT-BiSRU-AT 模型整体结构如图 1 所示，主要由预训练模型 MacBERT、BiSRU 语义提取层、软注意力机制和分类层构成。1.2MacBERT模型MacBERT 模型的主要特征抽取模块为 Trans-former编码器，内置注意力机制12能够捕获语句内部词之间的情感依赖特征，有效地提取文本内部蕴含的结构信息。其模型结构如图2所示。图2MacBERT模型结构向量E=E1,E2,Em为MacBERT模型的输入，Ei表示每个词的向量表征，由字符嵌入、位置嵌入和分句嵌入相加得到，具体实现过程如图 3 所示。经多 层 编 码 器 学 习 到 评 论 文 本 的 词 向 量 表 征T=T1,T2,Tm，Ti代表语句中第i个词的语义向量表示，作为二次语义捕捉层BiSRU的输入。图3输入向量组成1.3简单循环单元简单循环单元 SRU 在具体运算过程中不再依赖上一个时间步的输出，并行计算能力强，训练效率优于传统的 GRU13和 LSTM14模型。单层前向SRU 模型结构如图 4 所示，具体实现原理如式（1）-（4）所示：图1模型整体结构-40图4SRU模型结构rt=(Wrxt+vrct-1+br)（1）ct=ftct-1+(1-ft)(Wxt)（2）ft=(Wtxt+vfct-1+bf)（3）ht=rtct+(1-rt)xt（4）其中，ft和rt分别表示遗忘门和重置门，负责控制当前信息流入下一个阶段的程度。符号代表矩阵元素乘法；Wt、Wr、W、bf、br、vf和vr为学习参数矩阵。由式（4）可得，ht的计算不再依赖上一个时间步的输出ht-1，可在任何维度和步骤中进行并行化计算，充分利用GPU资源加速，提高模型训练效率。评论文本情感结果不仅与上文有关，还与下文关系密切，为此搭建前向SRU和后向SRU，同时捕获语句上下文语义特征，确保提取特征的完整性。将前向、后向 SRU输出?ht和?ht合并得到Ht，作为双向SRU在t时刻的输出。1.4软注意力模块软注意力层通过计算评论文本中每个词对情感分类结果预测的重要程度，筛选出对当前任务目标更加关键的重点特征，对模型起到优化作用。注意力层首先计算 BiSRU 层在t时刻的状态输出Ht对 情 感 分 类 结 果 的 权 重 得 分at，加 权 求 和 后 得到注意力特征表示A，相关计算过程如式（5）-（7）所示：Zt=tanh(WHt+b)（5）at=exp(Zt)texp(Zt)（6）A=tatHt（7）其中，tanh()为非线性函数，exp()代表指数运算，W和b均为可学习参数。1.5分类层通过线性层转换将注意力特征A映射到分类空间后得到情感特征向量，经Softmax模块输出概率分布Ps，由top函数计算每行概率最大值对应的情感预测标签结果R。具体计算原理如式（8）和（9）所示。Ps=Softmax(WsA+bs)（8）R=top(Ps)（9）2结果分析2.1数据集和性能指标为进一步验证模型对在线课程评论文本进行情感倾向分类的有效性，通过爬虫框架获取 MOOC 中国大学慕课网站在线教师课程评论文本共 25 684条，经数据清洗和文本处理后，得到合格的评论样本20 642条，部分评论数据内容如表1所示。将数据按照80%、10%、10%划分训练集、测试集和验证集。标签0、1分别表示评论文本情感极性为负、正。表1部分评论数据内容内容对课程内容理解有一定难度，感觉内容深度不够画质很不舒服课程很好，细节到位视频内容都是精华，讲解的方式也十分有技巧，容易理解标签0011文中采用准确率(Accuary)、精确率(Precision)、召回率(Recall)和 F1 值评估模型的性能表现，计算过程如式（10）-（13）所示：Accuary=TP+TNTP+FP+TN+FN（10）Recall=TPTP+FN（11）Precision=TPTP+FP（12）F1=2PrecisionRecallPrecision+Recall（13）2.2硬件环境与参数设定实验环境设置如下：操作系统为 Linux，内存120 GB；显卡为3090(2张)，显存大小为24 GB；利用深度学习框架Pytorch1.7.0和科学计数库等第三方库进行模型编写和训练框架的搭建，Python版本为3.6.0。文 中 实 验 设 定 参 数 如 下：二 次 语 义 提 取 层BiSRU隐藏层单元数量为256，模块层数为1；软注意力机制维度大小为 512；评论文本最大截断长度为100；模型训练轮次为5次；批处理大小为32；学习率大小为0.000 01；损失函数为交叉熵函数。引入性能优秀的优化器 RAdam15自动调整训练过程中学习率，达到优化模型训练结果和加速收敛的目的。2.3实验结果分析将文中模型 MacBERT-BiSRU-AT 与性能优秀肖海艳基于深度学习的在线教师课程评论情感分析模型-41电子设计工程 2