基于多标签Seq2Seq模型的情绪-原因对提取模型_张思阳.pdf

研究论文数据分析与知识发现基于多标签Seq2Seq模型的情绪-原因对提取模型*张思阳1 魏苏波2,3 孙争艳4 张顺香2,3 朱广丽2,3 吴厚月2,31（安徽理工大学数学与大数据学院 淮南 232001）2（安徽理工大学计算机科学与工程学院 淮南 232001）3（合肥综合性国家科学中心人工智能研究院 合肥 230026）4（淮南师范学院计算机学院 淮南 232038）摘要:【目的】提出基于多标签Seq2Seq模型的情绪-原因对提取方法，提高情绪-原因对抽取效果。【方法】使用BERT预训练得到语义丰富的词向量，通过Bi-GRU和LSTM进行编码分别得到文本的全局特征和局部特征，引入混合注意力机制实现二者的融合，提高文本语义特征捕获的完整度。【结果】相较于FSS-GCN模型，本文模型对情绪-原因对的联合抽取F1值在两个数据集上分别提升0.98个百分点和11.60个百分点，情绪抽取子任务分别提升0.87个百分点和1.10个百分点，原因抽取子任务分别提升0.79个百分点和2.31个百分点。【局限】模型主要考虑显式情绪-原因对，未针对隐式情绪-原因对进行探讨。【结论】本文提出的模型能提高情绪-原因对抽取效果。关键词:情绪-原因对抽取 多标签 Seq2Seq模型 BERT分类号:TP393 G250DOI:10.11925/infotech.2096-3467.2022.0985引用本文:张思阳，魏苏波，孙争艳等.基于多标签Seq2Seq模型的情绪-原因对提取模型 J.数据分析与知识发现，2023，7（2）：86-96.(Zhang Siyang,Wei Subo,Sun Zhengyan,et al.Extracting Emotion-Cause Pairs Based on Multi-Label Seq2Seq ModelJ.Data Analysis and Knowledge Discovery,2023,7(2):86-96.)1 引 言情绪-原因对分析是文本情绪分析中非常重要的研究方向之一，能为情感分析、情绪分类、人格特征预测等任务的进一步研究提供技术支持，受到了广泛关注1-2。同时，对文本中存在的情绪子句和原因子句进行分析，并结合场合和角色的不同，获取情绪的结构和其关系3，进一步挖掘文本的潜在信息，具有较高商业价值。传统的情绪分析任务主要是情绪分类和情绪识别，近年来，针对情绪原因任务，越来越多的专家和学者进行了深入的研究。针对已经标 注 好 的 情 绪 得 到 情 绪 产 生 的 原 因 即 ECE（Emotion Cause Extraction）任务。但早期的数据集需要大量的人工标注且标注时往往会忽略情绪和原因之间的联系，因此考虑到情绪与原因的匹配关系，Xia等4提出情绪-原因对抽取任务（Emotion-Cause Pair Extraction，ECPE）。该任务需要同时识别情感及其原因，并将获得的情感和原因进行配对。为完成 ECPE任务，早期的研究主要分为抽取和匹配两步，基于此，学者们将情绪抽取任务和匹配任务进行融合，寻求一步完成任务的方法，并提出了通讯作者（Corresponding author）：张顺香（Zhang Shunxiang），ORCID：0000-0002-0540-7593，E-mail：。*本文系国家自然科学基金项目（项目编号：62076006）、安徽省属高校协同创新项目（项目编号：GXXT-2021-008）和安徽省自然科学基金项目（项目编号：1908085MF189）的研究成果之一。The work is supported by the National Natural Science Foundation of China(Grant No.62076006),the University Synergy Innovation Program of Anhui Province(Grant No.GXXT-2021-008),Anhui Provincial Natural Science Foundation(Grant No.1908085MF189).几种有效的模型5-6。虽然这些模型考虑了子句内部的语义关系和子句间的语义关系，但是忽略了情绪标签和原因标签之间的相关性以及文本与标签之间的相关性，在学习文本语义特征的同时，不可避免地增加了噪声干扰，导致F1值不高。针对上述问题，在情绪-原因对抽取任务中，主要考虑以下三点。（1）句内语义关联：如何对句内信息进行分析，挖掘潜在的因果关系。（2）句子间语义关联：如何增强句子之间的语义关联。（3）标签与标签之间的语义关联：如何识别标签之间存在语义关系。基于上述考虑，本文通过 Bi-GRU 和 LSTM 模型获取文本的全局特征和局部特征，并通过混合注意力机制进行融合，提出一种基于多标签 Seq2Seq模型的情绪-原因对提取方法，模型框架如图 1 所示。该模型的主要任务是使用构建的情绪-原因对抽取模型学习句内的特征、句子之间的特征以及句子和标签之间的特征，提高文本之间的语义关联，进而获取完整的语义特征，以提高情绪原因抽取的效果。（1）获取句间信息和句内信息。本文的目的是获取情绪子句和原因子句，因此要考虑句间的语义关系，采用Bi-GRU获取长距离的句间特征。同时，情绪-原因对的情绪和原因可能处在同一句中，因此要考虑句内的语义关系，尤其是情绪词的上下文语义关系。采用LSTM获取情绪词上下文的特征，即句内的特征。（2）获取文本与标签信息的语义信息。为使情绪子句与原因子句更好地实现匹配，需要考虑文本与标签之间的关系及标签与标签之间的关系，采用标签嵌入方式融合标签信息，在解码过程中融合标签的特征进行序列解码，进一步解决标签语义对情绪-原因对的影响，有效提高抽取情绪原因子句的准确率。本文的主要贡献如下：（1）句间特征和句内特征的获取和融合。在获取句子之间特征时，采用 Bi-GRU获取长时间语义依赖特征，能更好地提取句子间的特征，有效解决了长文本问题；使用LSTM获取句内的特征，从而更好地推断情绪词上下文潜在的因果关系。情绪-原因对抽取的关键在于上下文语义特征的学习，将句间特征与句内特征通过混合注意力融合，可以学习得到高区分度的特征，这些特征被用来因果推理，进一步提高标签识别的准确度。（2）本文采用标签嵌入的方式融合标签特征。将情绪-原因对分类问题看作多标签任务而不是多分类任务，基于多标签任务将标签信息嵌入模型中可以获取含有丰富语义的标签特征，标签的准确匹图1多标签Seq2Seq模型的情绪-原因对提取框架Fig.1Framework of Emotion-Cause Pair Extraction for Multi-Label Seq2Seq Model86总第 74 期 2023 年 第 2 期Data Analysis and Knowledge Discovery几种有效的模型5-6。虽然这些模型考虑了子句内部的语义关系和子句间的语义关系，但是忽略了情绪标签和原因标签之间的相关性以及文本与标签之间的相关性，在学习文本语义特征的同时，不可避免地增加了噪声干扰，导致F1值不高。针对上述问题，在情绪-原因对抽取任务中，主要考虑以下三点。（1）句内语义关联：如何对句内信息进行分析，挖掘潜在的因果关系。（2）句子间语义关联：如何增强句子之间的语义关联。（3）标签与标签之间的语义关联：如何识别标签之间存在语义关系。基于上述考虑，本文通过 Bi-GRU 和 LSTM 模型获取文本的全局特征和局部特征，并通过混合注意力机制进行融合，提出一种基于多标签 Seq2Seq模型的情绪-原因对提取方法，模型框架如图 1 所示。该模型的主要任务是使用构建的情绪-原因对抽取模型学习句内的特征、句子之间的特征以及句子和标签之间的特征，提高文本之间的语义关联，进而获取完整的语义特征，以提高情绪原因抽取的效果。（1）获取句间信息和句内信息。本文的目的是获取情绪子句和原因子句，因此要考虑句间的语义关系，采用Bi-GRU获取长距离的句间特征。同时，情绪-原因对的情绪和原因可能处在同一句中，因此要考虑句内的语义关系，尤其是情绪词的上下文语义关系。采用LSTM获取情绪词上下文的特征，即句内的特征。（2）获取文本与标签信息的语义信息。为使情绪子句与原因子句更好地实现匹配，需要考虑文本与标签之间的关系及标签与标签之间的关系，采用标签嵌入方式融合标签信息，在解码过程中融合标签的特征进行序列解码，进一步解决标签语义对情绪-原因对的影响，有效提高抽取情绪原因子句的准确率。本文的主要贡献如下：（1）句间特征和句内特征的获取和融合。在获取句子之间特征时，采用 Bi-GRU获取长时间语义依赖特征，能更好地提取句子间的特征，有效解决了长文本问题；使用LSTM获取句内的特征，从而更好地推断情绪词上下文潜在的因果关系。情绪-原因对抽取的关键在于上下文语义特征的学习，将句间特征与句内特征通过混合注意力融合，可以学习得到高区分度的特征，这些特征被用来因果推理，进一步提高标签识别的准确度。（2）本文采用标签嵌入的方式融合标签特征。将情绪-原因对分类问题看作多标签任务而不是多分类任务，基于多标签任务将标签信息嵌入模型中可以获取含有丰富语义的标签特征，标签的准确匹图1多标签Seq2Seq模型的情绪-原因对提取框架Fig.1Framework of Emotion-Cause Pair Extraction for Multi-Label Seq2Seq Model87研究论文数据分析与知识发现配取决于标签特征的学习，通过标签嵌入的方法获取丰富的标签信息，学习具有高区分度的标签特征从而更好地进行情绪子句和原因子句的匹配。2 相关工作现有的情绪-原因对抽取方法主要有两种：基于监督学习的方法和基于无监督学习的方法。2.1基于监督学习的方法情绪原因任务的提取前提是情绪的识别和分类，在有监督学习下，情绪原因抽取主要是通过设置相应的规则识别情绪原因。Poria等7在话语层次上识别交互的情绪原因任务，并根据原因的来源不同制定不同的原因类型，建立基于变压器的强大基线。Gao等8提出基于规则的中文微博情绪原因成分检测方法，通过构造情感词典识别不同的语言特征，得到不同情绪下不同原因的比例，在中文微博语料库上取得了较好的效果。张晨等9在情绪标注时不仅考虑了原因子句的标注，还将微博文本的情绪识别看作对表情符号的情绪识别，将情绪标注在表情符号上。Xu等10关注的是情绪原因的检测，即情绪的原因或刺激因素，提出一种使用事件提取框架的情感原因检测方法，通过基于树结构的表示方法来表示事件。Xiao等11考虑了子句的上下文信息和子句内部的情感独立特征，包括因果指示词等关键信息的融合。Fan等12将基于情绪和位置的正则化结合起来，以抑制参数学习。此外，更多的研究试图提取支持情绪的关键元素，即外部的情绪因素，通过手动构造特征以提高情绪-原因对抽取的准确率。2.2基于无监督学习的方法自神经网络出现以来，深度学习在表征学习中的表现更具说服力，因此被广泛应用于ECPE任务中。Gui等13将情绪原因抽取视为一项答案检索任务，设计一种基于卷积神经网络和记忆网络的方法来解决。Cheng等14借助长时记忆网络和短时记忆网络，通过对上下文建模，有效提高了情绪原因抽取的性能。Li等15探索词语上下文的相关性，并使用共同注意神经网络对子句的呈现进行建模。之后，Li等16将注意力的计算粒度从单词转换为子句，并提出一种基于多重注意的神经网络模型，增强对情绪-原因对的识别。此外，受其他自然语言处理（Natural Language Processing，NLP）任务方法的启发，研究人员进行了许多新的尝试。Fan等17提出一个顺序引导的深层预测模型，该模型将情绪子句及其原因子句之间的不同顺序集成到一个端到端的框架中来处理这一任务。Yu等18提出一个相互辅助的多任务模型，通过添加两个与原始任务相同的辅助任务以促进情绪和原因子句的抽取。该模型将两个辅助任务产生的预测结果作