融入依存句法信息的事件时序关系识别_李良毅.pdf

Computer Engineering and Applications计算机工程与应用2023，59（7）识别错综复杂的事件时序关系是理解文章内容的重要一环，在文本摘要、自动问答、时间线抽取等自然语言处理任务中有着广泛应用，因此受到许多研究者的关注。事件时序关系识别旨在梳理文中各事件发生的先后关系，通常使用事件触发词来指代事件，事件触发词为事件句中能代表事件发生的词，尤以动词与名词（实体）居多，如“Liverpool ch c c hi r rng nht融入依存句法信息的事件时序关系识别李良毅1，2，张亚飞1，2，郭军军1，2，高盛祥1，2，余正涛1，21.昆明理工大学 信息工程与自动化学院，昆明 6505002.昆明理工大学 云南省人工智能重点实验室，昆明 650500摘要：事件时序关系识别有助于读者理清文章脉络，把握全局发展趋势，是重要的自然语言理解任务之一。现有的事件时序关系识别方法专注于提取事件触发词前后的局部信息，然而事件句中的事件信息分布较为分散，导致模型在编码过程中丢失部分事件信息。针对上述问题，针对文本特征提出一种双路依存注意力机制来聚合事件句信息，通过单词的父子节点信息构建出双路依存矩阵，将句法信息融入到词嵌入中。将该机制与双向长短期记忆网络（bidirectional long short term memory，Bi-LSTM）结合，可以使事件时序关系模型的性能得到显著提高。该文在越南语数据集与英语数据集上进行对比实验，结果表明所提方法优于主流的神经网络方法。关键词：事件时序关系；注意力机制；事件关系识别；对抗训练；依存句法文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2110-0338Event Temporal Relation Identification with Dependency InformationLI Liangyi1，2,ZHANG Yafei1，2,GUO Junjun1，2,GAO Shengxiang1，2,YU Zhengtao1，21.Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming650500,China2.Yunnan Key Laboratory ofArtificial Intelligence,Kunming University of Science and Technology,Kunming 650500,ChinaAbstract：Event temporal relation identification is an important natural language understanding task.This task helps readersto analyze the content of the article and clarify the development of events.Most of existing event temporal relation identi-fication methods focus on extracting the semantic information around the trigger,but the information in the event sentenceis relatively scattered,which leads the model to lose part of the event information.To address the above problems,a bidi-rectional dependency attention mechanism is proposed to aggregate event information.A bidirectional dependency matrixis constructed based on the parent-child node information of words,and syntactic information is integrated into word embed-dings.Combining this mechanism with Bi-LSTM（bidirectional long short term memory）network,this model can significantlyimprove the performance of event temporal relation identification.It conducts comparative experiments on Vietnamesedatasets and English datasets,the results show that this method is superior to the mainstream neural network methods.Key words：event temporal relation;self-attention mechanism;event relation identification;adversarial training;depen-dency parsing基金项目：国家自然科学基金（61762056，61972186，61732005，61761026）；国家重点研发计划（2018YFC0830105，2018YFC0830101，2018YFC0830100）；云南高科技人才项目（201606）；云南省重大科技专项计划（202002AD080001-5），云南省基础研究计划（202001AS070014，2018FB104）。作者简介：李良毅（1996），男，硕士研究生，CCF学生会员，研究方向为自然语言处理，E-mail：；张亚飞（1981），女，博士，副教授，CCF会员，研究方向为自然语言处理、模式识别；郭军军（1987），男，博士，副教授，研究方向为多模态机器翻译、信息检索；高盛祥（1977），女，博士，副教授，CCF会员，研究方向为机器翻译、信息检索；余正涛（1970），男，博士，教授，CCF高级会员，研究方向为自然语言处理。收稿日期：2021-10-25修回日期：2022-04-15文章编号：1002-8331（2023）07-0110-081102023，59（7）pht 42，b th mn Newcastle Darlow ca cn phc。”（译文：在第42分钟利物浦得到绝佳机会，但被纽卡斯尔的门将达洛阻挡下来），在上述事件句中包含两个事件，对应的触发词是“得到”与“阻挡”，分析句子可知“得到”发生在“阻止”之前，因此该事件对的事件时序关系为“BEFORE”（之前）。现有的事件时序关系识别方法通常将文中事件两两配对，识别各事件对的时序关系。模型以带触发词标记的事件句作为输入，通过编码器从事件句提取出事件时序关系表示，再为事件对的时序关系做出分类。在上述流程中的关键在于从文本中提取出事件时序表示。目前已有大量工作致力于改进事件句的编码方式，例如，Ning等1提出使用双向长短期记忆网络结构编码事件句。Han等2提出使用联合任务模型来编码事件句。尽管上述方法已在事件时序识别任务中取得较大的成功，但它们所提出的编码方法只专注于提取事件触发词前后的语义信息。然而，事件信息并不总是出现在事件触发词前后，这导致部分事件信息在编码时丢失。依存句法理论将谓语视作句子核心，其他成分直接或间接地与谓语存在依存关系，根据单词间的依存关系单向连接各个节点所形成树结构被称为依存句法树，如图1所示。依存句法从词语搭配角度分析句子，能够帮助模型聚焦事件时序信息，已被广泛应用在事件关系抽取任务中。为此，本文提出使用依存信息指导模型编码事件时序表示，将机器翻译任务中的依存注意力机制3引入分类任务中。由于依存注意力机制仅关注父级依赖，限制了模型对于句法的理解能力，本文提出一种双路依存注意力机制，该机制考虑到单词“被依赖”的情况，更全面地理解事件句中各单词所扮演的角色。双路依存注意力机制用于提取事件触发词及其依存路径信息，同时使用Bi-LSTM提取触发词及上下文的语义信息，从而提高模型的识别性能。1相关工作1.1传统方法早期的时序关系研究基于规则匹配的思想，针对文本特征制定一系列事件时序关系规则，将文本与规则模板进行匹配，推理出文中事件的时序关系。Verhagen等4提出按照语法规则匹配事件及相应的时间表达式，基于时间表达式识别出事件间的时序关系。Bethard等5为提高规则的准确性，提出在匹配规则中加入词性，二进制码，时态等语言特征。为更好地研究时序关系任务，Saur等6提出 TimeML规范，用于构造标准化的时序关系数据，该规范包含自然语言文本中所涉及事件和时间表达式的标注方式，如今TimeML已成为事件时间表达的ISO标准规范，由此标准构建出英文语料库Timebank7。随着机器学习的发展，许多学者将统计机器学习方法应用于事件时序关系识别领域。Chambers等8提出将时序识别任务分为两个阶段，一阶段识别出文中所涉及事件与时间表达式，二阶段对识别出的事件进行时序关系分类。Mani等9提出利用最大熵分类器来进行时序关系，使用时态，实体词性，事件类型等作为模型特征。Chambers等10提出一种结合模式匹配与机器学习的方法，并将任务扩大到全体事件与时间表达式的时序关系识别。上述基于规则匹配和机器学习算法的方法不仅需要消耗较多资源来构建特征工程，而且对文本的书写规范要求较高，在召回率与实用性方面均不理想，较难在开放式的事件时序识别任务中得到广泛应用。1.2基于深度学习的方法近年来，随着神经网络模型的发展，深度学习逐渐成为时序关系识别任务的主流。Vashishtha等11提出为事件持续时间划分细粒度，并将事件持续时间作为辅助信息加入该任务。Ning等12基于因果关系和时序关系的逻辑规则，提出一种事件时序关系与因果关系联合识别方法。Meng等13提出运用神经图灵机结构来存储处理过的事件时序关系，当再次遇到相关实体时能够快速检索处理过的信息来指导当前时序关系的判断。Han等14提出一种联合识别事件检测与时序关系方法，两个任务共享事件编码层以辅助事件时序关系识别，并使用结构化支持向量机（structured support vector machine，SSVM）进行全局推理，以保证事件对的时序关系不会互相冲突。Han等15又提出在新闻和医疗这类特定领域提取先验知识来辅助事件时序关系识别。Han等2提出一个联合训练模型，该模型在识别事件时序关系的同时，还替换事件句的事件触发词与时序指示词，要求模型识别输入事件与指示词的真伪，增强模型的阅读理解能力。Cheng等16提出舍弃部分上下文，仅保留依存句法树中与触发词相关的部分路径。该方法虽去除了事件句的冗余信息，但舍弃了大部分的上下文，被舍弃的文本中可能包含着关键信息，模型性能受到制约。相较于传统方法，深度学习的方法虽对数据量有一定要求，但它们的实用性强，召回率高，因此该类方法在事件时序关系识别领域中有着较大的研究价值。2融入触发词依存信息的事件时序关系识别方法本文提出融入依存句法信息的事件时序关系识别模型，该模型的整体框架如图2所示，分为三个模块：输图1依存句法树示意图Fig.1Dependency syntax tree diagramr rngphtLiverpoolch c hicnht42李良毅，等：融入依存句法信息的事件时序关系识别111Computer Engineering and Applications计算机工程与应用2023，59（7）入模块、编码模块与分类模块。（