基于图注意力和表指针网络的中文事件抽取方法_刘炜.pdf

基于图注意力和表指针网络的中文事件抽取方法刘 炜，马亚威 彭 艳 李卫民摘 要现有的中文事件抽取方法存在触发词和论元依赖建模不足的问题，削弱事件内的信息交互，导致论元抽取性能低下，特别是论元角色存在重叠的情况下对此，文中提出基于图注意力和表指针网络的中文事件抽取方法（，）首先，融合预训练字符向量和词性标注向量作为特征输入，并利用双向长短期记忆网络，得到事件文本的强化语义特征再将字符级建模的依存句法图引入图注意力网络，捕获文本中各组成成分的长距离依赖关系然后，使用表填充的方法进行特征融合，进一步增强触发词和其对应的所有论元之间的依赖性最后，将学习得到的表特征输入全连接层和表指针网络层，进行触发词和论元的联合抽取，使用表指针网络对论元边界进行解码，更好地识别长论元实体实验表明：在 和 这两个中文基准数据集上都有明显的性能提升，并且字符级依存特征和表填充策略在一定程度上可以解决论元角色重叠问题 源代码地址如下：关键词 中文事件抽取，论元角色重叠，图注意力网络，表填充，表指针网络引用格式 刘 炜，马亚威，彭 艳，李卫民基于图注意力和表指针网络的中文事件抽取方法模式识别与人工智能，（）：中图法分类号 ，（），收稿日期：；录用日期：，；，国家自然科学基金重大项目（）、浦江国家实验室项目（）资助 （），（）本文责任编委 林鸿飞 上海大学 计算机工程与科学学院 上海 上海人工智能实验室 上海 上海大学 人工智能研究院 上海 ，第 卷 第 期模式识别与人工智能 年 月 ，：，（）：事件抽取（，）是信息抽取领域最具挑战性的任务之一，是指从非结构化的文本中自动识别事件类型及其参与者的技术，广泛应用于事理图谱构建、舆情分析、信息检索等方面，是自然语言处理（，）在工程应用领域强有力的技术支撑之一根据自动内容提取（，）评测会议给出的定义，事件抽取分为事件检测和论元抽取两个子任务，其中，事件检测是从一段文本中识别触发词并判断它所属的事件类型，论元抽取是识别事件的参与者并分析它们在事件中充当的角色近年来，得益于神经网络强大的特征提取能力，基于深度学习的方法是事件抽取领域研究的主流针对最大池化机制可能会丢失有助于事件抽取任务的语义信息的问题，等提出（），捕捉句子中局部的重要语义信息 等提出（），在编码阶段使用双向循环神经网络（，）学习句子级特征，在预测阶段，引入记忆矩阵和记忆向量，建模事件类型和论元角色之间的依赖关系 等提 出 （），利用预训练模型生成部分训练数据，并通过角色预测分离的方法处理论元抽取中存在的角色重叠问题然而，由于中文会出现分词结果和触发词或论元边界不匹配的情况，上述方法在中文事件抽取任务中并未取得理想效果针对这一问题，等将事件检测任务转化为序列标注任务，将中文字符和分词结果分别输入模型中，然后使用卷积神经网络（，）捕捉局部词汇特征，使用双向长短期记忆网络（，）捕捉句子级特征，用于检测（，）标注模式标注的触发词标签针对中文事件抽取中存在的触发词歧义问题，等引入外部知识库，增强字符和词汇的语义特征表示，并使用树状长短期记忆网络（，）融合多种特征，用于事件检测 等考虑到字符特征和词语特征融合的过程中，各个字符的语义信息不同，以及字符信息与其在词汇中的位置也有关系，提出一种字符级别的注意力机制，学习各个字符和词语之间的权重，以便更好地融合字符和词汇的语义信息 等提出（），针对论元角色重叠问题，使用预训练模型学习事件三元组触发词，论元角色，论元之间的相互依赖关系，并设计多个二分类器，判别触发词和论元的起止位置 等提出（），针对触发词和论元重叠问题，提出具有级联解码的联合学习框架，分阶段完成事件类型、事件触发词和事件论元的抽取，并采用多任务学习的方式捕获子任务之间的依赖关系但是，上述方法大都将句子表示为顺序结构进行建模，导致模型在捕捉文本中各组成成分的长距离依赖关系时，效果并不理想相比顺序建模，通过依存句法弧可以强化触发词和关键论元之间依赖关系，缩短触发词间的距离，进而促进事件内和事件间的信息交互为此，近年来一些学者陆续利用图神经网络结合依存句法分析（，）进行建模 等使用图卷积网络（，）和模式识别与人工智能（）第 卷依存句法图，增强多个事件之间的信息交互等在 和句法依存图的基础上，引入注意力机制，聚合多阶句法关系，进行触发词的识别等将事件编码为语义图，事件触发词和论元作为图中节点，进而把事件抽取转化为一个图解析问题，用于捕获事件内的复杂交互同样，相比英文文本，中文句法结构复杂，存在主语或宾语常常省略、在复杂句子中难以找到清晰的从 句 分 割 词（如 英 文 中 的，等）以及分词错误引发的误差传递等问题，导致句法特征未较好地融入中文事件抽取任务针对上述差异和挑战，等提出（），设计依存句法分析和中文字符结合的方式，并引入图注意力网络（，），捕捉句法树中各组成成分的长距离依赖关系，然而未单独处理触发词和论元依赖建模不足的问题，也未考虑论元角色重叠的情况，因此论元抽取没有显著的性能提升此外，基于表填充（，）的方法也广泛应用于信息抽取任务中 基于表填充，等提出实体关系联合抽取方法，捕捉二者的相关性，有效解决实体重叠的问题 等提出网格标注方案，将面向方面的观点抽取（，）转化为词对标注任务，效果良好 等将论元抽取建模为表填充问题，提升英文语料上多事件抽取的性能综上所述，尽管当前事件抽取方面已有较多的研究工作，但是还尚未很好地解决中文事件抽取中存在的触发词和论元依赖建模不足、论元角色重叠难以抽取等问题触发词和论元依赖建模不足会削弱事件内的信息交互，导致论元抽取性能低下，特别是论元角色存在重叠的情况下此时，触发词和论元之间的依赖关系建模不足会导致模型只能成功分类论元对应的多个事件角色中的一个，进而导致论元抽取性能低下针对上述问题，本文提出基于图注意力和表指针网络的中文事件抽取方法（，）首先，使用知识增强语义表示模型（，）和 获取文本中各组成成分的深层语义特征然后，将语言技术平台（，）依存句法分析模块处理事件文本得到的依存句法树扩充为依存句法图，并引入图注意力网络层，捕获各组成成分间的长距离依赖关系 最后，在解码阶段引入表填充策略，进一步增强论元和其对应的所有触发词之间的依赖性，并将学习得到的表特征用于触发词和论元的联合抽取基于图注意力和表指针网络的中文事件抽取方法 模型框架本文将事件抽取建模为基于表格标注的多分类任务，提出基于图注意力和表指针网络的中文事件抽取模型（），框架如图 所示?0?L?，：图 框架图 第 期 刘 炜 等：基于图注意力和表指针网络的中文事件抽取方法 考虑到任务的最终目标是识别一些文本块作为事件触发词和论元，中文文本的分词结果会出现和这些文本块不匹配的情况，故基于序列标注的思想，本文将中文字符作为模型的基本处理单元对于输入模型的事件文本，首先，使用 对其切分编码，获取动态变化的字向量，并拼接词性标注向量作为句子编码层的特征输入再利用 获取句子的强化语义特征然后，将依存分析得到的依存句法图引入 层，捕获文本中各组成成分的长距离依赖关系使用表填充的方法进行特征融合，增强触发词和论元隐层向量之间的关联性最后，将学习得到的表特征输入全连接层和表指针网络层，并结合 分类器进行触发词和论元的联合抽取表特征对应的表格标签标注示例如图 所示在表中：触发词标签采用 标注模式，、表示“胜负”和“胜负”等触发词标签标识，对应的触发词是“淘汰”；论元角色采用表指针标注模式，表示“胜负”这一事件关联的论元角色“赛事名称”的标识，对应的论元为“欧洲杯”，使用两个表格分别标注论元的首尾位置0000000000000000000?0000000000000000000?700080000 15 090000000?7000800000 16 900000000000000000000000000?10 000 13 0000000000 23 000?10 000 13 00000000000 24 000000000000000000000?：?，?（）论元开始位置标注指针（）0000000000000000000?0000000000000000000?007000008 15 000900000?0070000080 16 009000000000000000000000000?00 10 00000 13 000000 23 000?00 10 00000 13 0000000 24 000000000000000000000?：?，?（）论元结束位置标注指针（）图 事件表格标注示例图 表格标注的方法可以标注句子中所有触发词论元对的关系，进一步增强触发词和论元之间的依赖性同时，相比选用条件随机场（，）作为解码器，使用表指针网络识别论元的首尾位置进行抽取，可有效解决长论元实体抽取断裂的问题 嵌入层 首先使用 对输入文本进行切分并编码，获取输入的字符向量 主要对（）的掩码机制进行改进，二者不同的掩码策略如图 所示，在训练中文文本时，只是随机掩码一些字，学到的更多是字与字之间的关系，如图（）中的“府”与“广”、“文”之间的局部关系而 通过对词、实体等语义单元的掩码，使模型除了能学到字与字之间的局部关系，还能学到如（）中所示的“广州”与“省会”之间的知识信息，进一步提升预训练模型的语义表示能力?mask?mask?,?mask?mask?（）?mask?mask?,?mask?mask?（）图 和 的掩码策略 对于给定的句子 ，其中，表示事件文本中的第个字符，表示句子的长度，可将其编码为定长的向量表示：，（），其中，表示字符嵌入向量的维度，表示 在文本前插入的 符号对应的输出向量，可作为句子的语义表示此外，在事件文本中，不同的组成部分常对应不同的词性例如，触发词的文本通常为动词，而论元的文本常对应名词或数词，不同类别的论元在词性上也呈现一定的分布规律，同时词性标注特征还能提供词汇的边界信息本文使用 的词性标注模模式识别与人工智能（）第 卷块对句子分词，并识别每个词的词性标签，使用 标注模式进行标注，然后随机初始化为 维词性标注向量：，最后，将 嵌入向量 和词性标注向量 进行拼接，得到输入句子 对应的嵌入向量序列：，（），其中，表示向量拼接操作，表示隐藏层维度句子编码层为了更好地融合句子中上下文语义信息，本文使用编码得到的嵌入向量序列，这一过程可被形式化为(，)，(，)，其中，、表示第 个字符左右两个方向的隐层向量，拼接这两个向量，得到句子的编码向量序列：，基于图注意力网络的依存特征提取句子编码层之后是依存特征提取层，使用 对依存句法图进行编码，可以更好地捕捉文本中各组成成分的长距离依赖关系，进而学习到蕴含丰富语义信息和句法结构信息的特征向量 是将图卷积和注意力机制结合的模型，当聚合邻域节点信息时，可为相邻节点分配不同的权重 同 时 本 文 将 中 的 自 注 意 力 层 扩 展 为 等提出的多头注意力机制，把输入转换到多个子空间，使模型关注邻域节点不同方面的特征信息，进而使训练后的模型结构更稳定本文使用的依存句法图的构造策略如下。）使用 的依存句法分析模块处理事件文本，得到依存句法树）参考文献 的做法，忽略依存句法树中“”指向根节点的弧和所有弧的标签）将依存句法图定义为 ，其中，表示节点集合，表示边集合，每条边 表示节点（，）之间的有向弧由于 和 可以较好地学习文本各组成成分的上下文语义特征，故这里将节点（，）内部最后一个字符（，）之间的连接表示边）针对每个节点，将其对应词语 内部字符“，”进行连接，完成对节点集 的扩充，通过在每个节点上添加自循环弧，完成对边集 的扩充字符级依存句法实例如图 所示?图 字符级依存句法图示例图 本文首先使用 层输出的特征 初始化依存句法图的节点嵌入：，其中 再计算节点对之间的关联度：（）（）（）（），其中，表示多头机制中第个注意力，和表示第层节点和的特征，（）表示线性投影矩阵，（）表示可学习的注意力权重向量，（）表示一个非线性激活函数然后对关联度进行归一化，得到节点 和邻域节点（）之间的注意力系数：（）（）（），其中 表示节点 的所