多注意力机制的文本摘要事实一致性评估模型_魏楚元.pdf

2023，59（7）自动文摘是自然语言处理领域的一个重要研究方向，其目的是通过对原文本进行压缩、总结、提炼，为用户提供能够覆盖原文核心内容且简明扼要的文字描述。随着互联网的迅猛发展，文本信息资源呈现出指数增长，以致人们无法从海量的信息中方便快捷地获取重要内容。文本摘要（text summarization）技术可以将大多注意力机制的文本摘要事实一致性评估模型魏楚元1，张鑫贤1，王致远1，李金哲1，刘杰21.北京建筑大学 电气与信息工程学院，北京 1026122.北方工业大学 信息学院，北京 100144摘要：文本摘要事实一致性是摘要内容与源文档内容的信息一致。最近的研究表明，文本摘要模型生成的摘要存在较多与原文事实不一致的问题，设计能够检测并评估出事实不一致错误的方法至关重要。目前基于自然语言推理的方法存在对源文档内容提取简单，推理信息交互不充分等问题。提出多注意力机制的文本摘要事实一致性评估模型，利用预训练模型微调的sentence-BERT模型挑选源文档中的关键句，然后将摘要句与关键句组合成句子对，输入BERT模型编码获得向量表示结合ESIM进行句子对的推理，利用图注意力网络完成推理信息的聚合，提高文本摘要事实一致性评估模型的准确率。实验结果表明，该算法与多个典型算法在在领域内常用的数据集进行实验比较，其可行性和有效性得到验证。关键词：文本摘要；事实一致性；BERT；图注意力网络；交互注意力文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2208-0167Factual Consistency Assessment Evaluation Model for Text Summarization Based on Multi-Attention MechanismWEI Chuyuan1,ZHANG Xinxian1,WANG Zhiyuan1,LI Jinzhe1,LIU Jie21.School of Electrical and Information Engineering,Beijing University of Civil Engineering and Architecture,Beijing102612,China2.School of Information Science,North China University of Technology,Beijing 100144,ChinaAbstract：Factual consistency of text summarization is consistent with information of the source document and thesummarization.Recent researches have shown that there are large number of factual inconsistencies existed in the outputsof abstractive summarization models.It is important to design a method that can detect and evaluate the error of factinconsistency.Most of existing methods based on natural language inference have insufficient ability to extract key contentof source document and infer the information of content.This paper improves the accuracy of consistency assessmentmodel for summarization by multi-attention mechanism.Firstly,the key sentences are selected according to sentence-BERT,which is fine-turning on pre-trained language model.Each evidence and claim are formed into separate sentencepairs and sent to the BERT encoder to obtain the vectors of the sentence pairs representation,then it achieves evidence rea-soning by the vectors combined with ESIM.Finally,the graph attention network is used to complete the aggregation ofinferential information to obtain the fact consistency assessment result.Experimental results show that this algorithm iscompared with several typical algorithms in common datasets in the field,and its feasibility and effectiveness are verified.Key words：text summarization;factual consistency;BERT;graph attention network;interactive attention基金项目：国家科技创新-2030重大项目（2020AAA0109700）；国家自然科学基金（62076167）。作者简介：魏楚元（1977），男，博士，副教授，硕士生导师，CCF高级会员，研究方向为自然语言处理、数据挖掘，E-mail：wei-；张鑫贤（1997），男，硕士研究生，CCF学生会员，研究方向为自然语言处理；王致远（1999），男，硕士研究生，研究方向为自然语言处理；李金哲（1999），男，硕士研究生，研究方向为自然语言处理；刘杰（1970），男，博士，教授，博士生导师，CCF高级会员，研究方向为自然语言处理。收稿日期：2022-08-11修回日期：2023-01-13文章编号：1002-8331（2023）07-0163-08Computer Engineering and Applications计算机工程与应用163Computer Engineering and Applications计算机工程与应用2023，59（7）量的长文本信息“压缩、提炼”成内容精炼的短文本信息，帮助人们快速获取重要内容，广泛应用于新闻摘要生成、电商平台评价摘要、文本信息检索等场景，一直受到了广泛的研究和关注。文本摘要通常分为抽取式摘要（extractive summa-rization）和生成式摘要（abstractive summarization），抽取式摘要是从原文中抽取重要句子重新组合成摘要，生成式摘要则是重新表述原文的中心思想与重要内容来生成摘要。抽取式摘要发展相对成熟，生成式摘要通过语言模型、信息融合、信息压缩等自然语言生成技术生成摘要，更具有挑战性。近年来，文本摘要生成模型成为研究热点，特别是基于序列到序列（sequence tosequence）的编码器-解码器框架在生成式摘要模型取得了良好的效果，能够在一定程度上生成流畅且可读性强的摘要1。同时，以 BERT2为基础的预训练语言模型（pre-trained language model）在自然语言处理任务上表现出色，生成式摘要的效果显著提升。然而，当前生成式摘要领域仍然面临着诸多挑战，其中比较明显的问题是，生成式模型输出的摘要中有较多的内容包含这样的事实不一致的错误3。事实不一致是指模型生成的摘要存在与原文内容或者与原文外部的世界知识不一致的现象。文献4最早提出事实一致性问题，观察到在SOTA的生成式摘要模型中有30%的输出存在事实性一致性错误。这种现象给生成式摘要系统的可信性和实用性带来了严重的挑战。生成式摘要基于模型的特点，具有自由文本的生成能力，生成后的摘要不完全遵从原文本给出的隐式约束。在生成的摘要中，通常包含与原文不相关的信息或者与原文事实不一致的信息。因此，提出能够检测并评估出事实不一致错误的方法至关重要，它也是修正生成式摘要事实不一致内容的前提5-6。本文主要研究事实一致性的评估方法，从自然语言推理（NLI）的角度进行生成式摘要事实一致性的评估，提出一种多注意力机制的文本摘要事实一致性评估模型。该模型针对预训练模型输入的局限性导致对源文档内容的截断以及在推理中信息交互不完善的问题，提出结合预训练模型的句向量检索方法以及利用多注意力机制在多条证据推理后聚合信息两方面的改进方法。实验结果表明，结合预训练的句向量检索方法以及结合多注意力机制的证据推理与聚合方法，能够更好地帮助模型实现NLI角度的文本摘要事实一致性评估。本文主要创新点如下：（1）将预训练的句向量检索方法应用于生成式摘要的事实一致性检测框架中，验证了其对比传统检索方式的有效性，避免了粗暴截断文章内容导致的重要信息丢失问题。（2）将图注意力机制引入新近评估框架中证据推理阶段，验证了证据间信息交互对事实一致性判断的效果。1相关工作针对生成式摘要的事实一致性问题的评估方法研究，主要分为基于元词重叠率方法及其变体方法、事实信息抽取比对、文本问答以及自然语言推理等四类方法。基于元词重叠率的方法，是根据模型生成的摘要与人工编写的参考摘要之间元词的准确率和召回率来判断文本生成的质量。文献7从准确率的角度分析候选译文与参考译文中元词共同出现的程度，提出了广泛使用的机器翻译评估指标BLEU。文献8基于召回率的角度设计了与BLEU类似的文本摘要评价指标ROUGE，其变种ROUGE-N和ROUGE-L广泛应用于文本摘要的评估中。ROUGE-N考虑生成摘要与参考摘要之间的元词召回率，ROUGE-L考虑生成摘要与参考摘要之间的最长公共字句的长度。它们提供了一个简单和普遍的衡量标准，但未能从语义的角度充分判断生成摘要与参考摘要之间的关系。因此，部分研究者9-10利用预训练语言模型BERT提取生成摘要与参考摘要的上下文表征，利用余弦距离计算相似程度提出了BERTScore9方法，利用推土机距离计算相似程度提出了MoverScore10方法，这类方法未能考虑到生成摘要与源文档内容的相关性。部分研究者11-13提出事实信息比对的方法，利用现有的工具提取相关信息，计算生成摘要与源文档之间的事实重叠程度。文献11将事实信息表示为（主体、关系、对象）的三元组形式，利用openIE工具12自动提取三元组信息，将两组三元组的信息匹配程度作为事实一致性的评估方法。文献13将生成摘要与源文档之间实体信息的共现程度作为事实一致性的评估方法。无论是基于三元组还是实体信息的比对，该类方法都无法充分考虑到事实信息，不足以充分评估摘要的事实一致性。文献14-15将文本问答引入的事实一致性评价方法，分别提出QAGS模型和FEQA模型。基于问答系统的方法是针对摘要和源文档设计并训练问题生成模型和问题回答模型，根据摘要和源文档对相同问题的答案的相似度计算事实一致性得分。问题生成和问题回答模型的阅读理解能力使得这些方法在事实一致性评估任务中有很好的表现，同时也在一定程度上提供了解释性。然而，由于需要分别训练问题生成和问题回答模型，基于文本问答的事实一致性评价方法训练周期较长，成本较为高昂。遵循摘要与源文档在语义上要求事实一致的观点，文献16提出使用NLI工具来评价摘要的事实一致性。文献17从现有的问答数据集中创建新的长前提句的自然语言推理数据集，训练