基于知识图谱的智能问答意图识别联合模型_马自力.pdf

2023，59（6）知识图谱将知识以关系以及实体的形式储存，其结构与智能问答系统中问句的主谓结构具有一定的相似性，因此可以根据问句语义解析的结果直接定位到图谱中的知识，为智能问答的实现提供了重要的支撑。而意图识别作为知识图谱智能问答中重要的一环，其准确度直接决定了智能问答的效果。意图识别包含两个关键任务，即问句分类和实体抽取。目前学者们针对意图识别已经进行了大量的研究，特别是联合模型的出现，将问句分类和实体抽取两个模型结合在一起，同步训练、相互影响，充分利用了两个关键任务之间的强相关性，使得开放域问答意图识别的效果获得了巨大的提升。但在专业领域，由于联合模型对于领域知识图谱相关知基于知识图谱的智能问答意图识别联合模型马自力1，王淑营1，张海柱2，黎荣21.西南交通大学 计算机与人工智能学院，成都 6117562.西南交通大学 机械工程学院，成都 610031摘要：针对现有意图识别联合模型在专业领域知识图谱问答中容易发生识别领域实体以及问句分类错误的情况，提出一个结合了领域知识图谱的意图识别联合模型。该模型有三步，将领域知识图谱中实体对应的本体标签以及本体间关系导入训练数据集，形成包含本体标签的知识文本以及额外包含本体关系的知识文本图；通过字符级嵌入和位置信息嵌入将包含了本体标签的知识文本转化成嵌入表示并依据知识文本图创建实体关系可视矩阵，明确知识文本各成分的相关程度；将嵌入表示和实体关系可视矩阵输入模型编码层进行模型的训练。以高速列车领域知识图谱为例，经过准确率和召回率的验证，以该方法训练出的模型在高速列车领域问答数据集的意图识别任务上取得了更好的表现。关键词：知识图谱智能问答；意图识别；联合模型文献标志码：A中图分类号：TP3doi：10.3778/j.issn.1002-8331.2206-0419Joint Model of Intelligent Q&A Intent Recognition Based on Knowledge GraphMA Zili1,WANG Shuying1,ZHANG Haizhu2,LI Rong21.School of Computing and Artificial Intelligence,Southwest Jiaotong University,Chengdu 611756,China2.School of Mechanical Engineering,Southwest Jiaotong University,Chengdu 610031,ChinaAbstract：Aiming at the situation that the existing joint model of intention recognition is prone to identify domain entitiesand question classification errors in the question answering of professional domain knowledge atlas,a joint model of inten-tion recognition combined with domain knowledge atlas is proposed.The model has three steps.The ontology labels corre-sponding to entities in the domain knowledge map and the relationships between ontologies are imported into the trainingdata set to form the knowledge text containing ontology labels and the knowledge text map containing additional ontologyrelationships.The knowledge text containing ontology tags is transformed into embedded representation through characterlevel embedding and location information embedding,and the entity relationship visual matrix is created according to theknowledge text graph to clarify the correlation degree of each component of the knowledge text.The embedded represen-tation and entity relationship visual matrix are input into the model coding layer for model training.Taking the high-speedtrain domain knowledge map as an example,through the verification of accuracy and recall,the model trained by thismethod has achieved better performance in the intention recognition task of the high-speed train domain question andanswer datasets.Key words：intelligent Q&A;intention recognition;joint model基金项目：国家重点研发计划（2020YFB1708000）；四川省重大科技专项（2022ZDZX0003）。作者简介：马自力（1998），男，硕士研究生，研究方向为知识图谱应用；王淑营（1974），女，工学博士，研究员，研究方向为智能制造、工业大数据应用，E-mail：w_。收稿日期：2022-06-24修回日期：2022-09-23文章编号：1002-8331（2023）06-0171-08Computer Engineering and Applications计算机工程与应用171Computer Engineering and Applications计算机工程与应用2023，59（6）识的缺乏，导致在抽取领域实体时容易出现错误的现象，加之联合模型的影响，使得实体抽取的错误结果影响到问句分类，从而使意图识别的整体效果下降。因此，如何在现有意图识别联合模型的基础上，将领域知识图谱中的先验知识导入联合模型，并利用先验知识提高模型训练的效果，使其在进行领域实体抽取以及问句分类任务的准确率上升，是目前领域知识图谱智能问答意图识别中可以研究的问题。1相关工作意图识别联合模型即将问句分类与实体抽取任务同步进行1-3，两个任务之间信息共享，互相影响，利用两个任务的强相关性来提升模型效果。在意图识别联合模型方面，文献4提出了一种槽位门控机制来建立实体抽取与问句分类之间的联系，将问句分类的语义向量以一定方式融入到实体抽取语义向量内，提高实体抽取时文本嵌入表示所蕴含的语义信息，但该模型并未将实体抽取的结果反馈于问句分类，不属于真正意义上的联合模型；文献5循环神经网络（recurrent neural network，RNN）构建联合模型，并引入注意力机制为问句分类和意图识别提供额外的信息，但该模型并未在样本特征编解码的过程中利用两个任务的特征信息对样本特征向量进行实时影响，其效果仍然有待提高；文献6基于卷积神经网络（convolutional neural network，CNN）搭建联合模型，并为每个解码器层配备注意力模块来提高模型效果，该模型在解码过程中考虑两者影响，一定程度上提高了模型效果，但依然未在编码过程中进行向量的实时更新，并未让两个任务的信息交互达到最大化；文献7采用目前效果较好的BERT模型来执行联合训练任务，采用BERT的语义编码，形成Joint-BERT模型，并且在样本向量编解码过程中同时考虑两任务相互影响的策略大大提高了意图识别的效果，但是由于模型对于领域知识图谱中知识信息的缺乏，导致其在进行领域问答意图识别时容易出现错误的情况。以高速列车领域问句“转向架（01）有哪些故障”为例，如果模型缺乏对实例实体“转向架（01）”的知识，则很有可能将“转向架”误判为该问句中的实体；这些模型在单意图开放领域问答都取得了较好的效果，但是针对多意图，即一句话内包含多个问题，模型无法进行正确处理，根据此问题，文献8将问句多意图的问题转化为多标签分类问题，并依据文献4的思想来建立联系，在多意图识别联合模型上迈出关键一步。上述联合模型充分利用了意图识别任务中实体抽取和问句分类的强相关性，在模型效果上优于非联合模型，但是除开上诉问题以外，由于联合模型并未进行知识图谱的导入，造成模型对领域知识图谱相关知识的缺乏，特别在专业领域意图识别任务中，由于对相关专业知识的缺乏使得模型在专业领域意图识别上依然容易出现错误。将知识图谱与意图识别模型相结合旨在使模型预先学习到相关的知识，并依靠这些先验知识提高模型训练的效果。百度于2019年提出知识集成实现增强型表示模型（enhanced representation through knowledgeintegration，ERNIE）9，先通过实体链接对应上文本与知识图谱中的实体，然后通过TransE模型得到实体的向量表示，并且融入语义向量中，但该模型仅仅结合了文本中的实体信息，针对实体的关系并未拓展，信息不充分；文献10与文献9的思路类似，不同点在于其通过TF-IDF模型将实体及实体对应的三元组转化为向量并添加到对应文本的语义向量中，使其具有更为丰富的知识信息，但模型选择将向量直接导入的方式忽视了相关知识对于文本编码的影响，信息融合程度不高；文献11将文本的上下文与文本所对应的知识相结合，并一起采用掩码语言模型（masked language model，MLM）进行训练，将掩码的范围扩展到词语、实体及关系；文献12提出了一种基于实体的掩码机制，通过对文本中的实体进行掩盖删除等负采样措施来增强模型对知识的学习能力，形成Kg-BERT模型进行意图识别任务；文献13通过将知识图谱中的本体标签直接添加到原始文本中去，并创建实体可视矩阵表明新文本各成分之间的关系，将相关词语及其对应本体标签考虑到模型编码过程中，大大提升了模型的效果，该模型为K-BERT模型。上述模型虽然结合了知识图谱中的相关知识，但是基本都采用了非联合训练的思路，忽视了实体抽取与问句分类之间的相互影响，以高速列车领域查参数值问句“CRH380A中转向架的运营速度参数值是多少”为例，实体“运营速度”根据高速列车产品设计阶段的不同其实体类型也不同，在需求阶段实体“运营速度”属于需求项实体，而在设计参数阶段其属于参数项实体，采取非联合训练的思路进行意图识别，则忽视了问句类别“查参数值”与参数值实体“运营速度”之间的相互联系，容易造成模型对实体的误判。本文综合考虑上述文献中的研究成果，针对领域智能问答的意图识别，在采用目前效果最好的Joint-BERT联合模型的基础上，利用文献13的思路对模型进行知识图谱的结合，并在该文献的基础上额外考虑本体间关系的导入。在模型对文本进行编解码的过程中不仅利用实体抽取和问句分类任务的相互影响，并且导入图谱知识，达到利用知识图谱知识提高联合模型效果的目的。将结合知识图谱后的意图识别联合模型称之为JointKG-BERT模型。2JointKG-BERT模型2.1模型总体框架JointKG-BERT模型一共由4个关键部分组成，即知识图谱导入层、文本嵌入层、可视层以及 Transformer