基于图卷积神经网络和知识图谱的问答方法研究_白鑫竹.pdf

第 25 卷第 1 期2023 年 1 月大 连 民 族 大 学 学 报Journal of Dalian Minzu UniversityVol25，No1January 2023收稿日期:20221115;最后修回日期:20221210基金项目:国家自然科学基金资助项目(61876031);辽宁省自然科学基金一般项目(2022BS104)。作者简介:白鑫竹(1997)，女，辽宁沈阳人，大连民族大学计算机科学与工程学院硕士研究生，主要从事问答系统研究。文章编号:20961383(2023)01007308基于图卷积神经网络和知识图谱的问答方法研究白鑫竹，孟佳娜，许明鑫，齐鹏，江烽(大连民族大学 计算机科学与工程学院，辽宁 大连 116650)摘要:为了解决现实应用场景中具有实时动态的复杂问答问题，提出一种结合图卷积神经网络和动态知识图谱的 SpanBETGCNLSTM 模型。首先利用时序数据构建知识图谱，然后利用图卷积神经网络获取时序数据中的时间信息丰富知识图谱的表示，赋予知识图谱动态特征，最后将事实三元组拓展为带时间四元组表示，用于问答任务。为验证所提出方法的有效性设计了对比实验，结果表明:该模型评价值优于其他模型，能够较好地应用于在时序知识图谱问答任务。关键词:知识图谱;问答;时间信息;图卷积神经网络中图分类号:TP391文献标志码:Aesearch on Question Answering Method Based on GraphConvolutional Neural Network and Knowledge GraphBAI Xinzhu，MENG Jiana，XU Mingxin，QI Peng，JIANG Feng(School of Computer Science and Engineering，Dalian Minzu University，Dalian Liaoning 116650，China)Abstract:In order to answer complex questions with realtime dynamics in real application sce-narios，this paper proposes a SpanBETGCNLSTM model combining graph convolutionalneural network and dynamic knowledge graph First，the knowledge graph is constructed usingtime series data，and then the graph convolutional neural network is used to obtain the time in-formation in time series data to enrich the representation of knowledge graph，giving the knowl-edge graph dynamic characteristics Finally，the fact triplet is expanded to a timed quadruplerepresentation for question and answer tasks In order to verify the effectiveness of the proposedmethod，a comparative experiment is designed The results show that the evaluation value of themodel is better than other models，which can be better applied to the question answering task inthe time series knowledge graphKey words:knowledge graph;QA;time information;graph convolutional neural network随着问答系统的出现，用户获取想要的知识变得十分便捷。第一个问答系统理论是在 1960年代由艾伦麦席森图灵提出著名的图灵测试1。随着人工智能的兴起而产生巨大更迭，具有代表性的问答系统越来越多，传统问答系统也面临新的挑战。具有代表性的问答系统包括 Baseball、Lunar 等系统。Baseball 问答系统是最早在实际生活运动领域中发挥作用的系统之一;Lunar 系统应用在科研领域，分析月球中矿石成分。两者都可以解决简单的问题，缺点是必须使用固定的提问形式，如果问题本质相同但换了一种说法就会导致识别不出来DOI:10.13744/21-1431/g4.2023.01.014用户意图，这些系统灵活性较低，可处理数据匮乏，应用效率低下。1980 年计算语言学快速发展，研究重心转向利用语言学改进固定式问答，提升准确率的同时提高问题多样化，典型代表系统为 UnixCon-sultant 系统2。在后续十年里，互联网的发展及数据量爆炸式增长，出现了基于数据库检索匹配的问答系统1，它从用户输入的问题中提取关键词，在文本库或网页中搜索匹配文档。这种方法与以往相比取得更好的效果并降低了成本，但采用的数据来自网页或文档中抽取的非结构化数据，数据未能规范化，导致处理效果并不理想。直到知识图谱(Knowledge Graph)3 的出现，填补了传统问答知识库1 结构化程度低，缺乏高质量知识，单一性和局限性的缺陷。将数据整合为一个结构化的系统，优化了数据的质量。智能问答系统也由基于文档形式的智能问答转变为基于知识图谱的智能问答，实现问答结果的多样化，迎来质的飞跃4。健康医疗、政务、金融学、旅游推荐等领域应用多与时间相关，因此产生了较多与时间密切相关的时序数据，具有高度动态的特点，表现出复杂的时间特性。在知识应用过程中，历史事件必须限定在特定时间才具有参考价值，说明知识存在时效性。传统方法是面向三元组建模，其相似性评估计算仅涉及实体和关系，缺乏时间维度信息，因此并不适合于动态知识库的问答。针对上述问题，本文提出结合图卷积神经网络和动态知识图谱的方法，对时序问题的实体和语义相似关系进行一定程度的区分。本文利用时间一致性信息排除候选三元组中的干扰项，引入时间信息将三元组拓展为四元组表示，提升实体、关系表示学习的质量以及知识推理的准确性。1相关工作11时序知识图谱知识图谱是智能化信息检索与知识推理最常用的技术，2012 年由谷歌提出并用于智能化语义搜索5。当前有代表性的知识图谱产品包括当DBpedia，YAGO，CNDBpedia，搜狗知立方等。问答系统6 是知识图谱的重要应用方向，输入问题后能从知识图谱中快速找到正确的答案，并呈现给用户。传统知识图谱的研究主要集中在静态知识图谱，静态知识图谱的事实不会随着时间的变化而变化，而一些与时间紧密相关的事件的知识，则需要用包含时间信息的动态知识图谱进行描述。时序知识图谱是一个多关系有向图，关系上带有时间戳信息，Jiang 等6 2016 年首次将时间信息编码到知识图谱的表示学习中，将时序知识图谱中带有时间戳信息的三元组建模为四元组(h，r，t，)，表示三元组在时间间隔内有效或者在时间点 时有效，提出了 TransETAEILP 模型。时序知识图谱表示为 K=(h，r，t，)|h，t ，r，T，其中 是实体集合，是关系，T 是时间戳信息集合。TransETAEILP 模型如图 1。图 1TransETAEILP 模型图相比静态知识表示，时序知识图谱引入时间实体和关系的信息编码表示，捕获知识图谱中时间信息和事实的动态性质，能缓解语义相似关系混淆。并将时间信息融入表示学习的过程中，捕获知识图谱中的时间一致性信息，减少模型预测的干扰项，利用时间信息辅助时间序列进行预测。12自动问答高效准确的答案选择是知识图谱问答的研究重点，主流方法是用深度学习模型寻找问答对之间的语义关系，CNN(Convolutional Neural Net-work)被证明在答案选择任务中并且取得了不错的效果7，随后 LSTM(LongShortTermModel)也被证明对答案选择任务有较好作用8。注意力机制也为丰富句子语义提供了新思路，Zhang9 等人在混合神经网络模型的基础上，将注意力机制引入中文问答选择并证明可以捕捉更多问答对的有效特征。但是深度学习模型和注意机制的研究思路只考虑挖掘问答文本本身的语义关系，而没有考47大连民族大学学报第 25 卷虑到联系外部知识，基于实体嵌入10、关系嵌入的方法解决了这个问题。NN(ecurrent NeuralNetwork)被证明能够从文本序列和短语角度提取有效语义信息，解决了口语化严重的问题10。2本文方法图的结构是不规则的，是无限维的一种数据，所以没有平移不变性。每个节点的周围结构都是独一无二的，这种结构的数据使传统的 CNN、NN失效。而 Graph Convolutional Network(GCN)可以基于图结构从原始节点的特征中提取特征信息，加入 GCN 能够从未训练的节点中提取特征。SpanBET 能够更好地表示和预测文本的分词情况，加入 SpanBET 能够融合双向语言模型，从而学到单词上下文语义。LSTM 在序列建模问题上有一定优势，具有长时记忆功能。实现起来简单，解决了长序列训练过程中存在的梯度消失和梯度爆炸的问题。LSTM 能计算时间序列中各个观测值之间的依赖性，更好地用于预测。为了充分捕捉时序问答文本语义特征，本文提出 SpanBETGCNLSTM 答案选择模型。通过引入外部知识图谱，强化问答文本中的时序实体关系信息。首先用 SpanBET 获取问题相关KG 事实，构建问题相关的 KG 子图以及它们之间的相互联系，采用 LSTM 编码历史，用相关的时间事实来扩充候选图并传到下游任务。受 GAFTNet 模型11 的启发，用 GCN 构建节点分类模块，整体模型架构图如图 2。图 2整体模型架构图21基于嵌入的动态实体推理时间推理是从非结构化或半结构化的文本数据中提取时间信息，构建时序知识图谱中的时间维度，对输入到模型的问题简单处理，包括实体提取和时间信息提取两个步骤。因为有些问题中的时间信息不可用，所以把这样的信息删除掉以免对时序知识图谱的构建产生影响。时间的表达是多样的，为防止在时间信息的获取过程中，直接使用对模型的训练产生影响，因此使时间信息规范化并分类。再用 subject 和 object 替换问题中的重点词使文本在训练模型中更通用，动态实体推理模型如图 3。低维向量 ve表示实体 e 在时间 t 的特征嵌入。实体的潜在表示根据实体间关系而随时间变化，基于深度递归神经网络的更新函数，本文捕获向量空间中实体动态。表示更新函数，主体实体 es和对象实体 eo表示被 subject 和 object 替换的实体，在时间 t 发生的事件是实体 es的第 p 个事件，同时是实体 eo的第 q 个事件，其中 tp、tq观测到事件的时间tp1、tq1是预测上一个事件的时间，W 表示参数权重，b 表示偏置，subject 和 object 的嵌入分别为:ves(tp)=(Wsttp tp1()+Whestp()，(1)veo(tq)=(Wottq tq1()+Wheotq()。(2)图 3动态实体推理模型57第 1 期白鑫竹，等:基于图卷积神经网络和知识图谱的问答方法研究22基于 SpanBET 的答案图构建SpanBET 是 BET 的一种扩展，在本文中执行问题解析任务，识别时态知识图谱中问题相关的事实。与 BET 的区别其一，BET 的处理目标 token 是随机不确定的，SpanBET 的目标token 是连续不间断的。SpanBET 不再对随机的单个 token 添加掩膜，而是对随机对邻接分词添加掩膜