基于四元数图神经网络的知识图谱嵌入_白洁仙.pdf

第 卷第 期重庆邮电大学学报（自然科学版）年 月 （）：基于四元数图神经网络的知识图谱嵌入收稿日期：修订日期：通讯作者：白洁仙 基金项目：山西省教育科学规划课题（）：（）白洁仙，剧雷鸣（山西工商学院 计算机信息工程学院，山西 太原；南阳理工学院 软件学院，河南 南阳，）摘 要：针对当前大多数知识图谱嵌入方法对实体和关系的表示能力低、难以处理复杂关系的问题，提出一种基于四元数图神经网络的知识图谱嵌入方法，用于解决知识图谱的链路预测问题。该方法为了包含更丰富的关系信息，将四元数引入到知识图谱嵌入中对实体和关系建模，并考虑两者之间的共现关系。模型利用勒维图变换将知识图谱中的实体和关系转换为图网络中的节点，采用两者的共现关系构建图中的边；将四元数图神经网络（，）作为编码器模块，学习图节点的四元数嵌入；利用四元数空间内的哈密顿乘积构造评分函数对生成三元组进行排序。实验结果表明，所提模型能够很好地捕捉到实体与关系之间潜在的相互依赖关系，在知识图谱嵌入方面优于现有的嵌入模型。关键词：知识图谱；四元数；图神经网络；链接预测中图分类号：文献标志码：文章编号：（），（，；，）：，（），：；引 言知识图谱（，）用于存储人工智能任务的结构化语义信息，即将知识库表示为有向图，其节点和边分别表示实体和实体之间的关系。由于 能够以机器可读的方式对结构化、复杂的数据进行建模，因此，如今被广泛应用于多个领域，如智能问答、信息检索以及内容推荐等。然而，由于现实世界中的数据往往是动态的和不断变化的，并且知识图谱很难将人类所拥有的所有概念都融合进来，因此，现有的 通常是不完整的，需要进行知识图谱的构建。但是，自动构建更完整的 是一项艰巨的任务，通常学者将其表征为链接预测问题，其目标是在知识图中创建或恢复丢失的链接。链接预测（，）将知识图谱中实体和关系的内容映射到连续向量空间中，对知识图谱中的实体或关系进行预测。当前，研究人员已经提出了多种用于解决 任务的方法，大致可以分为基于分解的方法、基于路径的方法和基于嵌入的方法。基于分解的方法利用潜在语义信息将知识图谱中的实体关系三元组编码成张量形式进行计算，但是这类方法可能会涉及多个参数，且模型的效率和可扩展性都较低；基于路径的方法通过考虑一系列边的路径来创建丢失的链接，典型方法包括随机游走和路径排序算法。这类方法的解与步长有关，其步长越大，最优解的空间越大，但计算复杂度也越高；为了提高效率和降低复杂度，基于嵌入的方法将实体和关系嵌入到低维矢量空间，同时保留了 的结构及其底层语义信息。典型的嵌入方法又可归类为平移模型和神经网络模型两类。平移模型使用简单的操作和有限的参数来学习嵌入，但是它们在没有捕获语义信息的情况下产生的嵌入质量较低。相比之下，基于神经网络的模型由于其对参数效率和复杂关系的考虑，能够学习更多的表达性嵌入，可以获得更好的嵌入质量。等提出了一种用于链路预测的多层卷积网络模型，使用多个过滤器以生成不同的特征映射，并通过串联多个特征映射来获取全局关系。虽然模型具有较高的参数效率，但该方法仅单独地处理三元组，而无考虑元组间的关系。等提出了一种基于图注意力网络的特征嵌入，该模型通过捕获实体邻域内的实体与关系特征来考虑三元组之间的隐含复杂关系。等提出了一种多关系图卷积网络，利用多关系图替代无向图来表示知识图谱中的各种实体关系组合，并获得较好的嵌入质量。尽管基于神经网络的嵌入方法被证明在链接预测任务中取得很好的效果，但是基于图神经网络（，）的 嵌入模型从未考虑编码器模块中实体和关系之间的共现问题，这可能会降低模型的性能。本文的出发点是基于有效的实体和关系，通常在新闻，文本和文件中更频繁地共同发生这一事实，例如，“墨尔本”与“澳大利亚”，“姚明”和“篮球明星”一起出现。为了发挥 在解决实际共现问题的优势，首先将给定的知识图谱构造成一个以实体和关系作为单个节点的图，然后根据实体和关系的共现计算节点间边的权重，最后应用基于图神经网络的 嵌入模型求解 任务。此外，为了提高模型对现实世界复杂关系的表现力，使用超复数值嵌入表示实体，四元数空间中的旋转表示关系来改进模型的性能。图神经网络在众多的嵌入模型中，主要通过学习节点和图的低维连续嵌入来分别预测节点和图的标签。作为嵌入模型的编码器模块，用于更新实体和关系的矢量表示。给定一个图（，），其中，和 分别表示节点和边的集合，数量分类为 和 。，表示图中的节点，（，）表示图中的边。连接一条边的 个节点称为邻居，以某个节点延伸出去边的数目称为节点的度。图的度矩阵 用于描述图中每个节点的度的矩阵。（）（）式中：表示节点 的度；表示图的邻接矩阵，用于表示图中节点的连接情况。，（，），（，）（）通过多层网络学习一个节点的特征向量，再将学到的特征向量送入分类器中进行任务分类。在每个节点的邻居上使用聚合函数进行更新迭代其向量，表示为（），（）（）式中：是 层可训练的权重矩阵；是节点 的输入向量；是类似 或 的非线性激活 重 庆 邮 电 大 学 学 报（自然科学版）第 卷函数；是节点 的邻居节点集。是节点 和之间的边常数，其定义为?（）（）式中：?是具有附加自连接的无向图 的邻接矩阵；表示单位矩阵；?是?的对角节点度矩阵。基于 的知识图谱嵌入知识图谱是一种多关系图，它提供了一种结构化的方式来组织有关世界的事实，并具备从现有知识中推断新事实的能力。在 中，事实由实体关系实体三元组（，）表示，其中，分别表示源实体和目标实体；表示实体的集合；表示关系；是关系的集合。的任务是利用 中现有的事实来推断缺失的事实，即通过嵌入模型利用已知实体对图节点之间的事实关系进行编码，预测三元组中的缺失实体，？（尾部预测）或？，（头部预测）。目前，大多数文献中使用自动编码器结构求解 任务，模型包括编码器和解码器 部分。编码器一般来说，被用作编码器模块来更新实体和关系的向量表示，然后将更新后的向量表示馈送到解码器模块，解码器模块（评分函数）根据节点特征计和得分函数获得有效三元组。但是，现有的基于 的 嵌入模型没有考虑编码器模块中实体和关系之间的共现联系，影响了模型的性能。为了提高编码器模块的效率，假定有效实体和关系在文本和文档中能够更频繁地出现，通过共现关系将其捕获。在此假设的基础上，对于给定的知识图谱G，本文构建了一个容易馈入 网络的图，其中包含的节点是 G 中实体和关系基于 图转换获得，如图 所示。因此，图 中节点是由实体与关系组成，节点数是实体与关系数量之和，即 ；图 中的边是由 G 中实体和关系共现构建而成。本文通过计算节点 和 之间边的权重来创建图 的邻接矩阵 为（，）（），是实体节点且（，）（，），中存在关系节点且（，），其他（）（）式中，（，）和（）可以由下式计算获得（，）（）（）（）图 所提模型的流程示意图 （）（）式中：表示 G 中包含 的三元组数量；表示 G 中三元组的总数；表示 G 中三元组中第 期 白洁仙，等：基于四元数图神经网络的知识图谱嵌入节点 和 的共现数量，即包含、的三元组数量与 个节点之间的关系数量之和。在成功地构建了图 和邻接矩阵 后，即可应用 模型进行求解 任务。由于现有的 在增加隐藏层数量时，会出现因参数量爆炸性增长引起的模型性能下降的问题。此外，因为在使用无标度分层结构对复杂图进行建模时，存在欧几里得嵌入高失真问题，使得随着隐藏层数量的增多而导致不同图之间或同一图内的不同节点间的欧氏嵌入变得越来越相似，严重影响模型的性能。为了克服这一问题，本文使用四元数图神经网络（，）作为编码器模块。是将 模型从欧几里德空间推广到超复向量空间，通过学习节点的四元数嵌入来改善图的表示质量并减少模型参数的数量。下面给出 中的聚合函数定义为，（，），（）（）式中；上标 表示四元数空间；是节点 和之间的边常数，其对应的邻接矩阵 由（）式计算得到。，和，分别表示节点 的四元数特征向量和四元数权重矩阵，其定义分别为，（），（）（）（）式中：表示实数单位，是虚数单位，即。表示哈密顿乘积，其形式可以表示为，（）相较于欧几里得空间和复矢量空间，四元数空间通过汉密顿乘积为模型计算提供一种高效的表示能力，从而保证模型能够学习每个隐藏层内部以及不同隐藏层之间的潜在关系，提高图表示质量。解码器当编码器完成了对节点的编码工作后，解码器需要根据编码的节点解码重构图的边。在 任务中，对于每一个缺失的实体，解码器模型将被要求用所有的知识图谱中的节点进行评分计算，并进行排名，其序列中得分最高的实体即是最终预测的边。考虑到哈密顿乘积可以很好地捕捉到实体和关系之间潜在的相互依赖关系和四元数在四维空间中具有更大的自由度，因此，本文采用四元数内积和哈密顿乘积相结合的方式计算三元组（，）的评分为（，）（?，）（）（）式中：、和 是从编码器模块的最后一个 层获取的四元数向量；和分别表示哈密顿乘积和四元数内积，上标?表示归一化四元数，即?，（）最后，将任务表述为分类问题，并通过最小化二进制交叉熵损失函数来学习模型参数，表示为（，）（，）（，）（，）（，）（）（，），（，），（，）（）（）（）式中：和 分别表示有效和无效的三元组的集合，（，）是关于评分函数的 激活函数，定义为（，）（，）（）实验与结果分析本文考虑在知识图谱中对实体进行链接预测的任务，即在给定实体以及与另一实体关系的条件下预测缺失的实体。通过对得分函数在测试集中三元组上产生的得分进行排名来计算结果。为了评估所提出 方 法 的 性 能，使 用 个 基 准 数 据 集、和 进行测试，并将结果与、和等方法进行对比。所提模型在 框架下实现，并在单个 上进行测试。为了获得更优的性能，采用两步训练过程：训练 网络来编码关于图形实体和关系的信息；训练解码器模型来执行关系预测任务。使用 对所有参数进行优化，初始学习率设定为。最后一层的实体嵌入和关系嵌入都设置为。数据集和评估指标 作为 的一个子集，是一个包含 重 庆 邮 电 大 学 学 报（自然科学版）第 卷一般知识事实的大规模知识图谱。因此，对 链路进行预测的关键是对其对称、反对称和反向关系进行建模和推断。考虑到反向关系对嵌入模型的影响，研究人员使用简单的基于反转规则的模型，将 数据集中的反向关系全部去除，从而构造了新的数据集。数据集是一个在线的英语词汇数据库（词汇参照系统），是 数据集的子集，该子集中共有 种关系，其中，种关系构成了 对反向关系对。此外还有 种自反关系。为了消除 中的反向关系，通过保留每对反向关系中的一个关系，构造了新的数据集。是 的一个子集，该数据集和 类似，包含许多具有高入度的关系，即在同一个关系下，一个头 尾实体可能对应着大量的尾 头实体构成，但这些头实体的含义却可能相差悬殊，因此建模难度更高。表 提供了几种数据集的统计信息。所提方法中的知识图谱是基于 图进行变换的，因此，图 中节点数是数据集中实体和关系数量之和，即 数据集中的节点数为 ，数据集中的节点数为 ，数 据 集 中 的 节 点 数 为。表 基准数据集的统计信息 数据集实体数量关系数量训练数量验证数量测试数量 在本文中，使用平均倒数排名（，）和 作为评估指标。表示所有正确实体的反向排序，指标测量前 个正确实体的比例，其中，这 个指标的值较大，表示测试结果越好。此外，还使用过滤设置协议，即在进行排名之前，先将负例三元组过滤掉，然后再进行评测。实验结果分析给出所提模型关于编码器、解码器和邻接矩阵 个变量的消融研究，通过对比 模型（编码器）、模型（解码器）和邻接矩阵 作为替换组件时的测试结果，验证模型的性能。同时，为了验证共现关系对嵌入模型的有效性，还对比了原图谱和基于 图变换后的图谱在嵌入模型中的测试结果。图 给出了消融研究在 和 上的测试结果。从图 可以看到，当使用 作为编码器模块时，和 的结果所有降低。同时，当使用 模型作为编码器和不使用新加权邻接矩阵时，两者的测试结果也会降低。因此，所提模型的整体组合是最优的。此外，从图 还可以清楚地发现，共现关系的引入使得模型在 和 指标中的值有所增加，对嵌入模型有明显的改善。图 所提模型在 个数据集中的消融结果 为了进一