考虑语义和位置信息的航天器知识图谱关系预测方法_邢晓宇.pdf

第 卷 第 期 年 月空间控制技术与应用 :引引用用格格式式：邢晓宇，王淑一，刘文静，等 考虑语义和位置信息的航天器知识图谱关系预测方法 空间控制技术与应用，（）：，（）：（）：考虑语义和位置信息的航天器知识图谱关系预测方法邢晓宇，王淑一，刘文静，北京控制工程研究所，北京 空间智能控制技术重点实验室，北京 摘 要：为了保证航天器控制系统故障诊断的性能故障关系图谱的完整性，提出基于语义和位置信息的深度网络关系预测方法，针对航天器性能故障关系图谱存在物理关系复杂、样本稀少、知识库不完备的问题做出相应方法改进 首先，利用表示学习模型对三元组进行处理得到语义向量；其次，使用主成分分析法对语义向量进行降维；然后，根据实体在知识图谱中所处的全局位置，采用布尔型数据标记得到实体的位置向量；最后，将语义向量与位置向量拼接作为深度神经网络的输入，输出关系预测向量 实验结果表明，该方法预测准确率高于单一的表示学习推理和路径推理，能够有效地完善航天器性能故障关系图谱的关系关键词：知识图谱；关系推理；表示学习；深度神经网络中图分类号：文献标志码：文章编号：（）收稿日期：；录用日期：基金项目：国家自然科学基金资助项目（）和国家重点研发计划资助（）通信作者：引 言目前，航天器控制系统的性能与故障映射关系一般采用故障模式影响分析（，）或故障树的形式表示，在航天器控制系统发生异常后，地面专家通过人工查询的方式来确定故障源，难以保证故障诊断的实时性和可视化 知识图谱作为描述海量知识、知识属性及知识间关系的有效工具，为故障诊断提供了一种新的手段，结合各种模型知识、专家知识和数据，通过人工方式或自动方式能够构建航天器控制系统性能与故障之间对应关系的知识图谱，本文称之为航天器性能故障关系图谱 但由于航天器故障相关知识属于领域知识，缺乏完备的航天器故障知识库 目前缺少大型完备的航天器性能故障关系图谱，难以直接应用于航天器故障诊断以航天器控制系统为例，工作环境恶劣，要考虑其闭环特性，长时间在轨运行积累的故障样本少以及故障机理无法遍历，结构复杂，部件间关联紧密，建立精确完整的航天器控制系统性能故障关系图谱较为困难，从而影响了故障诊断结果的准确性，有必要运用关系推理等方法对其进行关系预测，进行图谱关系补全由于航天器的高可靠属性，存在故障数据稀少且分布不平衡、物理意义复杂等问题，目前常用的关系推理方法包括表示学习推理、路径推理和图神经网络推理，这些方法难以直接应用于航天器性能故障关系图谱 等首先搭建循环神经网络（，）对路径进行处理，输出一个关系向量代表相应的路径，利用路径排序算法（，）能够获取实体之间的多跳关系，并且预测新的实体关系陈海旭等提出 的方法，在 的基础上结合了，将路径信息加入向量表示，向 加入概率分析，利用关系向量与路径向量的第 期邢晓宇等：考虑语义和位置信息的航天器知识图谱关系预测方法相似性表示通过此路径得到正确关系的概率 但这两种基于 的方法只考虑了路径信息，没有考虑节点的信息，即使是相同路径，包含不同节点也拥有不同的信息 宋浩楠等将表示学习与强化学习结合，提出 方法，先用 将实体与关系映射到低维向量空间，保留其语义信息，然后利用强化学习将知识推理过程构建成马尔科夫序列决策过程，这种方法处理大规模知识图谱的推理问题表现优越，但该方法没有考虑位置信息，难以直接应用于关系复杂、位置信息丰富的航天器性能故障关系图谱 于慧琳等提出了一种使用子图推理的关系预测方法，将实体间的路径信息、关系结构用子图表示，利用图神经网络计算子图的高阶特征，融合节点子图与关系子图的高阶特征进行关系预测，该方法计算多层关系信息，并将表示学习与图结构推理结合，在基准数据集的预测结果准确但该方法需要大量数据训练，不适用于故障数据稀少且分布不平衡的航天器性能故障关系图谱针对上述问题，本文将知识表示学习推理与深度神经网络结合，研究一种基于实体的语义和位置信息的推理模型（，），并将其应用于航天器性能故障关系图谱的关系补全中 该模型在表示学习推理方法的基础上结合数据降维方法与深度神经网络模型 数据降维方法包括主成分分析法（，），线性判别算法（，），核主成分分析（，），多维缩放（，）等 本文选用理论完善、概念简单、计算方便、具有最优线性重构误差的主成分分析法 深度神经网络模型可采用经典的多层感知机（，），具有好的识别率且分类速度快，适用于本文研究的关系预测问题 模型首先利用表示学习模型 得到实体与关系的高维语义信息嵌入向量，但此向量维数过高，语义信息分散，若直接作为关系预测模型的输入，推理效果差 本文在 模型的基础上采用 对高维语义信息嵌入向量进行降维处理，能够提取实体与关系的主要语义特征作为语义向量，提高推理准确性，同时避免神经网络的过拟合问题 本文同时引入位置向量的概念，利用布尔型向量表示实体在知识图谱中的位置，将此位置向量作为预测模型输入的一部分，能够完善实体的特征信息，提高推理准确性 将包含实体语义特征与位置特征的语义向量与位置向量拼接后作为 模型的输入向量，对其进行关系分类预测 该模型能够将实体与关系的语义信息、位置信息融合计算，通过设计合理的深度神经网络结构和使用较少的数据训练模型，实现航天器性能故障关系图谱中关系的准确预测 基于语义和位置信息的关系预测方法 模型及流程采用 模型进行关系推理的步骤为：（）利用 模型对从航天器性能故障关系图谱中提取的三元组进行处理，提取实体与关系的语义特征，得到实体与关系的嵌入向量（）采用主成分分析法（，）对第一步获得的实体与关系的嵌入向量进行降维得到其语义向量（）将每个实体在性能故障关系图谱中的位置信息转换为布尔型向量，得到实体的位置向量（）将语义向量与位置向量拼接作为多层感知机（，）的输入，输出包含所有预测关系的布尔型向量，与关系对应位置的元素为 表示预测关系存在，反之不存在，实现关系预测 该模型的关系预测过程架构如图 所示图 模型架构图 空间控制技术与应用第 卷 模型训练从航天器故障性能关系图谱中提取三元组，对 模型进行训练，得到实体与关系的嵌入向量首先，从故障性能关系图谱中提取三元组，以（，）的形式表示，其中表示头实体，表示关系，表示尾实体 对三元组中的实体与关系在（，）的区间随机赋值，将其转换为 维的向量，嵌入维数 根据实验效果人为设定，为了方便计算，将其再归一化处理为单位向量每次训练时在向量化后的三元组中随机抽取 个作为正样本，随机替换其头实体或尾实体作为负样本，用（，）表示，的训练目标是使三元组的向量满足 （）因此根据 与 的欧氏距离或曼哈顿距离设置得分函数：（，）（）式中，表示 范数或 范数，本文采用 范数 根据 模型的训练目标，要保证正样本的得分函数尽量小，负样本的得分函数尽量大，损失函数设置为：（，）（，）（，）（）其中，为正样本集合，（，）为正样本（，）对应的负样本，是一个需要设置大于零的超参数，表示损失函数中的间隔 通过基于梯度的优化算法不断更新实体与关系的向量元素，直至训练收敛，使其满足式（），得到实体与关系的 维包含语义信息的嵌入向量 主成分分析法降维采用主成分分析法对 个实体的 维嵌入向量进行主成分提取，得到降成 维后的语义向量将 个实体的 维嵌入向量排列组成 行 列的嵌入向量矩阵 对 的每一行进行去中心化处理得到：（）为矩阵 的第 行 列元素，为矩阵 的第 行 列元素计算协方差矩阵：（）用特征值分解法求出矩阵 的特征值及对应的特征向量 将特征向量按对应特征值由大到小的顺序进行排列并将其转换为单位特征向量，取前 列组成转换矩阵 利用转换矩阵 将嵌入向量矩阵 转换到 个特征向量构成的新空间：（）得到降维矩阵 ，按列分离即可得到 个实体的 维语义向量 位置信息的布尔型向量转换首先将航天器性能故障关系图谱中的所有实体 （个）按（，）的顺序排列 采用 编码方式获得所有实体的位置向量，即针对每个实体，定义 维零向量为该实体的位置向量，若其与实体 存在关系，则该向量的第 个元素置，得到该实体在性能故障关系图谱中的全局位置向量 基于多层感知机模型的训练采用多层感知机进行关系预测，将语义向量与位置向量拼接作为 的输入，利用梯度下降法完成参数优化 训练好的模型能够根据三元组的头实体信息与尾实体信息准确预测关系，模型结构如图 所示图 模型框架图 将前三步得到的头实体语义向量、尾实体语义向量、位置向量按顺序拼接得到输入层的输入向量 的每个元素与第一个隐含层的权重 分别相乘后求和，加上偏置值 后经过激活函数得到该层的输出，激活函数 选用便于前向传输的 第 期邢晓宇等：考虑语义和位置信息的航天器知识图谱关系预测方法函数，公式如下：（）（）将隐含层 的输出作为下个隐含层 的输入，重复式（），可得到最后一层隐含层的输出向量为，权重为，偏置值为，输出层的激活函数 选用适合多分类的 函数，将输出向量各元素间的距离拉开，可得到最终的输出向量 （）（）期望输出关系向量为，维数为，向量的 个布尔型元素与性能故障关系图谱的 个关系对应，若存在关系，则相应元素置，否则为 损失函数选用收敛速度快的均方误差（，）：（）（）其中 为训练样本数 据此采用梯度下降法对权重与偏置值进行优化，直到达到训练次数上限或 满足要求 航天器典型部件级性能故障关系图谱的关系预测控 制 力 矩 陀 螺（，）在航天器中很重要，本文以它为例进行关系预测对于 的，将功能模块、故障模式、故障原因、故障影响、故障处理等列对应内容抽取为实体，将故障严酷度、发生概率等列对应内容抽取为故障模式实体的属性，采用基于规则的方法自动实现 的 到 的性能故障关系图谱的转换 以 的功能模块导电环为例，图 为导电环的，图 为按照 构建的导电环性能故障关系图谱（部分信息经过脱密处理）图 导电环 图 导电环性能故障关系图谱 按照“功能模块故障模式”的实体层次基于 构建了 性能故障关系图谱，如图 所示 针对建立的 性能故障关系图谱提取个三元组，种实体，种关系 按 的比例将三元组划分为训练集与测试集 模型的向量维数 设置为，学习率为 ，超参数 设置为，循环次数为 降维后的语义向量维数设置为 位置向量的维数与实体数一致，为 维 模型的输入向量为 维，输出预测向量为 维，设置 层隐含层，所含神经元个数分别为，学习率空间控制技术与应用第 卷 选取 作为评价指标图 性能故障关系图谱 为了验证本文采用的 方法对于预测效果的提升，设置了不经过 降维的 模型，输入向量为 维，设置五层隐含层，所含神经元个数皆为 模型经过训练后，值为 ，对于测试集预测的缺失关系，经过与完整的性能故障关系图谱比对以及人工验证新增关系的准确性，关系预测准确率达到 ，不经 降维的 模型关系预测准确率最高只达到 本实验目的是用本文所提模型准确预测实体间的关系类型，而不是简单的判断关系存在与否，相比于常用的应用于大型基准数据集的关系推理方法，此方法的预测效果更佳，针对性更强 经过两个模型的比对，可以看出结合 提取主要特征能够显著提高推理准确率，经过分析认为先采取 对维数过多的嵌入向量提取其主要特征进行降维，有利于训练 提取输入数据的关联性，防止神经网络过拟合，增强模型的泛化性，适合解决航天器性能故障关系图谱物理意义复杂、耦合关系众多的问题 航天器系统级性能故障关系图谱的补全 首先基于航天器控制系统各部分模型与姿态动力学方程、姿态运动学方程构建航天器控制系统性能故障关系图谱，以三正交陀螺、滚动轴红外地球敏感器和三正交动量轮构成的系统为对象，航天器姿态动力学方程为：?（）（）?（）（）?（）（）其中，为三轴转动惯量，为航天器空间转动角速度 沿主惯量轴的分量，为动量轮三轴角动量航天器姿态运动学方程为?|（）其中，为欧拉角，为航天器绕中心引力体旋转的轨道角速度红外地球敏感器模型 （）（）其中，为滚动轴的地敏测量输出，为滚动轴的地敏常值误差，为滚动轴的地敏测量噪声，为滚动轴的地敏故障，为俯仰轴的地敏测量输出，为俯仰轴的地敏常值误差，为俯仰轴的地敏测量噪声，为俯仰轴的地敏故障陀螺测量模型为|，|（）|，（）其中，为陀螺测量输出，为陀螺指数相关漂移项（），为陀螺的常值漂移项，