基于超图卷积结合底层特征学习的多模态融合方法_芦楠楠.pdf

实 验 技 术 与 管 理 第 40 卷 第 4 期 2023 年 4 月 Experimental Technology and Management Vol.40 No.4 Apr.2023 收稿日期:2022-10-12 基金项目:中国矿业大学教学研究项目（2020YB15）；国家重点研发计划（2019YFE0118500）；国家自然科学基金项目（62006233）作者简介:芦楠楠（1985），女，河南濮阳，博士，副教授，主要研究方向为数据挖掘、模式识别，lnn_。引文格式:芦楠楠，韩之远.基于超图卷积结合底层特征学习的多模态融合方法J.实验技术与管理,2023,40(4):33-39.Cite this article:LU N N,HAN Z Y.Multimodal fusion method based on hypergraph convolution combined with underlying feature learningJ.Experimental Technology and Management,2023,40(4):33-39.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.04.004 基于超图卷积结合底层特征学习 的多模态融合方法 芦楠楠，韩之远（中国矿业大学 信息与控制工程学院，江苏 徐州 221116）摘 要：多模态数据融合是针对单模态数据信息表达不充分而形成的一种数据处理方法，有利于更深层地挖掘和利用数据。然而，现存的多模态数据融合方法缺乏多模态数据之间复杂相关性的表示和处理。在数据相关性建模方面，超图能够很好地表示复杂数据之间的高阶关系，但容易覆盖底层特征。因此，该文提出一种基于超图卷积并结合底层特征学习的多模态融合方法。该方法首先根据多模态数据构造多模态超图，利用超图卷积获得节点高层特征表示，然后自适应学习节点底层特征权重，保留底层信息，最后将高层信息和底层信息融合，进行节点分类。通过物体识别实验，验证了底层特征的重要性。同时，在结构体健康监测的实际场景中，该方法能够很好地融合震电磁三场数据进行损伤等级判定。关键词：超图卷积；数据特征；节点分类；多模态融合；结构损伤 中图分类号：G202 文献标识码：A 文章编号：1002-4956(2023)04-0033-07 Multimodal fusion method based on hypergraph convolution combined with underlying feature learning LU Nannan,HAN Zhiyuan(School of Information and Control Engineering,China University of Mining and Technology,Xuzhou 221116,China)Abstract:Multimodal data fusion is a kind of data processing method for complementing the insufficient expression by the single modal data information,which is conducive to deeper mining and utilization of data.However,the existing multimodal data fusion methods lack the representation and processing to complex correlations among multimodal data.While,in data correlation modelling,hypergraphs can well represent the high-order relationships among complex data,but easily cover the underlying features.Therefore,this paper proposes a multimodal fusion method based on hypergraph convolution and underlying feature learning.Firstly,the multimodal hypergraph based on multimodal data is constructed,and the hypergraph convolution is used to obtain the high-level feature representation of the node.Then,the underlying feature weight of the node is adaptively learned,and the underlying information is retained.Finally,the information of high and underlying is fused to perform node classification.Through the object recognition experiments,the importance of underlying features is verified.At the same time,in the actual scene of structural health monitoring,this method can well fuse the seismic electromagnetic three field data to determine the damage levels.Key words:hypergraph convolution;data feature;node classification;multimodal fusion;structural damage 物联网技术的发展和普及，丰富了数据来源和形式，而每一种数据的来源或者形式，都是一种模态，多模态数据已经成为数据的主要存在形式。多模态数据可以从不同的角度描述对象，来自不同模态的数据互相补充，能获得更加准确的信息，弥补了单一模态数据信息单一片面的不足，从而有效地解决问题1。34 实 验 技 术 与 管 理 因此，多模态数据融合成为当今研究的热点领域之一。传统的多模态融合方法有特征层融合和决策层融合2-3。以分类任务为例，前者在提取特征后将多模态特征融合，然后送入分类器中，融合发生在特征层面。后者将单模态特征分别送入不同分类器中，将分类器的输出结果进行融合，例如平均、加权等。Gunes 等4和 Snoek 等5将两种融合方式进行比较，发现当模态之间的相关性较大时，特征层面的融合效果要比决策层面的效果好；当模态间的相关性较小时，决策层面的融合效果要好于特征层面。何俊等6指出特征层面的融合不能充分学习模态间的互补性，容易产生过拟合问题。Hinton 等7认为，多模态数据流所包含的信息只有在较高层次才能体现相关性。总之，仅在特征层面的简单融合不能对模态间的相关性进行充分的学习和表示。图作为一种重要的数据结构，可以表示数据对象间的任意关系。其逻辑结构特点与数据多模态间的相关性不谋而合。近年来，图神经网络（graph neural networks，GNNs）、知识图谱（knowledge graph，KG）等图学习方法8-10在人工智能领域的研究和应用也证明了图数据结构可以很好地构建数据对象的关系。根据数据的不规则相关性构造数据结构图，在结构图上学习节点表示、研究节点之间关联性，是图学习的重要方向。然而，在处理多模态数据时，图结构无法充分学习多模态数据的高阶关系，限制了基于图结构的多模态数据融合的发展。超图神经网络（hypergraph neural networks，HGNNs）11是基于超图谱域卷积的融合方法，用结构性更强的超图替换图结构，将特征层融合与超图卷积在学习数据高阶相关性上的优势结合，解决多模态数据高阶关系表示与学习。该方法的融合分为特征级融合与结构级融合，通过构建并级联模态超图，将融合后的特征作为节点特征输入到多模态超图上进行卷积，在多模态节点分类上取得了较好效果。HGNN+12将超图谱域的卷积扩展到了空域上，在空间上聚合多模态邻居信息，改善了谱域卷积模型。虽然上述超图卷积方法学习了模态间的高阶相关性，但是利用卷积得到的节点高层信息容易覆盖节点自身的底层信息，影响模型的准确性。因此，本文提出一种基于超图卷积并结合底层特征学习的多模态融合方法（R-HGNN 和 R-HGNN+）。该方法在谱域和空域上均适用。首先，多模态输入特征分别经过两个部分：一是通过超图卷积聚合邻域信息，得到节点的高层特征表示；另外训练学习得到节点的底层特征权重，与多模态输入特征对应相乘得到节点的底层信息。然后，将高层信息和底层信息叠加作为节点最终的特征表示。最后，送入到特征转换完成维度变换，从而实现分类任务。1 实验原理 1.1 超图概念 在一个普通图中，假设图中的节点表示电影，图学习的任务是节点分类。图中的边表示演员，若节点之间存在边，说明该演员出演过这两部电影，反之，则说明电影之间并无同一演员。但是在这样的图结构中，一条边只能连接两个节点，并不能直观地表现出一个演员演过的所有电影，边的信息是冗余的。因此，将普通图扩展为超图。在超图中，一条边可以连接任意数目的节点，可以直观地将一个演员的所有作品呈现出来。普通图体现节点间的邻接关系，超图表征节点间的关联性，在相关性表达上，超图具备普通图不具备的能力。图 1 为电影与演员关系的普通图和超图的对比，普通图可以用邻接矩阵的形式表示，若节点之间存在边，则矩阵元素对应为 1，反之为 0。从对比图中可以看出，在电影和演员的表示关系中，普通图结构有 14 条边，而超图结构仅有 3 条边，分别代表 3 个演员，超图结构直观地表现出了演员的全部作品。在现实生活中，数据挖掘面临的往往是大规模图，当图的规模扩大，节点数目增多时，超图结构有更明显的优势。图 1 电影与演员关系的普通图和超图的对比 芦楠楠，等：基于超图卷积结合底层特征学习的多模态融合方法 35 给定一个超图=(,)GV E W，12,VVv vv=表示节点集，12,EEe ee=表示超边集，W是对角矩阵，其对角线元素()jw e表示超边jeE的权重。超图可以用|VE的关联矩阵H表示，若节点ivV存在超边jeE中，则矩阵元素(,)1ijh v e=，反之为 0。定义节点ivV的度为()()(,)jijijeEd vw eh v e=，边jeE的度为()(,)ijijv Vd eh v e=。vD和eD分别是节点度和超边度的对角矩阵。超图的拉普拉斯矩阵可以表示为1 21T1 2vevG-=-LIDHWDH D，GL是半正定的。1.2 超图卷积 和图卷积类似，超图卷积也分为谱域卷积和空域卷积两种方式。对于超图谱域卷积，卷积运算在图的谱域中进行。对于超图空域卷积，卷积运算在超图上聚合邻居信息。信息从节点传播到超边，再从超边传播回节点，从而完成信息传递。1.2.1 超图谱域卷积 给定一个超图=(,)GV EW，其节点数为|V。超图拉普拉斯矩阵GL是一个|VV的半正定矩阵，根据特征分解TG=LU U 可以得到正交特征向量矩阵U和包含非负特征值的对角矩阵1|diag(,)V=。对于超图上的信号|VRx，可以认为x为包含所有节点特征的矢量，其中每个节点均用一个标量表示。定义其傅里叶变化为T=xU x，对应特征向量是傅里叶基，特征值是频率。信号x与滤波器g的谱域卷积可以表示为：TTT()()()ggg=xU UU xUU x （1）式中，表示卷积运算