实验技术与管理第40卷第4期2023年4月ExperimentalTechnologyandManagementVol.40No.4Apr.2023收稿日期:2022-10-12基金项目:中国矿业大学教学研究项目（2020YB15）；国家重点研发计划（2019YFE0118500）；国家自然科学基金项目（62006233）作者简介:芦楠楠（1985—），女，河南濮阳，博士，副教授，主要研究方向为数据挖掘、模式识别，lnn_921@126.com。引文格式:芦楠楠，韩之远.基于超图卷积结合底层特征学习的多模态融合方法[J].实验技术与管理,2023,40(4):33-39.Citethisarticle:LUNN,HANZY.Multimodalfusionmethodbasedonhypergraphconvolutioncombinedwithunderlyingfeaturelearning[J].ExperimentalTechnologyandManagement,2023,40(4):33-39.(inChinese)ISSN1002-4956CN11-2034/TDOI:10.16791/j.cnki.sjg.2023.04.004基于超图卷积结合底层特征学习的多模态融合方法芦楠楠，韩之远（中国矿业大学信息与控制工程学院，江苏徐州221116）摘要：多模态数据融合是针对单模态数据信息表达不充分而形成的一种数据处理方法，有利于更深层地挖掘和利用数据。然而，现存的多模态数据融合方法缺乏多模态数据之间复杂相关性的表示和处理。在数据相关性建模方面，超图能够很好地表示复杂数据之间的高阶关系，但容易覆盖底层特征。因此，该文提出一种基于超图卷积并结合底层特征学习的多模态融合方法。该方法首先根据多模态数据构造多模态超图，利用超图卷积获得节点高层特征表示，然后自适应学习节点底层特征权重，保留底层信息，最后将高层信息和底层信息融合，进行节点分类。通过物体识别实验，验证了底层特征的重要性。同时，在结构体健康监测的实际场景中，该方法能够很好地融合震电磁三场数据进行损伤等级判定。关键词：超图卷积；数据特征；节点分类；多模态融合；结构损伤中图分类号：G202文献标识码：A文章编号：1002-4956(2023)04-0033-07MultimodalfusionmethodbasedonhypergraphconvolutioncombinedwithunderlyingfeaturelearningLUNannan,HANZhiyuan(SchoolofInformationandControlEngineering,ChinaUniversityofMiningandTechnology,Xuzhou221116,China)Abstract:Multimodaldatafusionisakindofdataprocessingmethodforcomplementingtheinsufficientexpressionbythesinglemodaldatainformation,whichisconducivetodeeperminingandutilizationofdata.However,theexistingmultimodaldatafusionmethodslacktherepresentationandprocessingtocompl...
