2023⁃03⁃10计算机应用,JournalofComputerApplications2023,43(3):700-705ISSN1001⁃9081CODENJYIIDUhttp：//www.joca.cn基于图神经网络和注意力的双模态情感识别方法李路宝1，2*，陈田1，2，任福继3，罗蓓蓓1，2（1.合肥工业大学计算机与信息学院，合肥230601；2.情感计算与先进智能机器安徽省重点实验室（合肥工业大学），合肥230601；3.德岛大学理工学部，德岛770⁃8506，日本）（∗通信作者电子邮箱llb1008x@126.com）摘要：针对生理信号情感识别问题，提出一种基于图神经网络（GNN）和注意力的双模态情感识别方法。首先，使用GNN对脑电（EEG）信号进行分类；然后，使用基于注意力的双向长短期记忆（Bi-LSTM）网络对心电（ECG）信号进行分类；最后，通过Dempster-Shafer证据理论融合EGG和ECG分类结果，从而提高情感识别任务的综合性能。为验证所提方法的有效性，邀请20名受试者参与情感激发实验，并收集了受试者的EGG、ECG信号。实验结果表明，所提方法的二分类准确率在valence维度和arousal维度分别为91.82%和88.24%，相较于单模态EEG方法分别提高2.65%和0.40%，相较于单模态ECG方法分别提高19.79%和24.90%。可见，所提方法能够有效地提高情感识别的准确率，为医疗诊断等领域提供决策支持。关键词：情感识别；多模态；脑电；心电；图神经网络；注意力中图分类号：TP391文献标志码：ABimodalemotionrecognitionmethodbasedongraphneuralnetworkandattentionLILubao1，2*，CHENTian1，2，RENFuji3，LUOBeibei1，2（1.SchoolofComputerScienceandInformationEngineering，HefeiUniversityofTechnology，HefeiAnhui230601，China；2.AnhuiProvinceKeyLaboratoryofAffectiveComputingandAdvancedIntelligentMachine（HefeiUniversityofTechnology），HefeiAnhui230601，China；3.FacultyofEngineering，TokushimaUniversity，Tokushima770⁃8506，Japan）Abstract:Consideringtheissuesofphysiologicalsignalemotionrecognition，abimodalemotionrecognitionmethodbasedonGraphNeuralNetwork（GNN）andattentionwasproposed.Firstly，theGNNwasusedtoclassifyElectroEncephaloGram（EEG）signals.Secondly，anattention-basedBi-directionalLongShort-TermMemory（Bi-LSTM）networkwasusedtoclassifyElectroCardioGram（ECG）signals.Finally，theresultsofEEGandECGclassificationwerefusedbyDempster-Shaferevidencetheory，thusimprovingthecom...
