第41卷第3期陕西科技大学学报Vol.41No.32023年6月JournalofShaanxiUniversityofScience&TechnologyJun.2023*文章编号:2096-398X(2023)03-0192-08基于注意力双向GRU网络的多模态脑电情感识别陈景霞,刘洋,张鹏伟,雪雯(陕西科技大学电子信息与人工智能学院,陕西西安710021)摘要:脑电(Electroencephalogram,EEG)等生理信号凭借其独有的客观性,在情感识别领域已经成为热门的研究对象.针对单一模态特征不够完备的问题,本文提出一种基于注意力双向门控循环单元(GatedRecurrentUnit,GRU)神经网络的多模态脑电情感识别方法,用Mul-AT-BiGRU表示.该方法首先通过注意力机制融合脑电、眼动这两种模态的三种不同特征,实现不同模态特征间的全局交互,再将得到的多模态融合特征输入带有注意力机制的双向GRU网络进行深度语义特征提取和情感分类.该方法通过挖掘不同模态数据间的互补关系,使学习到的深层情感相关特征更具判别性.所提方法在多模态数据集SEED-IV上进行实验,被试内平均分类准确率达到95.19%,比三种单一模态特征的平均分类准确率分别提升了20.22%、20.04%和17.5%;被试间的平均分类准确率达到62.77%,优于目前一些同类方法,验证了所提方法在多模态脑电情感识别上的有效性和泛化性.关键词:脑电;情感识别;多模态特征融合;双向GRU;注意力机制中图分类号:TP311文献标志码:AMultimodalEEGemotionrecognitionbasedonattentionbidirectionalgatedrecurrentunitnetworkCHENJing-xia,LIUYang,ZHANGPeng-wei,XUEWen(SchoolofElectronicInformationandArtificialIntelligence,ShaanxiUniversityofScience&Technology,Xi'an710021,China)Abstract:Physiologicalsignalssuchaselectroencephalogram(EEG)havebecomepopularre-searchobjectsinthefieldofemotionrecognitionduetotheiruniqueobjectivity.Tosolvetheproblemthatthesinglemodalfeatureisnotcompleteenough,thispaperproposesamultimo-dalEEGbasedemotionrecognitionmethodbyusingattentionbidirectionalGatedRecurrentUnit(GRU)neuralnetwork,whichisrepresentedbyMul-AT-BiGRU.Atfirst,theattentionmechanismisusedtofusethreedifferentfeaturesoftwomodalitiesincludingEEGsignalsandeyemovementdatatoachieveglobalinteractionbetweendifferentmodalfeatures.Then,theobtainedmultimodalfusedfeaturesareinputintotheMul-AT-BiGRUnetworkfordeepemotionalfeatureextractionandclassification.TheMul-AT-BiGRU...
