基于注意力双向GRU网络的多模态脑电情感识别_陈景霞.pdf

第4 1卷 第3期 陕西科技大学学报 V o l.4 1N o.3 2 0 2 3年6月 J o u r n a l o fS h a a n x iU n i v e r s i t yo fS c i e n c e&T e c h n o l o g y J u n.2 0 2 3*文章编号:2 0 9 6-3 9 8 X(2 0 2 3)0 3-0 1 9 2-0 8基于注意力双向G R U网络的多模态脑电情感识别陈景霞,刘 洋,张鹏伟,雪 雯(陕西科技大学 电子信息与人工智能学院,陕西 西安 7 1 0 0 2 1)摘 要:脑电(E l e c t r o e n c e p h a l o g r a m,E E G)等生理信号凭借其独有的客观性,在情感识别领域已经成为热门的研究对象.针对单一模态特征不够完备的问题,本文提出一种基于注意力双向门控循环单元(G a t e dR e c u r r e n tU n i t,G RU)神经网络的多模态脑电情感识别方法,用M u l-AT-B i G RU表示.该方法首先通过注意力机制融合脑电、眼动这两种模态的三种不同特征,实现不同模态特征间的全局交互,再将得到的多模态融合特征输入带有注意力机制的双向G RU网络进行深度语义特征提取和情感分类.该方法通过挖掘不同模态数据间的互补关系,使学习到的深层情感相关特征更具判别性.所提方法在多模态数据集S E E D-I V上进行实验,被试内平均分类准确率达到9 5.1 9%,比三种单一模态特征的平均分类准确率分别提升了2 0.2 2%、2 0.0 4%和1 7.5%;被试间的平均分类准确率达到6 2.7 7%,优于目前一些同类方法,验证了所提方法在多模态脑电情感识别上的有效性和泛化性.关键词:脑电;情感识别;多模态特征融合;双向G RU;注意力机制中图分类号:T P 3 1 1 文献标志码:AM u l t i m o d a lE E Ge m o t i o nr e c o g n i t i o nb a s e do na t t e n t i o nb i d i r e c t i o n a l g a t e dr e c u r r e n tu n i tn e t w o r kCHE NJ i n g-x i a,L I UY a n g,Z HANGP e n g-w e i,XU E W e n(S c h o o l o fE l e c t r o n i c I n f o r m a t i o na n dA r t i f i c i a l I n t e l l i g e n c e,S h a a n x iU n i v e r s i t yo fS c i e n c e&T e c h n o l o g y,X i a n7 1 0 0 2 1,C h i n a)A b s t r a c t:P h y s i o l o g i c a l s i g n a l s s u c ha s e l e c t r o e n c e p h a l o g r a m(E E G)h a v eb e c o m ep o p u l a r r e-s e a r c ho b j e c t s i nt h e f i e l do f e m o t i o nr e c o g n i t i o nd u e t o t h e i ru n i q u eo b j e c t i v i t y.T os o l v e t h ep r o b l e mt h a t t h e s i n g l em o d a l f e a t u r e i sn o t c o m p l e t e e n o u g h,t h i sp a p e rp r o p o s e s am u l t i m o-d a lE E Gb a s e de m o t i o nr e c o g n i t i o nm e t h o db yu s i n ga t t e n t i o nb i d i r e c t i o n a lG a t e dR e c u r r e n tU n i t(G RU)n e u r a l n e t w o r k,w h i c h i s r e p r e s e n t e db yM u l-AT-B i G RU.A t f i r s t,t h e a t t e n t i o nm e c h a n i s mi su s e dt of u s et h r e ed i f f e r e n tf e a t u r e so ft w om o d a l i t i e si n c l u d i n gE E Gs i g n a l sa n de y em o v e m e n td a t a t oa c h i e v eg l o b a l i n t e r a c t i o nb e t w e e nd i f f e r e n tm o d a l f e a t u r e s.T h e n,t h eo b t a i n e dm u l t i m o d a l f u s e df e a t u r e sa r e i n p u t i n t ot h eM u l-AT-B i G RUn e t w o r kf o rd e e pe m o t i o n a l f e a t u r e e x t r a c t i o na n dc l a s s i f i c a t i o n.T h eM u l-AT-B i G RUm o d e lm a k e s t h e l e a r n e dd e e pe m o t i o n-r e l a t e df e a t u r e sm o r eo b v i o u sa n dd i s c r i m i n a t i v eb ym i n i n gt h ec o m p l e m e n t a r y*收稿日期:2 0 2 2-1 2-2 0基金项目:国家自然科学基金项目(6 1 8 0 6 1 1 8);陕西科技大学博士科研启动基金项目(2 0 2 0 B J-3 0)作者简介:陈景霞(1 9 7 9),女,新疆石河子人,副教授,博士,研究方向:机器学习、脑电信号处理、脑机接口、情感计算DOI:10.19481/ki.issn2096-398x.2023.03.015第3期陈景霞等:基于注意力双向G R U网络的多模态脑电情感识别r e l a t i o n s h i p sb e t w e e nd i f f e r e n tm o d a ld a t a,t h u s i m p r o v e st h ee m o t i o nr e c o g n i t i o np e r f o r m-a n c e.T h ec o m p a r a t i v ee x p e r i m e n t sa r ec a r r i e do u to nt h em u l t i m o d a ld a t a s e tS E E D-I V.T h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h ea v e r a g ei n t r a-s u b j e c te m o t i o nc l a s s i f i c a t i o na c c u r a c yo ft h ep r o p o s e dm e t h o dr e a c h e s9 5.1 9%,w h i c hi s2 0.2 2%,2 0.0 4%a n d1 7.5%h i g h e rt h a nt h a t o n t h r e e s i n g l e-m o d a l f e a t u r e s,r e s p e c t i v e l y.T h e a v e r a g e i n t e r-s u b j e c t c l a s s i f i c a t i o na c c u-r a c yo f t h ep r o p o s e dm e t h o dr e a c h e s6 2.7 7%,w h i c ha l s oo u t p e r f o r m so t h e ra v a i l a b l es i m i l a rc o m p a r a t i v em e t h o d s,v e r i f y i n gt h ee f f e c t i v e n e s sa n dg e n e r a l i z a t i o no ft h ep r o p o s e dm e t h o df o rm u l t i m o d a lE E Gb a s e de m o t i o nr e c o g n i t i o n.K e yw o r d s:E E G;e m o t i o nr e c o g n i t i o n;m u l t i m o d a l f e a t u r e f u s i o n;B i G RU;a t t e n t i o nm e c h a-n i s m0 引言情感在我们日常生活中的方方面面都起着重要的作用.随着人工智能的出现,1 9 9 5年情感计算这一概念首次被P i c a r d教授1提出,经过几十年的发展,如今情感人工智能已经变成2 1项新兴技术之一.就目前来看,情感计算还面临着情感相关信息获取困难,情感识别精度不高等诸多挑战.人类的情感涉及主观经历、生理反应和行为反应,通过表情、言语和肢体动作等多种模态进行表达.因此,情感识别也包含了多种模态,即行为模式识别和生理模式识别2.行为识别是通过摄像头等设备采集人的面部表情和声音等外部信息进行情感识别,而生理模式识别是通过传感器采集人的脑电、眼电和肌电等信息进行情感识别.生理信号相比于外部行为信号具有不易伪装,更真实可靠等特点,因而用生理信号进行情感识别更加客观有效.近年来,脑电波(e l e c t r o e n c e p h a l o g r a m,E E G)已经越来越多地用于情感识别并取得了很大的进展.陈景霞等3曾提出了一种基于深度卷积神经网络的E E G情感识别方法,在效价和唤醒度上的情感二分类的性能都比传统分类器有较大提升.Q i u等4提 出 了 一 种 自 监 督 的 神 经 网 络G C C捕 获E E G脑网络拓扑特征,该方法的分类精度最高可达到8 1.1%.X i n g等5提出了一种多通道脑电情感识别框架,利用脑电特征序列的上下文相关性提高分类精度,该方法在D E A P数据集进行情感二分类实验效价维度准确率可达8 1.1%,唤醒度维度可达7 4.3 8%.上述基于脑电等单一模态的情感识别方法虽然取得了较大的进展,但单一模态的生理信息很容易受到各种噪声的影响,很难完整的反映情感状态,识别精度不高,所以使用多种模态信息来进行情感识别是很有必要的.早期的多模态情感识别大多是通过手工特征提取和传统机器学习分类器进行,近年来随着深度学习的不断发展,越来越多的研究人员将其应用在多模态情感识别领域.例如,L u等6使用一种多模态情感识别框架分别在特征级和决策级对E E G数据和眼动数据进行融合,并通过实验证明了多模态情感识别准确率相较于单一模态得到