基于CNN-LSTM的脑电P300信号检测_范方朝.pdf

电 子 测 量 技 术E L E C T RON I CME A S U R EME N TT E CHNO L O G Y第4 5卷 第2 3期2 0 2 2年1 2月 D O I:1 0.1 9 6 5 1/j.c n k i.e m t.2 2 1 0 2 0 3基于C N N-L S TM的脑电P 3 0 0信号检测范方朝1 杜 欣1 谢城壁1 刘佳伟1 黄 涌2(1.北京交通大学电气工程学院 北京 1 0 0 0 9 1;2.蓝色传感(北京)科技有限公司 北京 1 0 0 0 8 5)摘 要:为提高对无创脑机接口(B C I)中P 3 0 0脑电信号的检测准确度,本文根据卷积神经网络(C NN)与长短期记忆(L S TM)网络,提出一种C NN-L S TM组合网络模型。卷积网络采取分层结构,同时设计匹配不同特征维度的一维卷积核;长短期记忆网络(L S TM)用来发掘数据时序相互依赖性,学习全局特征的相关性以实现目标分类。试验结果表明,本文提出的模型对于实验诱发出的单试次P 3 0 0信号,检测准确率达到9 1.2 8%,与E E GN e t网络和支持向量机算法对比,准确率分别提升2.1 8%、8.3 1%。在精确率、召回率、F 1分数、AU C值的评价指标下也达到最优性能,具有较强的泛化性能。关键词:脑机接口;P 3 0 0信号;卷积神经网络;长短期记忆网络中图分类号:TN 9 1 1.7 文献标识码:A 国家标准学科分类代码:5 1 0.4 0 1 0A P 3 0 0 s i g n a l d e t e c t i o n a l g o r i t h m b a s e d o n C N N a n d L S TMF a n F a n g z h a o1 D u X i n1 X i e C h e n g b i1 L i u J i a w e i1 H u a n g Y o n g2(1.S c h o o l o f E l e c t r i c a l E n g i n e e r i n g,B e i j i n g J i a o t o n g U n i v e r s i t y,B e i j i n g 1 0 0 0 9 1,C h i n a;2.B l u e S e n s i n g(B e i j i n g)T e c h n o l o g y C o.,L t d.,B e i j i n g 1 0 0 0 8 5,C h i n a)A b s t r a c t:I n o r d e r t o i m p r o v e t h e d e t e c t i o n a c c u r a c y o f P 3 0 0 E E G s i g n a l s i n n o n-i n v a s i v e b r a i n-c o m p u t e r i n t e r f a c e(B C I)s y s t e m,t h i s p a p e r p r o p o s e s a C NN-L S TM c o m b i n e d n e t w o r k m o d e l b a s e d o n c o n v o l u t i o n a l n e u r a l n e t w o r k(C NN)a n d l o n g s h o r t-t e r m m e m o r y(L S TM)n e t w o r k.T h e c o n v o l u t i o n a l n e t w o r k a d o p t s a h i e r a r c h i c a l s t r u c t u r e,a n d d e s i g n s a o n e-d i m e n s i o n a l c o n v o l u t i o n k e r n e l t h a t m a t c h e s d i f f e r e n t f e a t u r e d i m e n s i o n s;l o n g s h o r t-t e r m m e m o r y n e t w o r k(L S TM)i s u s e d t o e x p l o r e t h e i n t e r d e p e n d e n c e o f d a t a t i m e s e r i e s,l e a r n i n g C o r r e l a t i o n o f g l o b a l f e a t u r e s f o r o b j e c t c l a s s i f i c a t i o n.T h e t e s t r e s u l t s s h o w t h a t t h e m o d e l p r o p o s e d i n t h i s p a p e r h a s a d e t e c t i o n a c c u r a c y o f 9 1.2 8%f o r t h e s i n g l e-t r i a l P 3 0 0 s i g n a l i n d u c e d b y t h e e x p e r i m e n t.C o m p a r e d w i t h t h e E E GN e t n e t w o r k a n d t h e s u p p o r t v e c t o r m a c h i n e(S VM)a l g o r i t h m,t h e a c c u r a c y i s i n c r e a s e d b y 2.1 8%a n d 8.3 1%,r e s p e c t i v e l y.I t a l s o a c h i e v e s t h e o p t i m a l p e r f o r m a n c e u n d e r t h e e v a l u a t i o n i n d i c a t o r s o f P r e c i s i o n,R e c a l l,F 1 s c o r e a n d AU C v a l u e,a n d h a s s t r o n g g e n e r a l i z a t i o n p e r f o r m a n c e.K e y w o r d s:b r a i n-c o m p u t e r i n t e r f a c e;P 3 0 0 s i g n a l;c o n v o l u t i o n a l n e u r a l n e t w o r k;l o n g s h o r t-t e r m m e m o r y(L S TM)n e t w o r k 收稿日期:2 0 2 2-0 6-0 30 引 言 脑机接口(b r a i n c o m p u t e r i n t e r f a c e,B C I)1是一种新的人-机交互方式。B C I测量人的大脑活动,并将此活动转化为具体控制命令下达给外部设备,从而实现与外部设备的交互,无需依赖其它的肌肉、肢体行为等的物理交互。稳态视 觉 诱 发 电 位(s t e a d y-s t a t e v i s u a l e v o k e d p o t e n t i a l s,S S V E P)2、P 3 0 0电位3和运动想象电位(m o t o r i m a g e r y,M I)4因 其 具 备 的 不 同 特 点 成 为 常 用 的 基 于 脑 电 图(e l e c t r o e n c e p h a l o g r a m,E E G)的3种典型B C I模式。快速 序 列 视 觉 呈 现(r a p i d s e r i a l v i s u a l p r e s e n t a t i o n t a s k,R S V P)是B C I的一种模式5。在R S V P实验中,在受试者视野中的相同位置呈现一个图片序列。该序列包含少量的目标图片,这些图片具有一些区别于其它图片的特征,目标图片的出现会诱发一些特定的事件相关电位成分。P 3 0 0电位是在每个目标图片刺激开始后3 0 05 0 0 m s发生的E R P成分之一6。P 3 0 0电位信号是由机体内在原因所造成或诱发的,与实验中所施加的激发特性并没有关系,仅与机体的自身感受以及认识等心理活动相关。与其它电位相比,P 3 0 0易于激发和测量,需要较短的训练时间,没有复杂的范式,适用于大多数受试者,包括患有严重神经肌肉疾病的受试者。基于以上优点,对P 3 0 0电位的检测成为脑951 第4 5卷电 子 测 量 技 术机接口研究领域的重点研究课题。传统的P 3 0 0信号处理方式,有通过对P 3 0 0信号进行时、频域上的特征提取,然后对提取到的特征进行有监督分类的方式来实现。例如,K u n d u等7提出了一种包括用于特征提取的主成分分析(P C A)和用于分类的加权支持向量机(EWS VM)集成的方法。主成分分析用于减少冗余特征和加权分类器集成,使分类器的可变性最小化。有监督的公共空间模式算法设计了一个空间滤波器,以提高信噪比,并最大化目标和非目标之间的分辨差异8。基于公共空间模式,Y u等9提出了公共时空模式来提取P 3 0 0的时空特征。L i等1 0为了解决基于 P 3 0 0的脑机接口系统的特征冗余问题,提出了一种新的混合特征选择方法,该方法将门格尔曲率和线性判别分析相结合获得了更佳的性能。L D A属于一种监督学习,将数据在低维度上进行投影,希望投影后类内方差最小,类间方差最大。在已有的层次判别分量分析(HD C A)算法的基础上,S o n g等1 1提出了一种改进的层次判别分量分析(e HD C A)算法。该方法引入重叠时间窗来增强相邻时间窗的相关性,以解决 P 3 0 0延迟不稳定的问题。由 于 深 度 学 习 的 非 线 性 计 算 优 势,卷 积 网 络(c o n v o l u t i o n a l n e u r a l n e t w o r k,C NN)已 被 广 泛 应 用 于E E G分 类,如D e e p C o n v N e t、S h a l l o w C o n v N e t1 2和E E GN e t1 3。受滤波器组公共空间模式算法的启发,最优E E GN e t将深度卷积和可分离卷积引入网络,以提取脑电信号的时空特征,表现出优异的分类性能。T a n等提出了一种新的多窗口时空特征分析卷积网络,以缓解时间变异性,提高单次试验脑电数据的分类性能1 4。本文提出一种新的卷积网络结合长短期记忆网络用于P 3 0 0信号的时空特征分析模型。利用卷积神经网络和长短时记忆神经网络进行时频域的特征提取,卷积神经网络提取P 3 0 0信号的深层特征,提高信噪比,长短时记忆神经网络发掘脑电信号时间序列上的数据相关性,提高信号检测的准确率。采集1 2名受试者的脑电数据,将本文提出的网络性能与S VM和E E GN e t网络进行了比较。1 实验设计1.1 被试和数据采集 研究数据来自于1 2名健康成年被试者,年龄为1 82 7岁。实验数据采集采用蓝色传感(北京)有限公司开发的8通道干电极脑电采集设备1 5。设备的电极分布如图1所示(图中标红的电极:O 1、O z、O 2、P O 5、P O 3、P O z、P O 4、P O 6),采样频率为2 5 0 H z。实验采集过程中尽量避免受试者眨眼,若不慎眨眼,则需要重新进行实验。另外还需要对