基于Transformer模型的手势脑电信号分类识别_李赵春.pdf

投稿网址:www stae com cn2023 年 第23 卷 第5 期2023，23(5):02044-07科学技术与工程Science Technology and EngineeringISSN 16711815CN 114688/T收稿日期:2022-02-16;修订日期:2022-11-15基金项目:安徽省自然科学基金(1908085MF196)第一作者:李赵春(1978)，女，汉族，湖南湘潭人，博士，教授。研究方向:智能结构与控制，人机交互控制。E-mail:lzc163 com。*通信作者:王玉成(1980)，男，汉族，河北沧县人，博士，副研究员。研究方向:人机自然交互，模式识别与智能系统。E-mail:ziichuan163 com。引用格式:李赵春，周永照，冯卫奔，等 基于 Transformer 模型的手势脑电信号分类识别 J 科学技术与工程，2023，23(5):2044-2050Li Zhaochun，Zhou Yongzhao，Feng Weiben，et al Gesture action electroencephalogram classification and recognition based on transformermodel J Science Technology and Engineering，2023，23(5):2044-2050基于 Transformer 模型的手势脑电信号分类识别李赵春1，周永照1，冯卫奔1，王玉成2*(1 南京林业大学机械电子工程学院，南京 210037;2 中国科学院合肥物质科学研究院智能机械研究所，常州 213000)摘要基于无创脑电信号的精细手势动作识别是脑卒中患者运动功能康复的重要技术手段。通过设计实际手势动作，以手指精细运动时的运动功能区长时程脑电信号作为数据处理对象，改进了一种基于自我注意的 Transformer 模型识别方法，分别从时间维度和空间维度构建了基于自我注意模块的 Transformer 模型及其变体 top-k 稀疏 Transformer 模型，并结合脑电数据结构特点设计了一种基于多变量经验模式分解-典型相关分析(multivariate empirical mode decomposition-canonical correlationanalysis，MEMD-CCA)的混合去伪影方法，改进的 Transformer 模型取得了优异的分类识别结果。关键词脑电信号;Transformer;分类识别;MEMD-CCA中图法分类号TP391.4;文献标志码AGesture Action Electroencephalogram Classification andecognition Based on Transformer ModelLI Zhao-chun1，ZHOU Yong-zhao1，FENG Wei-ben1，WANG Yu-cheng2*(1 College of Mechanical and Electronic Engineering，Nanjing Forestry University，Nanjing 210037，China;2 Institute of Intelligent Machinery，Hefei Institute of Physical Science，Chinese Academy of Sciences，Changzhou 213000，China)Abstract Fine gesture recognition based on scalp electroencephalogram(EEG)signal is an important technical means for motorfunction rehabilitation of stroke patients A self-attention-based Transformer model recognition method was improved by designing theactual gesture and taking the long range EEG signals in the motor functional area during finger fine movement as the data processing ob-ject The Transformer model based on self-attention module and its variant top-k sparse Transformer model were constructed from timedimension and space dimension respectively，and a hybrid artifact removal method based on multivariate empirical mode decomposition-canonical correlation analysis(MEMD-CCA)was designed combining the characteristics of EEG data structure The improved Trans-former model achieves excellent classification recognition results Keywords EEG;Transformer;classification and recognition;MEMD-CCA调查显示，脑卒中已成为导致中国居民的第一位死亡原因，也是中国成年人残疾的首要原因。脑卒中后的患者大多会发生手功能障碍，手功能的恢复既是治疗重点也是难点1。因此，及时有效的康复训练对重塑患者大脑功能进而改善运动能力至关重要。基于头皮脑电信号的精细手势动作识别是脑卒中患者运动功能康复的重要技术手段。脑电信号(electroencephalogram，EEG)作为一种电生理信号，反映了最简单、直接的大脑活动状态。它可以以非常高的时间分辨率、非侵入式方式和较低的成本在头皮表面获取，采集方法简单安全。脑机接口(brain-computer Interface，BCI)是大脑与外界的通信通道，通过 EEG 可以清楚看到大脑中各种各样的思维活动2。BCI 的关键是从大脑活动中解释运动意图。高效的神经解码算法可以提高解码的精度，但是 EEG 信号低信噪比导致 EEG 信号分类精度较低。因此，如何设计更好的实验范式并设计更符合 EEG 信号数据结构特征的分类识别方法至关重要。对于精细的手势动作来说，单靠运动想象获取的脑电信号无法获得较高的分类准确率。为了得到更好的脑电信号，通常是采用实际手势动作，而不是运动想象，因为它更直观，从而提高了 BCI 的性能。投稿网址:www stae com cnEEG 信号相对于其他生理信号更为微弱，一般在微伏数量级，并且由于导联方式，更容易受到干扰。常见的伪迹干扰来自外部电子设备或受试者本身的出汗、肌肉活动、眼动、心电等。在对 EEG 信号分析前，通常需要对 EEG 信号进行预处理，最小化伪迹干扰，可以提高 EEG 信号的信噪比和分类精度。常见的去伪迹方法包括盲源分离(blind sourceseparation，BSS)3，小 波 变 换(wavelet transform，WT)4 和经验模态分解(empirical mode decomposi-tion，EMD)5。EEG 信号模式识别一直是个具有挑战性的问题，早期的机器方法依赖于过多的预处理和已经确定的信号特征，最佳特征子集和算法没有明确规定。但在近几年里，用于 EEG 信号分类的深度学习模型已被成功地提出，卷积神经网络(convolutionalneural networks，CNN)和循环神经网络(recurrentneural network，NN)广泛应用于 EEG 分类中，但它们各有弊病。CNN 可以捕捉到局部的接收域信息，但忽略了全局信息。NN 网络无法捕捉空间信息，并行计算效率较低。近年来，受 Transformer 在自然语言处理和机器视觉等领域的成功启发，许多研究人员开始探索其在 EEG 信号分类中的应用。Sun 等6 设计了 5 种新的基于变压器的脑电信号分类模型，取得了良好的性能。Liu 等7 提出了一种新的基于自我注意的脑电情绪识别框架。该方法考虑了脑电样本中不同脑区和时间段的不同贡献，以及脑电信号固有的时空特征。Lee 等8 提出了一种基于变压器结构的注意模块来解码脑电信号中的想象语音，证明了用注意力模块解码想象语音的技术有潜力作为真实世界的通信系统。Tao 等9 为了捕获长 EEG 序列中编码的时间信息，在 EEG 信号上使用 Transformer的增强版本，即门控 Transformer，沿着 EEG 序列学习特征表示，实现了新的最先进的性能。Transform-er 模型在 EEG 信号分类取得了良好的效果，与 CNN和 NN 相比，Transformer 在处理长距离依赖关系方面表现更为出色，是一个很好的长序列数据识别模型。在长时间序列中，注意力机制可以确定最相关的信息，了解哪些数据部分与最终输出有关。为增强大脑感觉运动功能皮层 EEG 信号强度、降低脑机交互过程中的大脑负荷，现设计 4 种实际手势动作并同步采集 EEG 信号作为数据处理对象，有效提高 EEG 信号与手势动作的信号关联度;同时设计一种基于 MEMD-CCA 的混合去伪影方法，在消除肌电伪影和眼电伪影方面效果良好。为了得到更好的脑电分类结果，结合脑电信号的时间特征和空间特征，考虑多通道脑电采集时体积传导和受试者反应速度的不同，改进一种基于自注意力的Transformer 模型:在经典 Transformer 模型中添加top-k 选择，构建 top-k 稀疏 Transformer 模型并选择信号特征明显的 k 个数据段以期提高分类准确率。最后，通过重构脑电信号数据结构，对比分析时间、空间、top-k 时间和 top-k 空间 4 个变体 Transformer模型的分类识别性能效果。1脑电信号采集1.1脑电信号通道选择研究表明，人脑对手势动作的控制神经均位于大脑中央前回区域10。因此所选 16 导电极均围绕此区域分布，根据 10-20 国际标准电极放置法，选择如下 16 导电极位置:Fz、FC3、FC1、FCz、FC2、FC4、C5、C3、C1、Cz、C2、C4、C6、CP3、CPz、CP4，如图 1所示。图 110-20 国际电极放置标准 16 通道电极位置分布图Fig.1Distribution of 16-channel electrode position 10-20international standard electrode placement method1.2脑电信号采集设计手势动作共 4 种，如图 2 所示，依次为握拳、伸掌、数字 2 和数字 3。实验范式如图 3 所示，单次试验时长共 7 s，脑电设备采样频率设为1 000 Hz，分为 4 个阶段。(1)准备阶段。0 2 s，该阶段内受试者保持放松状态。(2)提示阶段。2 3 s，第二秒开始时，扬声器会发出“嘀”的一声提示音，持续大约 0.5 s，提醒受试者做好准备。54022023，23(5)李赵春，等:基于 Transformer 模型的手势脑电信号分类识别投稿网址:www stae com cn图 2手势动作Fig.2Gesture action图 3实验范式Fig.3Experimental paradigm(3)反馈阶段。3 5 s，第 3 秒开始时，显示器上会出现动作提示，受试者根据出现的图片做出相应的动作。(4)休息阶段。5 7 s，受试者重新回到放松状态，等待下一次提示。实