肌电信号多通道相关性特征手势识别方法_江茜.pdf

Computer Engineering and Applications计算机工程与应用2023，59（7）模式识别与人工智能肌电信号多通道相关性特征手势识别方法江茜1，李沿宏1，邹可2，袁学东11.四川大学 计算机（软件）学院，成都 6100652.四川大学 视觉合成图形图像技术国防重点学科实验室，成都 610065摘要：多通道表面肌电信号（surface electromyography，sEMG）传统手势识别方法，主要提取各个通道时域、频域和时频域特征作为分类器的输入，鲜有考虑通道间的相关性，在提升识别精度上遇到瓶颈。为了充分利用sEMG多通道信息以提高手势识别精度，提出一种以多通道相关性为特征的肌电手势识别方法。该方法计算多通道间一致性相关系数，作为多通道sEMG线性相关特征参数，同时获取多通道间的互信息，作为多通道sEMG非线性相关特征参数。实际运用中精确估计联合概率密度函数往往十分困难，根据互信息与copula熵关系，将互信息估计转化为copula熵的估计，通过经验分布函数进行概率积分变换，采用非参数估计方法估计copula熵，从而避免联合概率密度函数的估计。利用两种相关性特征参数构建多通道相关性特征进行对比实验，基于stacking模型使用多通道相关性特征与4种常用时域特征进行识别并对比结果，其次基于多通道相关性特征使用stacking模型与5种常用分类器进行对比识别，实验结果表明所提的多通道相关性特征能有效区分手势动作，在采集的健康受试者手势数据集上平均识别准确率达到94%。关键词：手势识别；表面肌电信号；一致性相关系数；互信息；多通道相关性文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.2111-0123Myoelectric Gesture Recognition Based on Multi-Channel Correlation FeatureJIANG Xi1,LI Yanhong1,ZOU Ke2,YUAN Xuedong11.School of Computer Science（Software）,Sichuan University,Chengdu 610065,China2.National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610065,ChinaAbstract：The traditional multi-channel surface electromyography（sEMG）gesture recognition extracts the time domain,frequency domain and time frequency domain features of each channel as the input of the classifier.The correlationamong channels is rarely considered,and the recognition accuracy is bottlenecked.In order to make full use of the multi-channel sEMG information to improve the accuracy of gesture recognition,a sEMG-based multi-channel correlationfeature is proposed.The method calculates the concordance correlation coefficient among multiple channels as the linearcorrelation feature parameter,and simultaneously obtains the mutual information among the multiple channels as thenonlinear correlation feature parameter.In order to solve the problem of hard estimate of the joint probability densityfunction in mutual information,the method converts mutual information estimate into the estimate of copula entropy,according to the inverse relationship between mutual information and copula entropy.The probability integral transformationis carried out through the empirical distribution function,and non-parametric estimation is adopted to estimate copulaentropy,from which the estimate of mutual information is obtained.Then the method constructs the multi-channel correla-tion feature with the two feature parameters,and inputs the multi-channel correlation feature into the stacking model forrecognition.Respectively compared with 4 common time domain features and 5 basic classifiers,the experimental resultsshow that the proposed multi-channel correlation feature can effectively distinguish hand gesture with an average recogni-tion accuracy rate of 94%,demonstrating the effectiveness of the method.基金项目：四川省重点研发项目（2020YFG0075）；四川省科技创新苗子工程培育项目（2021001）。作者简介：江茜（1996），女，硕士研究生，研究方向为模式识别；李沿宏（1997），男，硕士研究生，研究方向为机器学习、手势识别；邹可（1994），男，博士研究生，研究方向为信号处理、图像配准与分割；袁学东（1974），男，博士，副教授，研究方向为嵌入式系统、数字图像处理，E-mail：。收稿日期：2021-11-08修回日期：2022-02-24文章编号：1002-8331（2023）07-0102-081022023，59（7）表面肌电信号（surface electromyography，sEMG）是运动单元动作电位在皮肤表面叠加的生物电信号，它能反应神经肌肉的活动情况，包含肌肉活动的重要信息1，且在皮肤表面获取简单，因此被广泛应用于康复治疗2、人机交互3等方面。近年来国内外众多学者开展研究基于sEMG的手势识别方法，提高手势识别率仍是手势识别的研究热点，其中特征提取和分类器设计是提高手势识别精度的关键所在。常用的特征提取方法包括时域分析法、频域分析法、时频域分析法。时域分析法通过分析sEMG随时间变化的时域特征来识别手势动作，由于时域特征计算方便且直观，是sEMG特征提取最流行的方法4。Englehart等5提出 4种不同的时域特征，包括平均绝对值、过零点、波形长度和斜率符号变化率，这是迄今为止在肌电信号模式识别提取时域特征方法中最常用的特征6。频域分析法通过对原始sEMG进行傅里叶变换获得频谱或功率谱特征，可以直接观察信号的频带分布7。Srisuwan等8提取sEMG的谱距、中值频率等频域特征，并联合时域特征进行识别，发现频域特征能更好地区分信号。与此同时，很多学者着眼于时频域分析，提出一系列特征提取方法。Khushaba等9提出一组时空描述符来估算sEMG功率谱特征，能更好地描述sEMG信息。此外，小波包变换10、小波变换11和Gabor变换12等方法也用于提取特征信息。虽然时域、频域特征提取方法被广泛应用，但这类方法通常是将sEMG看作平稳信号或分段平稳信号，对于同一手势动作，在不同的力量或速度情况下，特征数值会发生变化，难以准确描述肌电特征，影响后续识别性能。为充分获取肌电信息，近年来众多学者采用多通道传感器采集sEMG13，可以采集不同肌肉群的活动状态，丰富了信息量。由于在运动过程中肌肉间相互作用存在耦合现象，放置在目标肌肉上的电极容易记录附近肌肉活动产生的信号，不同通道间存在串扰14，而有用的信息可能存在通道之间的串扰中。对于多通道sEMG，研究不同通道间相关性是有效利用通道信息的方法之一15。已有研究人员利用互相关函数量化传感器不同通道间的串扰16-17。Chen等18采用传感器每个通道的自相关系数，以及通道间的互相关系数作为特征进行手势识别；Akben等19利用通道间一致性相关系数（concor-dance correlation coefficient，CCC）并结合能量值作为特征，进行抓握动作分类。由于sEMG是非线性信号，使用通道间线性关系描述sEMG特征存在局限。互信息（mutual information，MI）是信息论领域中一种重要的信息度量工具，可以衡量两个随机变量之间的非线性相关性。传统的MI估计需要联合概率密度函数的精确表示，但现有联合概率密度函数估计方法存在估计精度低、依赖模型假设等问题，所以 MI 估计往往十分困难20。Han等21分析互信息与copula函数之间的关系，为了避免联合概率密度的估计，同时有效提高互信息估计的准确度与效率，提出一种基于copula熵的MI估计方法。为了充分挖掘sEMG通道间信息，本文提出一种多通道相关性（multi-channel correlation，MC）特征的肌电手势识别方法。首先采集健康受试者多通道sEMG，并进行数据预处理。计算 CCC 度量通道间线性相关关系，使用copula估计互信息（copula-based mutual infor-mation，copula MI）来描述通道间非线性相关关系。使用两种特征参数构建sEMG的MC特征，然后将特征向量输入到stacking集成学习模型，实现不同肌电手势的分类。最后在健康受试者多通道sEMG数据上进行验证。本文还进行了对比实验，首先基于stacking模型使用MC特征与4种常用时域特征进行识别并对比结果；其次基于MC特征使用stacking模型与5种常用分类器进行对比识别实验，结果验证了本文所提方法的有效性。本文提出的多通道相关性特征手势识别为多通道sEMG特征提取与识别提供了新的方法。1sEMG手势识别方法1.1研究方法考虑sEMG具有非线性、非平稳特点，本文提出MC特征手势识别方法，该方法结合通道间线性相关特征参数和非线性相关特征参数构建MC特征，充分挖掘通道间相关性信息。手势识别方法整体框图如图 1 所示。多通道肌电传感器采集预定义手势的sEMG数据后，将采集的手势数据集划分为两个互斥的训练集和测试集。在训练阶段，将训练样本预处理后，提取样本的MC特征并输入到stacking分类模型中进行训练。在测试阶段，将测试样本预处理、提取MC特征后，由训练好的模型进行分类，得出手势类别结果，验证所提MC特征的有效性。为了对比本文中stacki