基于线性映射场的fNIRS信号特征提取与分析_姚宇轩.pdf

基于线性映射场的fNIRS信号特征提取与分析姚宇轩孙兆辉高毓兵吴奇*(上海交通大学电子信息与电气工程学院上海200240)(上海交通大学机械与动力工程学院上海200240)摘要：大脑功能性激活的相关研究普遍存在特征提取依赖人工经验、深层次生理学信息难以挖掘两大问题。针对这两个问题，该文通过引入变分模态分解(VMD)技术，提出自适应VMD算法。该算法考虑了脑血氧信号在不同频段下的生理意义，降低了传统VMD对超参数选取的依赖。实验结果表明自适应VMD算法能够精确地提取出功能性近红外光谱(fNIRS)中富有生理学意义的有效模态分量，进而提升数据预处理效果。在此基础上，基于将时间序列映射成图像并使用深度卷积神经网络进行特征学习的思路，提出线性映射场(LMF)。基于LMF，该文以较低的运算量将fNIRS序列映射成2维图像，辅以深度卷积神经网络，实现了fNIRS生理信号深层次特征的提取。实验结果证明了所提出LMF的优势。最后，该文对提出方法的有效性进行了讨论与分析，说明了不同于循环神经网络仅能“顺序”地感知时间序列，卷积神经网络对时间序列的“跳跃”感知是其取得优异效果的关键。关键词：脑功能性激活；功能性近红外光谱；特征提取；变分模态分解；生理信息中图分类号：TP181文献标识码：A文章编号：1009-5896(2023)04-1401-11DOI:10.11999/JEIT220120Feature Extraction and Analysis of fNIRS SignalsBased on Linear Mapping FieldYAOYuxuanSUNZhaohuiGAOYubingWUQi(School of Electronic Information and Electrical Engineering,Shanghai Jiao Tong University,Shanghai 200240,China)(School of Mechanical Engineering,Shanghai Jiao Tong University,Shanghai 200240,China)Abstract:Therearetwomajorproblemsintheresearchonbrainfunctionalactivation:featureextractionreliesonexperience;anditisdifficulttominedeepphysiologicalinformation.Focusingonthesetwoproblems,thispaperproposesaself-adaptiveVariationalModeDecomposition(VMD)algorithmbyintroducingtheVMDtechnique.Thealgorithmconsidersthephysiologicalsignificanceofcerebralbloodoxygensignalsindifferentfrequencybandsandreducesthedependenceontheselectionofhyperparameters.Theexperimentalresultsshowthattheself-adaptiveVMDalgorithmcanaccuratelyextractmeaningfulcomponentsinfunctionalNear-InfraRedSpectroscopy(fNIRS),therebyimprovingtheeffectofpreprocessing.Secondly,thispaperproposesLinearMappingField(LMF)basedontheideaofmappingtimeseriesintoimagesandusingdeepconvolutionalneuralnetworksforlearning.BasedonLMF,thispapermapsthefNIRSsequenceintoatwo-dimensionalimagewithalowamountofcomputationsupplementedbyadeepconvolutionalneuralnetwork,andrealizestheextractionofdeepfeaturesoffNIRSphysiologicalsignals.TheexperimentalresultsdemonstratetheperformanceandadvantagesoftheproposedLMF.Finally,thispaperdiscussesandanalyzestheeffectivenessoftheproposedmethods,indicatingthatdifferentfromrecurrentneuralnetworkswhichcanonlyperceivethetimeseriesina“sequential”manner,theconvolutionalneuralnetworkscharacteristicof收稿日期：2022-01-27；改回日期：2022-06-29；网络出版：2022-07-19*通信作者：吴奇E基金项目：国家自然科学基金(U1933125,62171274)，空军医学科研重大项目(2021KHYX11)，国防创新特区项目(193-CXCY-A04-01-11-03)，上海市级科技重大专项(2021SHZDZX)FoundationItems:TheNationalNaturalScienceFoundationofChina(U1933125,62171274),TheAirForceMedicalResearchMajorProject(2021KHYX11),TheDefenseInnovationProject(193-CXCY-A04-01-11-03),ShanghaiScienceandTechnologyMajorProject(2021SHZDZX)第45卷第4期电子与信息学报Vol.45No.42023年4月JournalofElectronics&InformationTechnologyApr.2023jumpingperceptionisthekeytoachievingexcellentresults.Key words:Brainfunctionalactivation;FunctionalNear-InfraRedSpectroscopy(fNIRS);Featureextraction;VariationalModeDecomposition(VMD);Physiologicalinformationmining1 引言脑科学研究对人类了解自身生理节律、理解认知过程有着至关重要的作用。由于人类密集的神经活动均潜藏于颅脑之内，且这些神经活动变化细微，因此脑科学的研究通常需要依赖脑成像技术。目前，脑功能成像技术主要包括功能性磁共振成像、脑电波和功能性近红外光谱(functionalNear-InfraRedSpectroscopy,fNIRS)3种。fNIRS具有在接近自然条件下进行脑成像的优点。此外，fNIRS测量设备佩戴舒适、属于非侵入式测量且对头部和肢体晃动的敏感性低，这使得fNIRS的应用场景更加广泛1。采集到的fNIRS数据需经过预处理后才可用于后续分析，主要手段包括滤波、头动校正、去漂移等。这些基本手段能够去除实验中由设备噪声、受试者晃动、电极断触等造成的数据异常。但是，其缺陷在于无法提取出fNIRS信号中具有生理学意义的各个分量。近年来，变分模态分解(VariationalModeDecomposition,VMD)在滚动轴承检测、故障检测取得了广泛应用24，其最大的特点在于能够对信号进行分解和重构，从而去除噪声。受此启发，本文结合fNIRS信号处理的实际需求，提出非参数依赖的自适应VMD算法，用于提取fNIRS信号中具有生理学意义的相关分量。据悉，本文是首个将VMD技术应用于脑功能激活的研究，实验证明了所提的自适应VMD算法较传统预处理手段具有更好的去噪效果。基于fNIRS的研究方法可以分为两大类：种子相关分析法和基于图论的静息态复杂脑网络构建法。前者根据先验知识选定某脑区作为种子点，计算该点与其他脑区之间的相关系数作为功能连接的度量，该方法简单可靠且易于解释。后者则以全脑相关分析为基础，定义各通道为节点、通道间的相关性为边，进而得到脑功能网络拓扑图。之后通过复杂网络相关指标如最短路径长度、聚类系数等对脑功能网络进行分析，进而研究各脑区之间神经活动的相关性及信息传递效率。尽管上述方法取得了一定成果58，但是均要求研究者手动提取数据特征，研究结果依赖研究者的经验，因此在实际应用过程中存在明显局限性。此外，由于所提取特征以单一的统计学指标为主，无法反映fNIRS数据背后的深层次生理信息。近年来，以深度神经网络(DeepNeuralNet-works,DNN)为代表的深度学习技术快速发展，在计算机视觉等多个领域均取得了瞩目成就。通过堆叠多层卷积核，DNN依次对图像局部特征及全局特征进行学习，在数据量充足时能取得优异的分类性能。目前已有大量深度神经网络模型被开发并应用于各类图像分类任务911。从数据类型来看，fNIRS数据属于多通道的时间序列信号，因此，为了充分发挥DNN的识别优势，需先将fNIRS数据转化为图像。Wang等人12利用格拉姆角场(GramAngularField,GAF)和马尔可夫转移场(MarkovTransitionField,MTF)转化时间序列。受其启发，本文设计了一系列新的时间序列到图像的映射方法，并用DNN对生成的图像进行学习，以揭示不同任务下脑功能激活情况。本文贡献归纳如下：(1)提出基于VMD技术的fNIRS信号特征提取方法，解决了传统VMD算法对超参数选定的依赖问题。(2)提出时间序列映射成图像的特征可视化新方法，较经典的GAF具有计算量低、分类精度高等优势。解决了GAF无法完整重构时间序列的难题。(3)提出“跳跃”感知概念，解释并讨论了图像生成算法配合卷积神经网络能够取得更好效果的原因。2 相关工作2.1 变分模态分解Huang等人13提出的经验模态分解(EmpiricalModeDecomposition,EMD)算法可以自适应地将任何信号分解成若干个内涵模态分量(IntrinsicModeFunction,IMF)之和。但是，EMD算法易发生模态混叠，有多项研究在此基础上做出改进1416。其中，Dragomiretskiy等人17提出的VMD算法得到了广泛应用。该算法将信号分解为有限带宽IMF，如式(1)uk(t)=Ak(t)cos(k(t)(1)Ak(t)uk(t)k(t)其中，为信号的包络，为信号的瞬时相位。与EMD及其诸多改进方法不同，VMD算法将分解过程转化成求解一个变分问题的过程，式(2)为其约束变分模型。1402电子与信息学报第45卷minuk,kkt(t)+jt)uk(t)eikt22s.t.kuk(t)=f(2)VMD的各种优良特性使其被广泛应用于信号去噪、机械故障检测等任务24。不过据了解，尚未有研究工作将VMD算法应用于生理学信号的分解。此外，VMD需要指定模态数的特点使其在某些模态数不能确定的场合下难以得到有效应用。针对以上问题，本文结合神经性活动生理信号的频域特征，提出自适应变分模态分解(AdaptiveVMD,AVMD)算法。该算法能够自动计算出最佳超参数，并确保分解出的IMF分量具有生理学意义。2.2 格拉姆角场和马尔可夫转移场1,1近年来，深度学习在计算机视觉领域取得瞩目成就，诞生了很多具有优良性能的网络模型911。但是，这些模型更适合处理图像等2维矩阵型数据，不适合处理时间序列。为解决此问题，Wang