MMRGait-1.0：多视角多穿着条件下的雷达时频谱图步态识别数据集.pdf

MMRGait-1.0：多视角多穿着条件下的雷达时频谱图步态识别数据集杜兰*陈晓阳石钰薛世鲲解蒙(西安电子科技大学雷达信号处理国家重点实验室西安710071)摘要：步态识别作为一种生物识别技术，在实际生活中通常被认为是一项检索任务。然而，受限于现有雷达步态识别数据集的规模，目前的研究主要针对分类任务且局限于单一行走视角和相同穿着条件，这限制了基于雷达的步态识别在实际场景中的应用。该文公开了一个多视角多穿着条件下的雷达步态识别数据集，该数据集使用毫米波雷达采集了121位受试者在多种穿着条件下沿不同视角行走的时频谱图数据，每位受试者共采集8个视角，每个视角采集10组，其中6组为正常穿着，2组为穿大衣，2组为挎包。同时，该文提出一种基于检索任务的雷达步态识别方法，并在公布数据集上进行了实验，实验结果可以作为基准性能指标，方便更多学者在此数据集上开展进一步研究。关键词：毫米波雷达；步态识别；检索任务；多视角多穿着条件；公开数据集中图分类号：TN957文献标识码：A文章编号：2095-283X(2023)04-0892-14DOI:10.12000/JR22227引用格式：杜兰,陈晓阳,石钰,等.MMRGait-1.0：多视角多穿着条件下的雷达时频谱图步态识别数据集J.雷达学报,2023,12(4):892905.doi:10.12000/JR22227.Reference format:DULan,CHENXiaoyang,SHIYu,et al.MMRGait-1.0:Aradartime-frequencyspectrogramdatasetforgaitrecognitionundermulti-viewandmulti-wearingconditionsJ.Journal of Radars,2023,12(4):892905.doi:10.12000/JR22227.MMRGait-1.0:A Radar Time-frequency Spectrogram Dataset for GaitRecognition under Multi-view and Multi-wearing ConditionsDULan*CHENXiaoyangSHIYuXUEShikunXIEMeng(National Laboratory of Radar Signal Processing,Xidian University,Xian 710071,China)Abstract:Asabiometrictechnology,gaitrecognitionisusuallyconsideredaretrievaltaskinreallife.However,becauseofthesmallscaleoftheexistingradargaitrecognitiondataset,thecurrentstudiesmainlyfocusonclassificationtasksandonlyconsiderthesituationofasinglewalkingviewandthesamewearingcondition,limitingthepracticalapplicationofradar-basedgaitrecognition.Thispaperprovidesaradargaitrecognitiondatasetundermulti-viewandmulti-wearingconditions;thedatasetusesmillimeter-waveradarasasensortocollectthetime-frequencyspectrogramdataof121subjectswalkingalongviewsundermultiplewearingconditions.Eightviewswerecollectedforeachsubject,andtensetswerecollectedforeachview.Sixofthetensetsaredressednormally,twoaredressedincoats,andthelasttwoarecarryingbags.Meanwhile,thispaperproposesamethodforradargaitrecognitionbasedonretrievaltasks.Experimentsareconductedonthisdataset,andtheexperimentalresultscanbeusedasabenchmarktofacilitatefurtherresearchbyrelatedscholarsonthisdataset.Key words:Millimeter-waveradar;Gaitrecognition;Retrievaltask;Multi-viewandmulti-wearingconditions;Publicdataset收稿日期：2022-11-24；改回日期：2023-02-10；网络出版：2023-03-06*通信作者：杜兰*CorrespondingAuthor:DULan,基金项目：国家自然科学基金(U21B2039)FoundationItem:TheNationalNaturalScienceFoundationofChina(U21B2039)责任主编：金添CorrespondingEditor:JINTian第12卷第4期雷达学报Vol.12No.42023年8月JournalofRadarsAug.2023 1 引言步态识别是一种新兴的生物识别技术，旨在通过人体行走特点的不同对人体的身份进行识别1。相比于指纹识别、虹膜识别等传统的生物识别技术，步态识别具有非合作、远距离、不易伪装等优点，可用于智能门禁、安防监控、刑侦监测等领域，具有十分广阔的应用前景2。近年来，由于深度学习的成熟发展和大量光学步态识别数据集的支撑，基于光学传感器的步态识别方法相关研究取得了有效的进展。然而，光学传感器易受天气和光线条件影响，且采集的图像或视频存在隐私泄露的风险。与光学传感器相比，雷达通过发射电磁波的方式来探测和感知目标，可以有效防止隐私泄露，同时雷达可以在不同的天气和光线条件下工作，具有较强的环境鲁棒性3。因此，基于雷达的步态识别方法具有非常高的实际应用价值，目前已受到广泛关注48。人在行走时，人体各个部位的微运动会在雷达回波信号上引起频率调制产生微多普勒信号9。由于每个人行走的姿态、方式不同，微多普勒信号中包含的步态信息也会有所差异。对微多普勒信号进行时频分析得到的时频谱图能够反映人体丰富的步态微多普勒信息，因此利用时频谱图进行步态识别是一种十分有前景的处理方法。传统的基于雷达的步态识别方法通常使用手动提取特征的方式进行识别，识别过程一般分为两步：(1)从时频谱图中提取躯干和四肢运动周期、多普勒展宽等特征；(2)将提取到的特征输入到支持向量机、决策树等传统分类器完成识别。然而，此类方法非常依赖先验知识，计算复杂度较高且泛化性较差，通常难以获得满意的识别效果10。近年来，深度学习技术在基于雷达的步态识别领域逐渐兴起，与传统的基于手动提取特征的方法相比，基于深度学习的方法可以自动地从时频谱图中提取具有鉴别力的步态特征，识别性能得到了极大的提升11,12。目前已有许多学者对基于时频谱图的步态识别问题展开了相关研究，南京航空航天大学的Cao等人4首次提出了一种基于AlexNet卷积神经网络的步态识别方法，在采集的20人数据集上达到了较好的识别效果。意大利贝内文托大学的Addabbo等人11利用时序卷积神经网络对步态时序信息进行建模，并在采集的5人数据集上验证了所提方法的有效性。Doherty等人12使用空间注意力和通道注意力机制增强特征表示以获取更具判别力的步态特征，所提方法在39人数据集上达到了较高的识别性能。天津大学的Lang等人5设计了一种动作分类与步态识别的多任务模型，并在采集的15人数据集上验证了模型的有效性。Yang等人13使用多尺度特征融合策略融合了网络不同层提取到的步态信息，在15人的数据集上达到了较高的识别准确率。复旦大学的Xia等人14使用Inception模块以及残差模块搭建了识别网络，并取得了较好的识别效果。上述工作证明了深度学习技术应用于雷达步态识别领域的可行性，推动了雷达在步态识别领域的发展。然而，上述研究仅局限于分类任务，即训练集和测试集中人的身份必须一致，无法对训练集中未出现的身份进行有效识别，这限制了基于雷达的步态识别在真实世界中的应用。在真实世界中，步态识别通常被认为是一项检索任务15，即给定一个查询样本，步态识别模型需要从步态样本库中检索出与查询样本匹配度最高的样本并赋予身份标签。与基于分类任务的步态识别方法相比，基于检索任务的步态识别方法具有以下特点：(1)检索任务不要求训练集和测试集中人员的身份相同，因此离线训练的步态识别系统可以直接部署到新场景中；(2)当新身份的人出现时，只需要更新样本库而无需重新训练模型。基于检索任务的步态识别模型通过对比不同样本在特征空间中距离的远近来衡量样本之间的匹配度，距离越近则样本之间的匹配度越高。检索任务模型的训练需要足够多身份数目的样本支撑，以保证模型能够学习到将相同身份样本之间的距离拉近、不同身份样本之间的距离拉远的能力，使相同身份样本之间的匹配度最高。同时，在基于检索任务的步态识别中，训练集和测试集中人的身份通常是不相同的，这对数据集中人的身份数目提出了更高的要求。然而，现有基于雷达的步态识别研究大多使用私有时频谱图数据集进行实验，这些数据集中人员的数目通常较少，无法满足检索任务对数据量的需求。由于数据采集的时间成本和人力成本较大，目前暂时没有人员数目充足的雷达时频谱图步态识别数据集公开，因此基于检索任务的雷达步态识别仍然是一个亟待研究的领域。为了填补基于检索任务的雷达时频谱图步态识别数据集的空缺，并为相关研究提供数据支撑，本文公开了一个121人的大型雷达步态识别时频谱图数据集。考虑到毫米波雷达具有较高的分辨率以及较低的功耗，且容易在实际应用中部署，本文选择毫米波雷达作为传感器来获取步态数据。同时考虑到在真实世界中，不同的行走视角16以及不同的穿着条件17会导致人体微多普勒特征的变化继而影响到步态识别模型的性能，因此，我们采集的数据包第4期杜兰等：MMRGait-1.0：多视角多穿着条件下的雷达时频谱图步态识别数据集893含了受试者在多种穿着条件下沿雷达不同视角行走的情况。此外，本文提出一种基于检索任务的雷达步态识别方法，并在公布数据集上评估了在多视角、跨视角以及相同穿着条件、跨穿着条件下的识别性能，实验结果可以作为基准性能指标，该数据集已可通过雷达学报官网的相关链接(https:/ MMRGait-1.0数据集信息 2.1 毫米波雷达简介本文使用德州仪器(TexasInstruments,TI)开发的77GHz调频连续波(Frequency-ModulatedContinuous-Wave,FMCW)雷达AWR184318采集原始的人体雷达回波数据。该雷达采用低功耗的COMS工艺，以较小的尺寸实现了极高的集成度，同时该雷达拥有3个发射天线和4个接收天线，在方位维和俯仰维上具有一定的角度分辨率，雷达天线阵列分布如图1所示。毫米波雷达的天线配置为1发4收，雷达发射波形为线性调频连续波，其中单个线性调频信号又被称为Chirp信号。发射波形的具体参数配置如表1所示。在此配置下，该雷达可以达到0.097m/s的速度分辨率，较高的速度分辨率容易获取丰富的人体步态信息。2.2 数据采集设置步态数据的采集平台和室内采集场景如图2所示，图2(a)所示毫米波雷达用于采集步态数据，光学相机用于记录采集场景。本数据集中共包含121位受试者的步态数据，其中，男性72人，年龄2126岁，身高163187cm，体重55100kg；女性49人，年龄21