基于三维联合识别网络的毫米波雷达手势识别方法_杨磊.pdf

书书书雷达智能信号处理专题DOI:1016592/jcnki10047859202212002基于三维联合识别网络的毫米波雷达手势识别方法杨磊，张文鹏*，姜卫东，杨威(国防科技大学 电子科学学院，长沙 410073)摘要:随着智能化时代的到来，基于毫米波雷达的手势识别逐渐成为研究热点。针对目前基于雷达的手势识别方法中存在利用信息有限且泛化能力低的问题，文中在三维卷积神经网络的基础上提出了三维联合识别网络(3DUNet)模型。3DUNet 以宽带雷达获取的距离多普勒(D)图序列作为输入，使用金字塔注意力卷积模块提取 D 序列的多尺度空间特征并自适应地校准跨维度的通道权重，强化重要特征，进一步使用时间自注意力模块对全局时序信息进行建模，最后通过分类器得到识别结果。文中利用毫米波雷达在多种场景下对多名实验对象的不同手势动作进行测量形成一套雷达手势识别数据集。对比实验表明:所提出的 3DUNet 网络模型对手势动作识别的准确率可达到 956%，参数量比主流 3D 网络降低一个数量级，同时具有良好的泛化能力，可为基于雷达技术的手势动作识别提供新的技术方案。关键词:手势识别;毫米波雷达;三维卷积神经网络;距离多普勒中图分类号:TN95751文献标志码:A文章编号:10047859(2022)12000807引用格式:杨磊，张文鹏，姜卫东，等 基于三维联合识别网络的毫米波雷达手势识别方法J 现代雷达，2022，44(12):814YANG Lei，ZHANG Wenpeng，JIANG Weidong，et al Gesture recognition method of millimeter-wave radar based onthree-dimensional joint recognition network J Modern adar，2022，44(12):814Gesture ecognition Method of Millimeter-wave adar Based onThree-dimensional Joint ecognition NetworkYANG Lei，ZHANG Wenpeng*，JIANG Weidong，YANG Wei(College of Electronic Science and Technology，National University of Defense Technology，Changsha 410073，China)Abstract:With the advent of the intelligent era，gesture recognition based on millimeter-wave radar has gradually become a re-search hot spot To address the problems of limited utilization of information and low generalization ability in current radar-basedgesture recognition methods，a three-dimensional joint recognition network(3DUNet)model based on 3D-CNN is proposed in thestudy Firstly，3DUNet takes range-Doppler(D)map sequence acquired by broadband radar as the input And then pyramidalattention convolution module is used to extract the multiscale spatial of D sequence features and adaptively calibrate the channelweights across dimensions to reinforce the important features Subsequently，the temporal self-attention module is used to model theglobal timing information Finally，the recognition results are obtained using a classifier In this paper，a radar gesture recognitiondataset is formed by measuring different gesture actions of multiple experimental subjects in multiple scenarios using millimeter-wave radar Comparative experiments show that the proposed 3DUNet model can achieve an accuracy of 956%for gesture actionrecognition with less number of parameters and good generalization ability The proposed 3DUNet provides a new technical solu-tion for gesture action recognition based on radar technologyKey words:gesture recognition;millimeter-wave radar;three-dimensional convolutional neural network;range-Doppler基金项目:国家自然科学基金资助项目(61901487，61871384，61921001);湖 南 省 自 然 科 学 基 金 资 助 项 目(2021JJ40699);中国博士后科学基金资助项目(2021TQ0084)收稿日期:2022-08-12修订日期:2022-10-150引言随着智能化时代的到来，人机交互越来越受到人们的追捧。由于手势在日常生活中蕴含着丰富信息，识别手势并基于手势进行交互已广泛应用于民用和军事领域的多个方面12，例如虚拟现实、智能家居、军事指挥和电子沙盘等。手势识别技术主要分为接触式手势识别和非接触式手势识别。接触式手势识别需要人体佩戴一定的设备，YANG 等人3 采用 MYO 臂环收集表面肌电信号，然后利用前馈神经网络对 5 种手势进行识别，达到了96%的识别率。基于接触式的手势识别虽然具有较高的识别率，但是需要佩戴的设备价格较高，且会给人体带来体感上的不适。8第 44 卷第 12 期2022 年 12 月现 代 雷 达Modern adarVol44No12Dec 2022非接触式手势识别按照技术原理可以分为基于光学和基于雷达技术的手势识别。基于光学的手势识别技术现已经得到广泛的研究和应用。WU 等人4 将经过预处理得到的手部边缘图像和原始光学图像共同输入深度卷积神经网络中，在 Jochen Triesch 手势数据集和 NAO Camera 手势数据集中取得了较高的识别率。ZHU 等人5 利用 Kinect 传感器捕获手势动作的 GB-D 图像，并设计一种基于 3D 上下文形状的描述符方法对其进行识别，取得了超过 98%的识别率。基于光学的识别方法易受光照、天气等的影响，在可见度低的情况下识别性能较差，并且存在泄露个人隐私的风险。受益于雷达传感器具有全天时、全天候和可穿透性的特点，基于雷达的手势识别技术具有非接触、不受光照影响和隐私性好的优点，在手势识别领域受到越来越多的关注68。目前，应用最广泛的方法是利用卷积神经网络对经过雷达信号处理获得的手势特征图进行识别6，其中基于二维卷积神经网络(2D-CNN)的手势识别是研究的热点。ZHANG 等人7 设计一种2D-CNN 提取线性调频连续波雷达回波信号的时频特征信息识别手势。WANG 等人8 将雷达回波数据处理成距离时间图，多普勒时间图和角度时间图后输入多通道卷积神经网络中进行手势动作的识别。然而，基于 2D-CNN 的识别方法割裂了动态手势雷达回波数据中包含的距离、频率和时间等信息之间的关系，存在利用信息不充分、模型参数冗余的问题。为克服2D-CNN 网络的局限性，受三维卷积神经网络(3D-CNN)在光学动作识别中具有良好效果的启发911，开始有学者将 3D-CNN 应用到雷达目标识别领域。WANG 等人12 将动态手势的雷达回波数据输入基于GoogLeNet 的 3D-CNN 中进行手势识别。AHMED 等人13 设计了一种双流 3D-CNN 网络同时提取手势动作的距离时间图序列和多普勒时间图序列特征进行识别，能够较好地完成手势识别任务。目前应用于毫米波雷达手势识别的 3D-CNN 模型结构中尚未有相关的空间和通道注意力模块应用，存在网络结构参数量多，提取特征单一且只能提取短时特征信息，不能对全局时序信息进行建模的问题。本文提出一种毫米波雷达动态手势动作识别的方法。针对调频连续波雷达回波数据处理后生成的距离多普勒(D)图序列，在 3D-CNN 的基础上，结合通道注意力和金字塔卷积提出了金字塔注意力卷积(PAC)模块实现 D 图序列的多尺度特征提取，并自适应地校准跨维度的通道权重，强化重要特征;同时设计时间自注意力(TSA)模块获取帧与帧之间的关系，对全局时序特征信息进行建模;进一步结合 3D 卷积层和 Softmax 分类层提出用于毫米波雷达手势识别的三维联合识别网络(3DUNet)模型。1雷达距离多普勒图序列毫米波雷达发射一系列周期线性调频连续波脉冲串信号，一个相参周期内的发射信号为st(t，tm)=recttTp()expj2(fct+12 t2)(1)式中:t为脉内快时间;tm=mTp(m=0，1，2，)为脉间慢时间;t 为全时间;t=tmT;fc、Tp、rect()分别为发射信号的中心频率、脉宽、调频率、包络。包络可表示为rect(u)=1|u|120|u|12(2)雷达线性调频信号脉冲持续时间在微秒(s)级别，手势运动的时间远大于这个量级，可用“停走”模型建立目标雷达回波模型。令 rl(tm)表示第 l 个散射中心在第 m 个脉冲起始时刻与雷达间的径向距离，则空间目标的雷达回波信号为st(t，tm)=Ll=1l(tm)rectt1(tm)Tpexpj2 fc(tl(tm)+12 tl(tm)2(3)式中:l(tm)、l(tm)=2rl(tm)/c 分别为第 l 个散射中心对应的回波幅度和回波时延，c 为光速。通过中频参考信号与回波信号作差频处理可实现解线性调，参考信号为sref(t，tm)=Arectt0Tref()expj2 fc(t 0)+12(t0)2(4)式中:0=2rref/c 为参考信号时延，rref为参考距离;Tref为参考信号脉宽。解调后，对雷达回波快时间t和慢时间 tm进行二维傅里叶变换得到关于目标散射点距离和速度的函数为Sif(fi，fd)=Ll=1AlsincTpfi+2cl()sincNTpfd+2vl()(5)9雷达智能信号处理专题杨磊，等:基于三维联合识别网络的毫米波雷达手势识别方法2022，44(12)式中:N 为脉冲数;Al表示第 l 个散射点的强度;l为第 l 个散射点到雷达的距离;vl为第 l 个散射点速度。经过处理后得到 Sif(fi，fd)的为被测手势的一帧距离多普勒图。对每个周期内的回波信号都采取以上处理，可以得到被测手势的距离多普勒图序列。2三维联合识别网络模型针对现有 3D 网络仅对卷积层的结构进行设计，缺乏专门对特征进行重要性建模和优化处理的注意力模块。本文设计了一种新型的 3DUNet 网络模型，该网络