基于人体模型约束的步态动态识别方法_刘今越.pdf

2023 03 10计算机应用,Journal of Computer Applications2023,43(3):972-977ISSN 10019081CODEN JYIIDUhttp：/基于人体模型约束的步态动态识别方法刘今越*，李慧宇，贾晓辉，李佳蕊（河北工业大学 机械工程学院，天津 300401）（通信作者电子邮箱）摘要：针对外骨骼机器人在人机交互、医疗康复中的人体运动步态准确识别问题，提出一种基于人体模型约束的步态动态识别方法。首先，利用AMS仿真软件建立不同运动的仿真模型，根据模型约束划分步态相位，并通过回归映射建立真实数据与仿真数据间的对应关系；然后，将柔性压力传感器采集的足底压力数据以及惯性测量单元采集的足部位移数据融合为足部运动数据，并根据动态变化结合模型约束条件动态分割运动数据，以判断步态相位；最后，搭建卷积神经网络（CNN）识别行走步态相位。实验结果表明，所提方法的行走动作步态平均识别准确率为94.58%，上、下楼梯动作的平均步态识别准确率分别为93.21%和94.64%，与未经动态分割的足底压力数据的步态识别相比，分别提高了11.34、12.19和16.03个百分点。可见，通过经动态分割的足部运动数据进行CNN识别具有较高的准确率，且适用于不同动作的步态识别。关键词：步态识别；动态检测；人体模型；卷积神经网络；足底压力中图分类号：TP242.6 文献标志码：ADynamic gait recognition method based on human model constraintsLIU Jinyue*，LI Huiyu，JIA Xiaohui，LI Jiarui（School of Mechanical Engineering，Hebei University of Technology，Tianjin 300401，China）Abstract:Aiming at the issue of accurate recognition of human motion gait in exoskeleton robot human computer interaction and medical rehabilitation，a dynamic gait recognition method based on human model constraints was proposed.Firstly，Anybody Modeling System（AMS）simulation software was used to establish different motion simulation models，the gait phases were devided according to the model constraints，and the corresponding relationship between the real data and the simulation data was established through regression mapping.Then，the plantar pressure data collected by the flexible pressure sensor and the foot displacement data collected by the inertial measurement unit were fused into the foot motion data，and the motion data was dynamically segmented according to its dynamic changes and the model constraints to determine the gait phase.Finally，Convolutional Neural Network（CNN）was built to identify the walking gait phase.Experimental results show that the proposed method has the average recognition accuracy of walking action gait of 94.58%，and the average gait recognition accuracy for going upstairs and downstairs actions is 93.21%and 94.64%respectively，which has the gait recognition accuracy of the three actions（walking，going upstairs and downstairs）increased by 11.34，12.19 and 16.03 percentage points，respectively.It can be seen that CNN recognition based on dynamically segmented foot motion data has a high accuracy，and is suitable for gait recognition of different actions.Key words:gait recognition;dynamic detection;human model;Convolutional Neural Network(CNN);plantar pressure0 引言 人体运动步态识别在外骨骼机器人运动控制、医疗检查等领域应用广泛1-3。助力型外骨骼机器人主要用于部队后勤、抢险救灾等场景，必须及时感知人体运动状态，使外骨骼机器人更精准地与人体协同运动，达到助力效果4。在医疗康复领域，准确的步态识别技术可以检测运动状态，对帕金森病症中的步态功能障碍进行预警，避免可能发生的跌倒损伤等危险5。运动状态识别的关键是准确采集人体运动信息并进行特征提取。国内外学者在该领域开展了广泛研究。表面肌电信号方法（surface ElectroMyoGraphy，sEMG）采用非侵入方式将传感器电极连接到人体表面皮肤，通过采集表面肌电信号、分析神经肌肉和步态相位的相关性6-7以检测人体运动信息。由于肌电信号比较微弱复杂，电极的连接状态易受皮肤表面出汗等因素影响，不能稳定采集人体运动信息，而且导线会对人体运动产生一定的阻碍作用。另外，使用Kniect深度相机8或光学运动捕捉系统动态捕捉人体高精度三维位置与运动姿态信息，可检测并识别步态9，但是使用场景限制较大。目前，基于机器学习的人体运动步态识别方法应用较广10。Weigand 等11使用压力传感器和惯性测量单元（Inertial Measurement Unit，IMU）分别测定步态周期起止位置以及小腿的运动变量，并结合k-最近邻（k-Nearest Neighbor，kNN）和人工神经网络方法识别步态，但未对步态进行细分，文章编号：1001-9081（2023）03-0972-06DOI：10.11772/j.issn.1001-9081.2022010131收稿日期：20220208；修回日期：20220316；录用日期：20220321。基金项目：国家自然科学基金资助项目（U1813222）。作者简介：刘今越（1977），男，河北唐山人，教授，博士，主要研究方向：机器人环境感知、智能检测与控制；李慧宇（1994），男，黑龙江佳木斯人，硕士研究生，主要研究方向：力触觉感知、智能检测；贾晓辉（1976），女，河北唐山人，副教授，博士，主要研究方向：柔性精密系统设计、力触觉感知机理、意图识别；李佳蕊（1996），女，辽宁铁岭人，硕士研究生，主要研究方向：力触觉感知机理、意图识别。第 3 期刘今越等：基于人体模型约束的步态动态识别方法无法准确得知当前的运动状态。Su等12将IMU分别布置在大腿、小腿与脚踝处，将测量出的运动数据组成“图像”并输入深度卷积神经网络（Convolutional Neural Network，CNN），可实现多个步态相位的识别，但使用的传感器个数较多且布置复杂，不利于人体自由运动。赵飞13将 IMU 布置在足跟部位采集运动数据，将4个薄膜压力传感器放置于足底采集足底压力数据，采用支持向量机识别不同步态模式，虽然减少了对人体运动的影响，但因压力传感器分辨率低且只能采集4个测量点的足底压力数据，容易丢失关键的压力信息。针对步态检测受场景限制、传感器布置复杂以及压力传感器分辨率低等问题，本文提出一种基于人体模型约束的步态动态识别方法。识别流程如图 1 所示，首先，利用 AMS（Anybody Modeling System）软件建立人体仿真模型，进行运动学和动力学分析，得到足底压力、足部运动位移仿真数据以及对应的姿势，并划分运动过程中的步态相位，构建真实数据与仿真数据间的映射模型；然后，应用柔性压力传感器采集行走过程的足底压力数据，动态判断支撑相步态相位；应用IMU采集足部运动数据，运用零速修正算法消除累积误差获得足部运动位移量，根据位移规律确定摆动相步态相位；最后，使用CNN训练行走步态数据，以准确识别步态。1 数据采集系统 在人体运动过程中，完整采集足底压力分布与足部运动特征可获取运动关键信息。本文结合足底压力传感器与IMU搭建足部运动数据采集系统。如图2所示，采集高分辨率足底压力与足部运动数据。足底压力传感器选用电容式柔性压力传感器14，结构及工作原理如图3所示。传感器中上电极层铺设32行、下电极层铺设16列相互平行的条状电极，上下电极层的条状电极垂直布置，各导电电极相互交叉，共形成 512个交叉点阵列分布，每一个电极交叉点即为一个电容单元。当有压力作用于传感器表面时，受压区域的电容单元电介质层发生变形导致电容值改变，实现足底相应区域压力数据的高分辨率采集，以保证足底压力数据的完整性。IMU选用包含3个单轴加速度计和3个单轴陀螺仪的6轴IMU，其中：3个加速度计分别输出物体在载体坐标系下的3个线性加速度；3个陀螺仪分别输出载体相较于导航坐标系的3个角速度。2 人体模型约束 2.1建立人体模型AMS软件可用于人体动力学和运动学仿真分析。本文修改软件内置模型库中的模型参数，搭建了身高1.78 m、体重 75 kg的肌肉骨骼模型，模型空间坐标系设定为 X方向指向人体右侧，Y方向指向人体前进方向，Z方向由右手坐标系确定。按照 AMS 中模型标记点的布置规则，将光学标记点粘贴在捕捉对象的相应位置，应用 OptiTrack 运动捕捉设备采集捕捉对象上光学标记点的空间位置，将数据保存为C3D格式，导入AMS中进行运动学与逆动力学仿真。本文在模型足底创建了24个测力点，分8行排列，列数随足底形状不规则分布，最宽处为4列。根据实际IMU的安装位置，在人体模型对应部位设置测量点，记录步态过程中的位移数据，如图4（a）所示。在逆动力学仿真过程中，当测力点接触地面时，产生使模型保持平衡所需要的支反力，将它作为足底压力仿真数据。采用自然邻点插值算法将足底压力仿真数据拓展为与真实足底压力数据相等的32行16列并处理成脚印形状，如图4（b）所示。2.2模型约束下步态分类步态周期指行走过程中两个相同事件发生的时间间隔，以右足足跟触地为步态周期分界点，一个步态周期包括支撑相和摆动相两部分，分别占整个步态周期的60%和40%15。本文分析足底压力数据与模型步态特征，将支撑相的压力数据步态相位细分为足跟触地（Heel Contact，HC）、足弓触地（Arch Contact，AC）、足平放（Stance，ST）、足跟离地（Heel Off，HO）、足前支撑（Forefoot Support，FS）五种状态。在运动过程中，足部位移数据的步态特征相