基于Kinect的人体姿态识别算法研究_李国玄.pdf

第 卷第期 年月沧州师范学院学报 ，基于 的人体姿态识别算法研究李国玄，王文博，马凯凯（商丘工学院 机械工程学院，河南 商丘 ）摘要：针对传统基于视觉的人机交互易受复杂环境影响导致识别率不高等问题，提出了一种基于深度图像和骨骼图像融合的人体姿态识别算法首先获取骨骼信息，对人体骨骼建模及关节坐标点追踪，采用阈值法对肢体距离和夹角特征进行提取，将人体关节点通过坐标映射至深度图像，提高了关节点定位精度 遵循计算机视觉原理获取深度信息，对人体姿态图像进行采集、形态学处理、特征提取等操作，结合人体姿态动态函数方程，可以正确识别唤醒、举手、旋转、娱乐等常用姿势 采用微软 搭建开发环境，将获取的关节点进行连接实验结果表明，在不同光照强度下，基于 的人体姿态识别率均达到 以上，与传统人体姿态识别方法相比，具有更强的鲁棒性，符合人机交互在各领域的应用需求关键词：；深度图像；骨骼图像；特征提取；姿态识别中图分类号：文献标识码：文章编号：（）人机交互技术作为人与计算机之间数据通信的桥梁，在工业控制、教育教学、游戏娱乐、机器人控制等领域具有广泛的应用人体姿态识别是人机交互重要的体现形式之一，已成为近几年计算机视觉领域的热点话题 传统的人机交互采用穿戴设备、外设输入、触摸屏等方式控制机器设备的运行 为了进一步提高人机交互的便利性、舒适度及交互效率，科研工作者开始探索新型交互方式，于是人脸识别、手势识别、语音识别、视觉感知等交互方式成为众多高校和科研机构的研究热点 其中，基于人体姿态识别的交互方式能够较好地符合人们的生活习惯，不需要与机器接触，通过视觉设备对肢体动作进行识别，识别结果作为控制指令进一步精确控制外部设备计算机视觉作为人工智能领域的一个分支，能够模拟人眼功能，在视觉范围内能够判断人体不同姿势，在关联应用技术的理论支持下，将采集到的目标信息转换为数字电子信号形式输出近年来，计算机视觉的快速发展使得非接触的人机交互应用更加广泛，然而，由于技术原因，在复杂背景、光照强度等因素影响下，现有的技术水平往往不能完全精准地识别人体姿态基于此问题，本文针对基于 人体姿态识别的算法展开了研究人体骨架关节追踪 是微软公司推出的第一代 体感设备，具有动作捕捉、影像辨识、语音识别等功能，本文提出的姿态识别方法即基于体感设备的图像识别功能 的关键硬件及组成包括彩色摄像头、深度摄像头、麦克风阵列、仰角马达等开发环境使用 ，常用与作为开发语言，的主要功能是获取彩色图像、深度图像和骨骼图像等 基于体感技术生成 深度图像原理，将侦测到的 深度图像转换到骨架追踪系统，可以记录人体 个关节点，包括躯干、四肢等均在追踪范围之内 由于深度图像不受光照影响，设置阈值将人体从复杂背景中区分出来，降低计算机的计算量 追踪到人体关节点，对人体的姿态识别就转化为对 个关节点的相对位置进行辨识的问题 通过设定阈值，判断某一关节点是否在用户界面（，）内，防止追踪中断，影响人体姿态识别 根据人体收稿日期：基金项目：商丘工学院一般研究项目“基于 人体姿态识别的护理机器人控制研究”，编号：作者简介：李国玄（），男，河南商丘人，商丘工学院机械工程学院教师，研究方向：计算机视觉DOI:10.13834/ki.czsfxyxb.2023.01.007图骨骼图像手部跟踪骨架原理可知，手是肢体中关节点最多的部位，正确追踪手势区域是人体姿态识别的关键（图）骨骼信息映射深度图像人的骨架图像由关节点连线构成 关节点是独立的，而人体运动姿势具有高自由度和非刚性特点，导致关节点存在易遮挡、随意性较大等问题 因此，通过映射至深度图像共同表征姿态信息，具有一定的现实意义 人体骨骼信息提供了人体动作的局部形状信息和人体的结构拓扑信息 骨骼信息映射到深度图像，深度信息旨在提供图像的空间信息并能够较好地提供图像的遮挡部分骨骼节点由于多变性容易造成丢失，通过坐标转换，骨骼信息和深度信息融合在同一坐标空间，根据特征关节点映射到相应的肢体上 首先把 存储的骨骼节点坐标转换为屏幕坐标，假如 获取关节点相对于 体感器的位置，获取关节点的位置坐标相差 的 个单位，表示体感器所在的高度，传感器转化为 坐标基于骨架关节点信息的特征提取人体姿势变化是指整个身体或某一肢体运动时，骨架构型中的任意两个或多个关节点的相对位置发生变化人体的姿态动作呈周期性，在周期性的姿态中人体运动具有高自由度和非刚性的特点人体骨骼关节点的特征具有唯一性、连续性、稳定性、简明性、通用性等特点，而骨骼关节点运动具有不确定性，如何对人体骨架进行特征提取是姿态识别的关键常用的三种姿态识别算法包括基于模型技术、基于临近度和基于点云图骨骼关节点构成特征向量密度的算法，均对姿态的标准程度要求较高为使获取的特征信息具有良好的鲁棒性，基于 获取的骨骼数据流产生骨骼框架对象，重新以 关节点构造人体的形态结构，达到对人体姿态的理解并应用 本文首先基于 获取的图像标定分割感兴趣区域，通过形态学处理和阈值法识别人体姿态由于人体运动过程具有高自由度、多样性特点，基于体感技术能够实时获取 关节点的三维坐标，此时数据维度较大，特征信息冗余，过多的信息容易造成误识别，达不到预期效果 角度特征提取依据关节点向量之间组成的不同向量角，既可以表示姿态信息，还可以剔除无关信息，提高识别的准确性 捕捉关节点构成的特征向量如图所示姿态识别算法设计 唤醒姿态设计姿态表示人体关节之间的一种位置关系，姿态特征明显的动作常用在异常行为检测、医疗护理等场合为体现交互的自然性和舒适度，并防止误识别，设计了启动程序的唤醒姿态 将每帧的人体骨架编码为网络，随着姿态变化，关节间的相对位置也发生变化，根据网络中任意两个节点间的距离计算阈值，公式为，（）（）（）（）其中，和表示三维视场骨骼节点的三维坐标 首先设置视场用户 时进入检测模式，防止多人姿势混乱造成程序崩溃追踪到第一个用户，根据阈值分割去除当前图像中的复杂背景，通过相关分类策略将所有的关键点聚类成人体骨架，准确提取人的信息 通过获取同一肢体不同关节点之间的距离作为判断依据，在图唤醒姿势算法设计图唤醒姿态 界面中设置阈值，大于阈值此姿势有效，否则此姿势无效，以此达到识别系统唤醒姿势目的 但是，当两个关节点比较接近时，出现关节点跳动影响阈值判断，系统无法判断某一关节点的开始和结束位置，故在识别系统启动之前加入唤醒姿势，设计流程如图所示以 的控制输出框建立直角坐标系，首先检测视场中是否有跟踪目标，如果与摄像头距离并且只有一个用户，则 ，进入检测模式，系统处于等待状态唤醒姿态设计右手为追踪目标，当 且 时进入有效检测范围，此时等待有效唤醒手势；当 且 时确认目标是否有效，否则继续等待；当 且 时表示右手举起超过头顶并且小于，表示唤醒姿势触发唤醒姿态如图所示，图（）中手放在头部为错误唤醒姿势，图（）右手举起超过头顶为正确唤醒姿势 姿态识别基于 关节点信息建立的姿态模型鲁棒性强，构建的骨骼模型能反映人体实时姿态动作，满足人机交互领域的要求本文研究的姿势是骨骼之间的静态关系，用关节之间的夹角和距离阈值定义某种姿态，而传统姿态识别算法是在几何基础上基于模板匹配的思路来进行计算，该算法对运动时间戳较为敏感，选择的模板特征具有唯一性 由计算机视觉理论可知，在视场范围内的坐标超过某阈值时定义为已知姿态基于特征信息的姿态识别方法要求关节的连续性和唯一性，并且考虑身高尺寸的差异性，所以选择的特征向量要包含足够的信息 采集的深度图像和骨骼图像信息都是三维坐标，为了提高计算速度，通过坐标转换降低空间维度，把骨骼关节点的三维坐标 转换为二维的屏幕坐标 右手唤醒姿势识别后首先把 存储的关节点坐标信息映射到屏幕坐标分别为深度坐标和屏幕坐标，坐标转换关系为 获取关节点相对于 体感器的位置坐标 获取关节点的位置坐标相差 的 个单位传感器的转化为屏幕坐标利用坐标转换的目的在控制输出台显示更加直观，在 屏幕的骨骼阈值设置 个单位，在 屏幕的深度阈值设置个单位，在此检测系统中设置了 ，等四种简单姿势，如图所示图姿态识别实验结果与分析基于视觉的姿势识别方法以 获取的骨骼节点数据为基础，根据相对关节点组成的向量作为特征，设定某个阈值对出现在视场中的人物作出的姿势进行识别 在相同距离下四种姿势的识别率如表所示，不同的光照强度下平均识别率均达到 以上 实验证明，该方法是一个简单快速且识别率高的方法表四种姿势的识别率 （）平均识别率 与传统的姿态识别方法相比，基于 骨骼信息和深度图像融合的方法不仅可以提高姿态识别率，而且在不同光照强度下识别鲁棒性较强 针对人机交互的方式，姿态识别的结果可以作为一种指令应用到机器人控制、医疗服务、智能家居等领域，促进各领域向数字化、信息化、智能化进一步发展参考文献：张思锋，张泽滈中国养老服务机器人的市场需求与产业发展西安交通大学学报（社会科学版），（）：张毅，张娇，罗元基于手势跟踪的智能轮椅控制系统重庆邮电大学学报（自然科学版），（）：赵宏磊，张秋菊服务机器人的双臂运动学仿真研究轻工机械，（）：陈文钊，张雨晨，梁振奇基于改进模糊控制的机器人自主避障研究工业控制计算机，（）：，：，：段凌飞，张宏桥，何益基于物联网技术人机互动演示实验系统设计机电工程技术，（）：曾钢燕，曾晓艳基于 坐标系的卦限分割的彩色图像的滤波方法湖南工程学院学报，（）：，（，）：，：；责任编辑：武玉琳