基于MediaPipe与机器学习模型融合的手势识别框架.pdf

信息与电脑人工智能与识别技术Information&Computer基于 MediaPipe 与机器学习模型融合的手势识别框架2023年第10 期武洪萍王聪张磊陈永源刘剑伟（1.山东信息职业技术学院，山东潍坊摘要：文章提出了一种基于MediaPipe与机器学习模型融合的手势识别框架。首先，通过MediaPipe获取手部2 1个关键点；其次，使用数据集增强模块扩充数据集，根据角度信息和距离信息使用自动化特征构建模块生成特征并使用主成分分析进行降维；最后，使用机器学习模型在自主数据集进行训练和预测，通过验证发现支持向量机模型效果最好。关键词：手势识别；MediaPipe；自动化特征工程；支持向量机中图分类号：TP391.41Gesture Recognition Framework Based on Fusion of MediaPipe and Machine方2 6 10 0 0；2.山东泽普医疗科技有限公司，山东潍坊文献标识码：A文章编号：10 0 3-9 7 6 7（2 0 2 3）10-17 6-0 4Learning Model方2 6 10 0 0)WU Hongping,WANG Cong,ZHANG Lei,CHEN Yongyuan,LIU Jianwei?(1.Shandong Vocational College of Information Technology,Weifang Shandong 261000,China;2.Shandong Zepu MedicalTechnology Co.,Ltd.,Weifang Shandong 261000,China)Abstract:The article proposes a gesture recognition framework based on the fusion of MediaPipe and machine learningmodels.Firstly,21 key points of the hand are obtained by MediaPipe;secondly,the dataset is expanded using the datasetenhancement module,and features are generated based on angle information and distance information using the automatedfeature building module and dimensionality reduction using principal component analysis;finally,machine learning modelsare used to train and predict on the autonomous dataset,and the support vector machine model is found to work best throughvalidation.Keywords:gesture recognition;MediaPipe;automation feature engineering;support vector machine0引言康复机器人是一种专门治疗患者的系统，可以利用计算机、机械、电子、传感器以及控制系统自动执行任务，帮助患者实现功能恢复。近些年，随着机器人产业、智慧医疗的发展，康复机器人得到快速的应用。2004，吕广明等人总结了近些年康复机器人的技术发展及关键技术；2 0 10 年，孙进等人总结了基于脑机接口技术的康复机器人，并且指出了脑机接口系统存在的问题 2；2 0 2 2 年，张伟等人总结了机器学习在康复机器收稿日期：2 0 2 3-0 4-0 4基金项目：2 0 2 1年山东省科技型中小企业创新能力提升工程项目“智能步态训练与评估康复机器人”（项目编号：2021TSGC1260）。作者简介：武洪萍（19 6 5一），女，山东潍坊人，本科，教授。研究方向：大数据与人工智能。人研究中的应用，其中包含基于人工神经网络、支持向量机、深度学习在康复机器人中的应用 3；肖勇等人分析了康复治疗存在的主要问题，概述了国内康复机器人研究关键点及产品开发进展，并提出了基于市场需求的智能康复发展思路 4。在手势识别领域：张良国等人提出基于Hausdorff 距离的手势识别，在距离变换空间内实现了中国手语手指字母集上的基于单目视觉的30 个手指字母的手势识别，并且在测试集上达到了9 6.7%的精度 5；2 0 12 年，翁汉良等人基于颜色特征成功分割176一信息与电脑2023年第10 期Information&Computer人工智能与识别技术出人手，并且利用人手的轮廓及凸缺陷检测指尖，再利用指尖的数目和方位来表示一个手势，进而结合轮廓长度和面积等几何特征完成手势识别 ；2 0 18 年，王健等人提出了一种基于深度卷积网络的高识别率动态手势识别方法，该方法可以在一幅图像中识别出4种不同手势各自区域位置及其所属类别，识别准确率达到 8 5.9%7 。综上所述，目前很少有学者将手势识别应用到康复机器人领域，因此文章提出基于MediaPipe与机器学习模型融合的手势识别框架。该框架先使用MediaPipe识别出手部2 1个关键点，然后使用特征提取和机器学习的方式分类这些关键点。另外，提出了适用于手势识别领域的自动化特征构建模块，该模块可以扩展到任意手势识别任务。1基于MediaPipe的手部关键点检测MediaPipe是Google的一个开源项目，可以提供开源的、跨平台的常用机器学习方案。该项目实际上是一个集成的机器学习视觉算法的工具库，包含人脸检测、人脸关键点、手势识别、头像分割以及姿态识别等各种模型。MediaPipe可以识别单手的2 1个骨骼节点，并且可以识别手指遮挡部分 8 。2 0 2 2 年，王如斌等人提出了一种基于MediaPipe的手势识别算法，将手部不同手势与挖掘机的不同动作相对应，实现了基于手势实时控制挖掘机操作 9 。C通过MediaPipe模块，可以识别出每个手掌的2 1个关键点的3维坐标信息。本任务中，只选择x和y坐标，并且为了开展分类任务，还需要进行特征抽取，然后使用机器学习模型进行分类。手部关键点和编号如图1所示。32图1手部关键点和编号2自动化特征构建模块在手势识别任务中，特征工程可以帮助提取有代表性的手势特征，以便机器学习模型能够准确地识别不同的手势。通过分析发现，手势识别特征主要包含角度信息和距离信息两类特征。但是，对于不同的任务需要设计不同的角度、距离，为了解决人工选择，设计了适用于手势识别任务的自动化特征构建模块。2.1角度特征模块已知平面中相邻的两个点构成的直线，那么可以通过反三角函数计算相邻直线的夹角。假设3个点的坐标为=(xiyi)，b=(x 2 y 2)，c=(x 3,s)，点b为连接点，那么可以得到两条向量 l=(x2-xiJ2-y1)，l=(x-x a J2-s)，然后可以计算两条之间的余弦值cos0-I2/(1/2l)。2.2距离特征模块根据两点之间的距离计算公式可以得到任意两点之间的距离，但是由图像发现即使不同人同一手指的指关节距离变化不大，因此需要剔除掉方差小的特征只保留方差大的特征。并且由于手掌距离摄像头距离不一样，导致识别出来的手掌大小不一样，可以使用归一化消除掉这种差别。基于以上两点，设计了适用于手势关键的距离特征计算流程：首先，计算关键点之间的距离；其次，进行归一化操作，每个距离除以该样本的所有距离之和；最后，计算每列的方差，并且根据设定的阈值t，剔除掉小于t的特征。2.3特征融合得到距离特征和角度特征后，需要使用特征融合技术将其进行合并。常用的特征融合技术包含特征级联、特征加权、特征融合器以及堆叠式融合。特征级联，将不同特征串联在一起，形成一个更长的特征向量；特征加权，给每个特征分配一个权重，然后将加权的特征相加或进行加权平均；特征融合器，将不同特征输人不同的模型中，然后将不同模型的输出进行融合；堆叠式融合，将多个不同的模型的输出结果作为新的特征输人到一个新的模型中，然后训练该模型以进行最终的分类或12回归。161110145T91317为了简化计算，选择特征级联方式将角度特征和距?20离特征串联起来，形成一个更长的特征，然后经过主成19分分析（Principal Components Analysis，PCA）特征降18维。PCA是通过线性变换将原始特征空间映射到新的特征空间，新的特征空间由原始特征的主成分组成。综上所述，整理了自动化特征构建模块具体步骤和流程如下：首先，计算相邻两条直线之间的角度特征；其次，计算任意两点的距离，并且基于方差进行特征选择，作为距离特征；最后，将角度特征和距离特征进行特征融合，并且使用PCA进行特征降维将输出作为最终特征，并且保留PCA转换矩阵。自动化特征构建模块流程图如图2 所示。177信息与电脑人工智能与识别技术Information&Computer2023年第10 期有较强的泛化能力和鲁棒性。在本任务中，主要分为训练、测试阶段和线上部署阶段，训练测试阶段主要是训练模型、调节参数，而部署阶段是线上使用阶段，只需该方法不适用于本任务。输出特征结合手势识别任务分析了每种增强算法的适用情工况，最终选择平移和缩放、亮度和对比度调整。PCA降维4支持向量机应用于手势识别工常用的机器学习分类模型包含支持向量机、神经网特征拼接络、决策树以及K-近邻等模型，文章基于模型的训练归一化、基于方差的和验证最终选择了支持向量机模型。支持向量机是一种特征选择常用的监督学习算法，用于进行二分类和多分类任务。它基于统计学习理论和结构风险最小化的原则设计，具角度特征模块距离特征模块手部2 1个关键点图2 自动化特征构建模块流程图3数据集增强模块数据集增强是在机器学习和计算机视觉领域中常用的技术之一，用于扩充训练数据集，提高模型的泛化能力和鲁棒性。2 0 2 0 年，王海文等人使用生成对抗网络进行了数据集扩充。但是这种方法太过于复杂，为减少工作量，文章使用传统图像处理扩充数据集。但是有些传统算法不适用于手势识别问题，因此需要对每个算法进行分析和衡量，最后选择出适用于本任务的算法10（1）翻转和旋转。通过对图像进行水平翻转、垂直翻转或旋转生成新的图像。这些操作可以模拟实际场景中的镜像或角度变化，增加数据集的多样性。但本场景中，翻转会导致左右手识别错误，并且有些方向敏感的手势可能会因为旋转导致最终识别错误。因此，该类方法不适用。（2）平移和缩放。对图像进行平移和缩放操作，可以模拟物体在图像中的位置和尺度变化。通过随机选择平移和缩放的程度，可以生成不同位置和尺度的图像样本。该方案可以模拟不同距离获取的手势图像，当手掌距离摄像头距离近时获取的图像大，当手掌距离摄像头距离远时获取的图像小。因此，该类方式适用于本问题。（3）亮度和对比度调整。通过调整图像的亮度和对比度，可以模拟不同光照条件下的图像变化，从而帮助模型学习适应不同亮度和对比度条件的能力。在光照较暗的情况下，图像可能会变得过暗，导致细节丢失。而在强光照下，图像可能会过曝，导致细节丢失在亮白的区域中。因此，可以改变图像的亮度和对比度来模拟用户可能处于不同的光照场景下的情况。（4）随机裁剪。通过随机裁剪原始图像的一部分来生成新的图像。这可以引入不同的尺度和视角，增加数据集的多样性。由于随机裁剪可能破坏手掌的完整性，要进行推理即可。4.1训练阶段在训练阶段的具体流程如下所示。步骤1：利用数据集增强模块扩充数据集，增加样本的多样性。步骤2：利用MediaPipe框架提取每张图片的2 1个手部关键点坐标。步骤3：利用自动化特征构建模块创建特征。步骤4：将数据集划分为训练集、测试集，将多个机器学习模型在训练集上进行训练，在测试集进行验证，并且分别计算精度、召回率、F1值等指标。通过以上步骤，在自主数据集上进行模型的验证和测试，并且通过实验发现支持向量机效果要优于其他模型，具体指标如表1所示。表1多个机器学习模型评价指标模型名称精度K-近邻0.89支持向量机0.95决策树0.90神经网络0.944.2线上部署阶段当模型训练完成之后，需要保存PCA的转换矩阵和支持向量机的模型，可以将其直接应用于线上预测阶段。具体的流程如下。步骤1：通过摄像头获取图片或视频。步骤2：使用MediaPipe框架识别出2 1个关键点，若有关键点则进行步骤3，否则直接返回步骤1。步骤3：根据自动化特征工程计算角度特征、距离特征，进行融合并且使用PCA进行特征降维；将特征输人到支持向量机模型中进行测试，输出最大值作为预测的类别。召回0.910.940.930.93F1值0.899 80.94490.914.70.934 91783一信息与电脑2023年第10 期Information&Computer5结语文章主要介绍了适用于手势识别的数据集增强模块、手部关键点提取框架MediaPipe、基于角度信息和距离信息的自动化特征构建方案以及基于SVM的手势分类模型。通过这些模块，最终搭建基于MediaPipe与机器学习模型融合的手势识别框架。未来，可以结合时间序列做手部动作序列提取，将连续的手部姿势组合成动作序列，可以定义一些手势动作的开始和结束条件如手指的闭合或张开、手部的移动方向等，通过提取动作序列，捕捉手势的时序信息。参考文献1吕广明，孙立宁，彭龙刚.康复机器人技术发展现状及关键技术分析 .哈尔滨工业大学学报,2 0 0 4(9):12 2 4-12 2 7.2孙进，张征，周宏甫.基于脑机接口技术的康复机器人综述 .机电工程技术,2 0 10,39(4):13-16.3张伟，孟青云，李敏吉.机器学习在康复机器人研究人工智能与识别技术中的应用 J.软件,2 0 2 2,43(9):8 7-9 0.4肖勇，孙平范，陈罡.康复机器人发展综述 .信息系统工程,2 0 17(5):131-133.5张良国，吴江琴，高文，等.基于Hausdorff距离的手势识别 J.中国图象图形学报,2 0 0 2(11):43-49.6翁汉良，战荫伟.基于视觉的多特征手势识别 .计算机工程与科学,2 0 12,34(2):12 3-12 7.7王健，朱恩成，黄四牛，等.基于深度学习的动态手势识别方法 .计算机仿真,2 0 18,35(2):36 6-37 0.8ZHANG F,BAZAREVSKY V,VAKUNOV A,et al.MediaPipe hands:on-device real-time hand trackingJ.(2020-06-18)2023-03-24.https:/doi.0rg/10.48550/arXiv.2006.10214.9王如斌，窦全礼，张淇，等.基于MediaPipe 的手势识别用于挖掘机遥操作控制 .土木建筑工程信息技术,2 0 2 2,14(4):9-16.10王海文，邱晓晖，一种基于生成式对抗网络的图像数据扩充方法 .计算机技术与发展,2 0 2 0,30(3)51-56.（上接第16 8 页）幅缩短了排队等候时间，明显减少了候诊大厅的拥挤和噜杂现象的发生，患者能够更加轻松和舒适地等待就诊，使得患者和医生之间的沟通更加顺畅，医生能更专注工作，提高了整体服务效率。3结语医院信息系统建设始终围绕“以患者为中心”“以临床为导向”的思想，通过信息系统改造和流程优化，为医生和患者提供更好的服务。超声分时段排队叫号系统充分利用信息和人工智能技术，帮助优化临床工作和提升患者的就诊体验。通过系统的升级和流程的改造，超声分时段排队叫号系统为患者带来了良好的就诊体验，有效缩短了候诊时间，提高了就诊流程的顺畅度，提升了患者满意度，进一步提升了医生的工作效率。未来，系统将持续发展和创新，以满足患者日益增长的需求。通过不断优化和改进，医院信息系统将为患者和医生创造更加便捷、高效、个性化的就诊环境。参考文献1国家药品监督管理局.总局关于发布临床试验数据管理工作技术指南的通告(2 0 16 年第112 号)EB/OL.(2016-07-29)2023-03-12.https:/ 0 16 年第114号)EBOL.(2016-07-29)2023-03-12.https:/ .通讯世界,2 0 19,2 6(11):2 9 4-2 9 5.4国务院办公厅.国务院办公厅关于开展仿制药质量和疗效一致性评价的意见 EB/OL.(2016-03-05)2023-03-12j.https:/ .江苏卫生事业管理,2 0 2 0,31(1):7 2-7 4.179一