球类运动中人体姿态估计研究进展_张漫秸.pdf

2023 年第 36 卷第 1 期Electronic Sci.Tech./Jan.15，2023https:/journa-收稿日期:2021-06-03基金项目:国家自然科学基金(61773083);上海市浦江人才计划(2019PJC073)National Natural Science Foundation of China(61773083);TheShanghai Pujiang Program(2019PJC073)作者简介:张漫秸(1997 )，女，硕士研究生。研究方向:数字图像处理。季云峰(1990 )，男，博士，讲师。研究方向:乒乓球机器人。球类运动中人体姿态估计研究进展张漫秸1，杨芳艳1，季云峰2(1 上海理工大学 机械工程学院，上海 200093;2 上海理工大学 机器智能研究院，上海 200093)摘要针对单个 GB 图像，人体姿态估计通过对人体关键点定位来估计人体的位置和关节点位置。球类比赛是一种快速的运动，用主观观察对运动员的技术合法性进行判决无法避免错误。因此，文中利用基于人体姿态估计的运动员姿态分析技术进行辅助训练和辅助判罚，有效避免了传统系统中由于人的主观判断对运动员姿态的错误定位。目前，针对人体姿态估计的研究被分为基于传统算法和基于深度学习算法两种主要方式。在基于深度学习算法的基础上又分为单人人体姿态检测和多人人体姿态检测。基于深度学习算法的人体姿态估计通过构建神经网络，运用机器学习的方法提取图片特征读取图片信息，并在用于人体姿态估计的主流数据集上进行性能对比和分析。将人体姿态估计应用到球类运动中，为运动员的日常训练提供了一定的科学参考，同时也最大程度上保证了运动员比赛中的公平与公正。关键词人体姿态估计;视频识别;球类运动;关键点定位;特征提取;神经网络;目标检测;辅助训练中图分类号TP751;TN99文献标识码A文章编号1007 7820(2023)01 028 10doi:10.16180/ki.issn1007 7820.2023.01.005esearch Progress of Body Posture Estimation in Ball GamesZHANG Manjie1，YANG Fangyan1，JI Yunfeng2(1 School of Mechanical Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China2 School of Machine Intelligence esearch，University of Shanghai for Science and Technology，Shanghai 200093，China)AbstractHuman pose estimation usually uses a single GB image to locate the key points of human body toestimate the position of human body and joint points Ball games are usually regarded as fast sports，and errors cannotbe avoided in judging the technical legitimacy of players by subjective observation Therefore，based on the estimationof human body posture，the athlete posture analysis technology is used to assist training and penalty This method ef-fectively avoids the traditional system positioning the athlete posture due to human subjective judgment error At pres-ent，the research of human pose estimation can be divided into traditional algorithm and deep learning algorithmBased on the deep learning algorithm，it can be divided into single person pose detection and multi person pose detec-tion Through the construction of neural network，human pose estimation based on deep learning algorithm uses ma-chine learning method to extract image features and read image information，and perform performance comparison andanalysis on mainstream data sets for human pose estimation The application of human body posture estimation in ballgames can provide scientific reference for athletes daily training，and also ensure the fairness and justice of athletesin the game to the greatest extentKeywordshuman pose estimation;video recognition;ball game;key point positioning;feature extraction;neuralnetwork;target detection;supplementary training在体育运动中，运动员的姿态分析可以直观呈现运动员的姿势，为运动员、教练员或者裁判员对赛事评价提供参考。随着计算机视觉技术日益成熟，在体育运动中也开始引入人体姿态估计技术来为运动员的比赛姿态提供了准确的动作分析。在球类运动中进行人体姿态估计分析有助于运动员技术训练和比赛辅助判罚。技术训练是指通过对运动员的比赛视频进行分析，提取出其比赛动作和轨迹并进行信息处理，为运动员量身定做训练计划，提升其竞技水平。比赛辅助判罚主要是在球类运动中通过对运动员比赛动作和球的位置定位，对“遮挡球”和“两跳球”等争议球的判罚提供依据。人体姿态估计的目的是通过对图片、视频以及摄像头视频流等对人体关键点进行定位，抽象表示出人体的82张漫秸，等:球类运动中人体姿态估计研究进展Electronic Science and Technologyhttps:/journa-形态，并同时进行目标识别、分割、回归与检测等多方面的任务。主流的人体姿态估计算法由基于传统的方法和基于深度学习的方法组成。基于图结构模型和形变部件模型是传统算法的基础，且需要进行特征人工标注，将人体姿态估计问题转变为回归问题，通过回归函数得到人体的关节点坐标，精度低且适用范围小。近年来深度学习的发展日趋完善，人体姿态估计通过使用神经网络学习捕捉图片信息，可获得不同感受野下多尺度多类型的人体关键点的特征向量和每个关键点的全部上下文，从而更准确地反映人体姿态信息。随着深度学习的发展，人体姿态估计逐渐被应用在球类运动中，并且在提高运动员竞技水平方面取得了一定的效果。通过对高分辨率的视频进行实时标定、分析，将长片段分解为各小片段，可将运动员的各个动作进行分解，得到运动员每个动作的关节点的坐标数据。依赖这项技术可以对运动员的姿势进行比对，清晰地反映出运动员的不规范动作，促进运动员训练和比赛水平的提高。1球类运动中视频分析系统与技术研究体育比赛中因误判球导致比赛结果争议的事件时有发生，国内外运动组织和团队先后开始借助网络技术来提高比赛判罚的科学性，例如在众多大型比赛中引入“鹰眼”1 或“视频助理裁判(Video Assistant ef-eree，VA)”2 等技术来提高比赛裁决的科学性。近年来，随着对视频分析系统的研究越发深入，通过视频分析可以直观地表现出运动员的运动轨迹和相关力学作用，最大程度上降低了误判的可能，同时该技术也可以作为运动员科学训练的辅助手段。1.1球类运动的视频分析系统应用现状美国 STATS 的 SportVU(https:/www stats com/sportvu footbal)多镜头动态追踪系统于 2013 年率先被应用于篮球比赛中。该系统由 6 个 3D 高清摄像头和计算机组成，每个摄像头在每秒内能采集 25 张图片。该系统采用光学追踪技术捕捉运动员的动作，其统计算法能够提取出球员和球的坐标，结合机器学习中的主动框架追踪和分析数据，可将比赛时获得的实时数据与运动员日常训练的数据相结合，整体分析运动员的动作和速度。但该系统只能将比赛场上的对象以圆点的形式进行表现，并不能描绘出人体姿态。在2014 年的索契冬奥会上，瑞士的“Dartfish”3 运动视频分析系统也被投入使用。该系统使用数字视频作为输入，能够生成二维标记位置的值，同时能将运动员的动作进行叠加和分解，逐帧看到运动员的姿态，但是该系统的操作步骤较为复杂。由 8 部分辨率极高的快速黑白摄像机组成的“鹰眼”1 系统能够以每秒 2 000 帧的速度读取摄像机中的图像，并将其传输给主控电脑。该系统能全面分析发球的速度、时间、方向等问题，为运动员的训练和判罚提供依据，因此也被称为“即时回放系统”。但是该系统也无法定位到人体的各个关节点，不能将人体坐标与球坐标融合。在国内，创冰DATA(http:/data champdas com)系统主要用于对足球比赛的数据分析。通过对每场比赛视频进行秒级数据切片，可多维度地对云端数据进行分析。该系统依赖于分布式计算平台，虽可保证比赛数据的准确性，但依然缺少对于球员的定位与分析。灵信体育近几年开发的“赛事数据采集与分析系统”(http:/www listens-port com)由 8 部具有热成像功能的高速相机和灵信体育大数据分析软件组成，主要被应用于足球比赛中。其利用图像的颜色信息分割出球员，通过结合基于灵信体育系统中模板匹配的方法来实现球员的追踪，但运动员的动作分析准确率和效率仍有待提高。1.2球类运动的视频分析技术研究进展随着视频分析在运动训练和判罚领域被逐步开发应用，视频分析的技术也在不断提高。视频分析从最初的提取低层次特征作为研究对象提升为提取高层次特征进行处理分析。文献 4 提出了一种基于子窗口区域的镜头分类方法，在 HSV(Hue Saturation Value)颜色空间中计算出像素比率，结合检测到的边缘信息，对足球视频中的各类型镜头进行分类。文献 5 提出了一种基于隐马尔可夫模型的分类技术，对每一帧的颜色变化速度进行计算，并将其作为 HMM(HiddenMarkov Model)中的观察序列进行分类。文献 6 提出体育视频冗余数据的概念，采用主区域颜色和多重区域分割的算法检测出较为准确的比赛视频。文献 7利用光流和颜色特征对足球比赛视频进行检测，基于光流变化分割视频的连续帧，并对检测到的所有事件进行分类。文献 8引入了共享粒子，使用组合外观和运动模型全局评估的模型场粒子，将目标之间的交互封装在状态空间模型中。该方法在足球比赛中能较好地进行有相似外观和不可预测运动模式的运动员追踪。文献 9 提出一种基于粗糙时间约束的语义匹配足球视频标注的方法，利用视频事件和外部文本信息在时间序列上的语义进行匹配，并结合高级特征分析足球比赛视