体育赛事中视频智能识别技术的实现_马丽.pdf

，研究与设计微型电脑应用 年第 卷第期作者简介：马丽（），女，本科，副教授，研究方向为体育教育与健康；刘晓磊（），男，本科，副教授，研究方向为体育教学与训练。文章编号：（）体育赛事中视频智能识别技术的实现马丽，刘晓磊（巴音郭楞职业技术学院，新疆，库尔勒 ）摘要：以网球视频裁判系统为个案，针对体育赛事智能视频系统提出一种新型开发思路。使用深度卷积神经网络算法，对赛场视频系统获得的图像信息进行深度卷积处理，全新搭建赛场三维动态模型，而非直接利用视频数据的倾斜摄影建模技术进行体育赛事的赛场动态建模。仿真分析中，该系统将传统系统 的判罚失误率压缩到 ，裁判员对传统系统的主观评价为 分，低于该系统的 分。最终认为该系统开发模式具有一定的推广价值。关键词：体育赛事；深度卷积神经网络；视频裁判系统；赛场建模中图分类号：文献标志码：，（，）：，：；引言当前体育赛事中，田径、游泳及诸多冰上项目，各种球类项目等，均涉及到视频智能裁判技术。特别是球类运动中，判断球与各标线之间的关系是视频智能识别技术的重要应用，如网球的界内球和界外球的判断等。以网球界内球界外球判断技术为例，早期通过在标线处布置专用摄像机配合逐帧回放技术辅助界内球界外球的判断，后来通过多角度摄像机构建现场动态 模型的技术对关键球进行判断。全景图像虽然可以构建三维动态图像，但因为其信息量过大，容易带来干扰因素。所以，该研究以网球为例，拟在体育赛事视频智能识别技术中研究球控件提取技术，直接构建高清晰的只有球网标线的三维实时动态模型。该模型不但可以有效判断界内球、界外球、擦网球，还可以捕捉球的动态矢量信息，有助于全程分析运动员的技术参数。视频裁判系统的数据源情况对外直播的大型体育赛事，每个场地一般布置台解析度为的移动视角 帧秒的摄影设备。如果接入时钟同步控制器，则可以应用于视频裁判系统，且当前大部分视频裁判系统均接入该信号。同时，视频裁判系统的主体数据来源为台解析率 帧秒的高速摄影设备。所有接入视频裁判系统的视频信息均接入时钟同步控制器，避免因为所有设备快门不同步带来的三维模型成像差异。该研究中设计的视频裁判系统与早期系统的差异性对比如图所示。图中，早期系统往往需要构建组三维动画模型，分别为解析度为的高清摄像资料构建的低帧速三维动画；解析度为的高速摄像资料构建的高帧速三维动画。前者主要用于直播过程中的三维展示功能作为视频裁判的辅助数据，后者主要用于现场的视频裁判作为主要数据。在没有赛事直播需求时，也可单独使用高速摄影系统实现现场视频裁判功能。该研究设计的新系统与传统系统相比，主要有以下个创新点。第一，强化 环节，判断球网与球的状态，在三维模型内仅构建球网与球的实时状态，而不考虑选手、球拍及其他现场要素的状态。早期系统之所以需要使用低帧速高清摄影机作为辅助，是因为现场视频图像受到复杂色块的影响，会对建模过程产生干扰。年德甲比赛中，出现过系统判断错误且将错误面向全球直播的 事故。而新系统通过 ，研究与设计微型电脑应用 年第 卷第期图该系统与早期系统的差异加强数据分析环节，将视频信息中的无关信息全部剔除，形成高可靠的赛场态势感知功能。第二，单独设计三维建模系统，而非采用通用视频信息三维建模软件进行三维建模，使系统针对性和专用性更强。如针对网球视频裁判开发专用系统，该系统与足球、篮球、排球、羽毛球等其他球类赛事视频裁判分开设计并独立完成神经网络训练过程。第三，该系统的核心算法并非根据视频信息构建，而是根据高速视频信息利用组相互独立的神经网络判断球和网的状态，最终再根据球的最大概率重心点和网的最大概率边界线完成模型搭建。网球视频裁判系统的数据构成与数据卷积模式从算法逻辑角度分析，以网球球体重心概率判断过程为例，其概率判断过程应考虑多个概率的叠加，如：球场内部上空一定高度内概率较高，而球场外概率降低，看台等区域概率 最 低；不 同 标 准 下，网 球 直 径 约 至 ，满足这一条件的物体为网球球体的概率较高，过大或过小的直径为网球球体的概率较低；在扣杀时网球速度最 大 约 ，部 分 技 术 球 速 度 可 能 低 于 ，但过高与过低速度的物体，为网球球体的概率较低；网球移动轨迹符合经典力学基本规律，特别是符合热力学第一定律，不符合网球移动轨迹特征的物体，为网球球体的概率较低；同一时刻可能存在场地边缘的落地网球和球童之间的传递网球，但需要系统做出判断的网球球体有且只有一个，超出该数量的球体即便为网球实体，其作为裁判观察球体的概率较低。即如果不使用深度卷积神经网络，则需要引入决策矩阵对上述所有概率特征进行加权判断分析，这种算法的复杂度超出了当前决策矩阵算法的算力能力。如果采用深度卷积神经网络，将现场最高个解析度高速摄影机的多通道数据进行深度卷积，最终形成球体重心的最大概率点以及球网的高密度网格点。因为深度卷积神经网络的统计学意义是根据不完备数据将不确定逻辑过程存储在神经网络节点内的待回归系数内，所以足够复杂的深度卷积网络是解决该问题的破局关键。上述神经网络的结构如图所示。图网球视频裁判神经网络逻辑结构图中，每台摄影机每帧数据均由个通道构成，每个通道每帧包含 个双通道浮点型变量，即三通道合计数据为 个双通道浮点型变量，台摄影机单通道数据量为 个双通道浮点型变量，台摄影机三通道合计数据量为 个双通道浮点型变量。为实现前文中设定的对球体移动物理规律的捕捉，该系统同时观察包含当前帧数据和前推帧数据在内共帧数据，文中个单通道卷积模块的输入节点量为台摄影机单通道帧数据，输入节点量为 个节点，个中央卷积模块输入节点量为台摄影机三通道帧数据，输入节点量为 个节点。单通道卷积模块的统计学意义是将台摄影机帧单通道数据卷积到输出层 个节点，中央卷积模块的统计学意义是将台摄影机帧三通道数据卷积到输出层 个节点。采用个模块对上述个卷积模块输出数据进行二次卷积，其中，个单通道卷积模块的输出数据共 个卷积为球体重心的三维直角坐标系个坐标值，上述个卷积模块输出的合计 个节点，输出为一个 节点的三维坐标系矩阵，共 个输出节点。网球视频裁判系统的具体模块设计 卷积神经网络模块的设计从图可知，本文神经网络设计中共用到个卷积模块，其中单通道卷积模块个，三通道卷积模块个，均为对台摄影机帧数据的深度卷积，其数据输入量达到 个，输出节点为 个。具体参数如表所示。，研究与设计微型电脑应用 年第 卷第期表卷积神经网络模块的具体参数比较项目单通道卷积模块中央卷积模块输入层节点数 输出层节点数 隐藏层层数 总节点量 节点函数多项式多项式系统中模块数量 表中，单通道卷积模块拥有 层隐藏层，中央卷积模块拥有 层隐藏层，二者的总节点量均在 规模，其使用的多项式节点函数基函数如式（）：（）式中，为输入数据中第个节点给出的输入值，为节点输出值，为多项式阶数，为第阶多项式的带回归系数。因为常规模式下，多项式节点函数用作深度卷积神经网络的数据卷积功能时，采用阶多项式进行迭代回归，所以其待回归系数为个。.三维坐标判断神经网络模块的设计从图可知，本文神经网络设计中共用到个三维坐标判断神经网络模块，分别用于判断该帧数据中的球体重心坐标和判断球网的形态。球体重心的判断数据较为简单，只需要输出该帧数据中最大概率的球体重心个坐标值。球网形态的判断较为复杂，构建一个 的球网点阵，每个点阵数据包括个坐标值，因为网球球网的长度约为 （单打）（双打），球网支撑杆高度为 ，即单打模式中球网模型网格代表 ，双打模式中球网模型网格代表 。具体参数如表所示。表三维坐标判断神经网络模块的具体参数比较项目球体重心判断模块球网形态判断模块输入层节点数 输出层节点数 隐藏层层数 总节点量 节点函数对数对数系统中模块数量 表中，球体重心判断模块为小节点量条件下的卷积模块，使用了层隐藏层，共 节点，球网形态判断模块为增值模块，将 个输入层节点增值到 个输出层节点，共设计 层隐藏层，共 节点。上述个模块均使用对数节点函数进行节点设计，其基函数如式（）：（）（）式中，为输入数据中第个节点给出的输入值，为节点输出值，为自然常数，、为带回归系数。算法效能仿真测试选择 年月至 年月在本校场地举办的各类网球赛事 场，其中男子比赛（五局三胜制）场，女子比赛（三局两胜制）场，涉及到计分回合 球，所有比赛均使用台 帧秒高速解析度三通道摄影机记录。使用传统视频裁判算法对所有回合的得分情况作出判断，同时利用本文设计的视频裁判算法对所有回合的得分情况作出判断，比较其对界内球、界外球、压线球、追身球等得分情况的判断失误率，参考数据标准值来自比赛记录中的具体判罚情况，如有差异，则要求不少于名裁判集体观察比赛实况进行重新判罚。具体比较数据如表所示。表视频裁判判断结果表分组合计 判断失误分类界内球 压线球 界外球 追身球 传统系统（）（）（）（）（）本文系统（）（）（）表中，压线球被认为是界内球的特殊表现，实际视频裁判系统的应用中，其核心应用场景作为视频证据协助裁判对压线球做出判罚，所以将压线球判断结果单独进行统计。实际数据中，本文系统的总和失误率为 ，约为传统系统 失误率的。其在表数据统计的界内球、压线球、界外球、追身球的判罚过程失误率均低于传统系统。其中，个 压 线 球 回 合 中，传 统 系 统 判 断 失 误次，占 ，本文系统对压线球没有做出失误判罚。前文设计思路中，本文系统并没有设计对比赛选手、球拍等结构的捕捉功能，但可以根据球体运行轨迹判断球体运行中是否触碰到球拍之外的球员身体部位。因为球员身体的弹性模量和球拍的弹性模量不同，球体触碰球员身体或球拍后的反弹路径有显著差异。为了从主观角度判断本文系统与传统系统的应用效果，要求 名专业裁判员分别使用本文系统和传统系统辅助完成 次判罚，要求其对传统系统和本文系统做出主观评价，满分 分，最低分，得分结果 如表所示。表裁判员主观评价结果（）分组分分分平均分传统系统 本文系统 表中，裁判员主观评价超过分的人数，本文系统超出原系统 ，裁判员主观评价低于分的人数，本文系统低于原系统 ，评价平均分本文系统超出原系统 。即裁判员对本文系统的评价超过传统系统。分析其原因，主要为本文系统构建了更为简洁清晰的判罚辅助三维模型，让裁判判罚过程更为直观。如果后期在建模过程中引入 更 丰 富 的 球 场 基 础 模 型，会 让 判 罚 界 面 更 为 人性化。总结本文研究设计的网球视频裁判判罚辅助系统，抛弃了以往直接使用高速摄影多探头系统直接构建基于倾斜摄影建模技术的三维模型的软件逻辑，而是采用大数据深度卷积算法，搭建更为简洁的辅助判罚三维模型。仿真试验中发现，本文系统的判罚失误率远低于传统系统，且在主观评价中，裁判员对本文系统评价结果更高。本文系统主要针对网球赛事的视频裁判功能，后期开发中还可将该开发模式用于对 ，研究与设计微型电脑应用 年第 卷第期其他体育赛事的视频裁判系统开发中，为每一种体育赛事设计针对性的视频裁判系统。参考文献陈骐，刘泳庆，肖书明，等 当前我国体育工程领域的研发需求情况分析 中国体育科技，（）：马振嘉 人工智能在篮球运动中的运用分析 延安大学学报（自然科学版），（）：杨楷芳，马苗，黄聪 智能体育工程发展综述 计算机技术与发展，（）：鲁志琴，陈林祥，任波人工智能对我国体育产业发展的推动作用 体育学研究，（）：王相飞，王真真，延怡冉 人工智能应用与体育传播变革上海体育学院学报，（）：郭建平，李希，刘俊明，等图卷积网络的行为识别技术在空手道技战术分析中的应用 湖南师范大学自然科学学报，（）：竺大力，赵晓琳 智能时代体育文化的媒介传播与数字审美新特质体育与科学，（）：路来冰，王艳，马忆萌，等基于知识图谱的体育人工智能研究分析 首都体育学院学报，（）：原翔，唐凤成 惹争议：中外争议判罚对比研究当代体育科技，（）：孟红玉，鲁天学，杨丁欢 体育训练运动视频分析系统的设计 与 应 用 当 代 体 育 科 技，（）：张彬彬排球比赛鹰眼挑战系统工作原理及影响太原城市职业技术学院学报，（）：陈世杰，邱硕立 鹰眼系统在排球比赛中的应用分析 四川体育科学，（）：汤啸雷视频助理裁判（）系统对中超比