基于CCA的云游戏平台系统设计_金安.pdf

第 22卷 第 2期2023年 2月Vol.22 No.2Feb.2023软 件 导 刊Software Guide基于CCA的云游戏平台系统设计金安（上海爱奇艺新媒体科技有限公司，上海 200050）摘要：通过对云游戏业务活动各个阶段和业务延时的分析，设计了一种基于WebRTC协议的云游戏平台系统。该系统在建立体验评估模型的基础上，为降低延时，对帧率拥塞控制算法（CCA）进行了深入研究，并采用代码实现了帧率发送的动态策略调整。实验数据表明，该算法能够解决帧率拥塞引起的业务延时、卡顿等问题，使平台的端到端延时与卡顿比分别降低为100ms和4.13%左右，能够给用户带来低网络延时与高流媒体质量的云游戏服务。关键词：云游戏；WebRTC；低延迟流化；每秒显示帧数；卡顿比DOI：10.11907/rjdk.221191开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP311.52 文献标识码：A文章编号：1672-7800（2023）002-0115-06Design of A Cloud Gaming Platform System Based on CCAJIN An（Shanghai iQIYI New Media Technology Co.，LTD.，Shanghai 200050，China）Abstract：By analyzing the various stages of cloud gaming s activities and business latency，design a WebRTC cloud gaming platform system.Based on establishing the experience evaluation model，the congestion control algorithm to reduce the delay is studied deeply and implemented in code to send frame rate dynamically.The data shows that the algorithm can solve the problems such as business latency and lag caused by congestion，and reduce the end-to-end latency and lag rate of the platform to about 100ms and 4.13%respectively，which bring users cloud gaming services with low response delay and high streaming quality.Key Words：cloud gaming；WebRTC；low-latency streaming；FPS；lag rate0 引言云游戏是一种以云计算技术为基础，将游戏放在云端服务器运行的在线游戏，其本质是在线交互性流媒体。在云游戏模式下，游戏的存储、计算、渲染等均可在云端完成，用户可以通过任意终端体验到高品质游戏，而终端设备只需具备基本的流媒体播放和向远端发送指令的功能。近两年，随着 GPU、虚拟化、5G 和边缘计算等多种云游戏相关的核心技术得到突破，特别是元宇宙话题的兴起和破圈，国内外互联网企业纷纷布局云游戏。作为5G高新视频新兴业务的排头兵，云游戏发展迎来新的机遇。然而，云游戏仍面对诸多困难和技术挑战，业界认为目前云游戏行业仍处于起步阶段，并未形成业界公认的最佳实践，云游戏技术还未形成广泛接受的标准体系架构1。为此，文献 2 从云游戏的概念、发展状况、关键技术、端到端解决方案等方面对文献 3 进行了详细解读。为降低企业客户实现云游戏产品的技术门槛，文献 4 在阐述云游戏技术基本原理的前提下，基于阿里云成熟的云计算基础设施体系，设计了一种云游戏 PaaS（Platform as a Service）平台，为企业客户提供了快速搭建全场景云游戏产品的功能。文献 5 在自身开展云游戏业务的前提下，从内容生态、业务平台、承载网络与业务终端等方面结构性地提出了云游戏规模化商用的措施和方案，为其他云游戏企业提供了良好的借鉴思路。针对如何降低网络延时从而提高游戏服务质量的问题，文献 6 对5G网络向边缘节点的分流方式和策略智能化进行了深入研究，并对边缘节点算力需求定制与异构化进行挖掘，从而制定了一套缓解云游戏网络延时的流程；文献 7-8 从不同角度提出各提出一种基于边缘计算的云游戏服务质量增强方法，前者在边缘节收稿日期：2022-02-28软著证书号：软著登字第6809021号作者简介：金安（1980-），男，硕士，上海爱奇艺新媒体科技有限公司高级工程师，研究方向为互联网流式大数据采集存储、实时计算分析、大型互联网系统运维和云游戏等。2023 年软 件 导 刊点上实现了一套压缩图形的云游戏系统，在降低边缘节点计算负载的同时有效减少了云到端网络的延时；后者为使用户减少网络带宽消耗，在运用边缘计算的基础上提出集群区域划分算法与服务器集群选择算法，从 PeerSim工具模拟边缘计算环境来看，该方案可减少延时 1820ms。然而，以上文献大多从模拟环境、B端等方面提出云游戏平台系统的设计或优化方案，并没有真正地与C端业务紧密结合而持续优化，应用于云游戏商用场景中的效果可能会不太尽如人意。本文以某互联网企业为例，介绍云游戏平台系统框架与体验评估模型，针对业务内测中出现的延时原因进行了剖析，继而深入研究了帧率拥塞控制（Congestion Control Algorithm，CCA）算法和代码实现，最后列举了优化后的性能数据。1 云游戏平台系统框架与体验评估模型1.1云游戏平台系统框架研究与设计从云游戏业务商业化运营角度出发，通过分析云游戏活动的参与角色、构成要素、生命周期及其活动行为，可得出云游戏业务每个阶段涉及的功能点，从而提炼出云游戏各要素的功能架构9。本文中，云游戏平台系统框架由基础服务层、中台服务层、运营业务层和业务场景层构成10-11。该系统框架整体设计如图1所示。1.1.1基础服务层云计算平台主要用于提供基础计算、存储、网络资源。搭载云游戏的计算与存储载体主要由 X86 和 ARM（Advanced RISC Machine）两种服务器组成，两者都具有标准化程度高、硬件稳定和集群维护简单等优点。同时，通过虚拟化技术可对CPU、存储、GPU等资源进行资源共享和最大化利用，并使资源的安全性得到强化。1.1.2中台服务层中台服务层向上提供了应用流化能力支撑，向下封装了业务所需的系统环境，主要包括高性能渲染能力、低延迟流化服务、游戏容器管理、业务服务与推拉流能力等。该层是整个云游戏平台系统的核心所在，也是业务能否取得成功的技术关键。1.1.3运营服务层运营服务层在基础与中台服务层之上，将业务场景抽象和流程化，通过编排系统软件与业务运营系统向用户与后台管理方提供云游戏业务的能力支撑，包括账号登录计费服务、订单管理和活动中心管理等。1.1.4业务场景层业务场景层通过云端协同，对不同客户端展现云游戏、广告试玩与直播互动等场景服务，最大化程度地丰富企业的云游戏平台系统产品。1.2云游戏体验评估模型云游戏内容质量和用户体验是业务商业化是否成功的关键所在，如何准确有效地评测用户在云游戏中的实际体验是业务商业化需要持续解决的问题。也就是说，建立科学合理的云游戏质量评估模型已经成为促进业务健康发展的迫切需求之一。根据国际电信联盟文献标准12-15，从游戏的广义程度来说，影响移动游戏体验质量 QoE（Quality of Experience）的因素包含用户、系统和内容三大方面，进一步可以分解为用户影响因素4小类、系统影响因素17小类和内容5小类，总计20多项。由于云游戏技术尚处于发展阶段，当前并不具备将所有影响因素及 KPI指标纳入到体验评估范 基础服务层终端设备IDC+边缘计算X86服务器架构+GPU+AI芯片ARM服务器架构+GPU+AI芯片云电脑/云手机虚拟化 中台服务层音视频编码/流化操作指令处理推流服务设备管理存档管理直播管理会话管理镜像管理虚机调度游戏管理 业务场景层 运营服务层账号登录账号计费订单管理活动中心云游戏中心广告试玩游戏+直播互动用户接入账号服务指令控制音视频流输出 Fig.1Cloud gaming platform system architecture图1云游戏平台系统框架 116第 2 期金安：基于CCA的云游戏平台系统设计畴的条件，考虑到云游戏的流媒体特性并参考上文中提到的移动游戏影响因素，结合性能参数可获取、指标可测量的原则，本文主要选取分辨率、帧率、码率、延时、交互等指标作为云游戏体验评估模型输入参数，将游戏视听质量、交互感觉和产品体验等信息作为评估模型的输出结果。本文在部分参考文献12-15中移动游戏测试模型的基础上对云游戏建模进行了可行性分析，采用模型分级映射的方式，尽量简化测试环节并避免结果失真，试图建立云游戏QoE评估模型。具体的云游戏QoE评估模型框架如图2所示。其中，视听体验质量O.21由画面与音频质量构成，主观上代表了用户体验云游戏时的视听等感官感受，具体客观指标则由分辨率、帧率、码率、编码参数等组成。考虑到最大化覆盖原则，评估模型将内容源与终端能力对应指标的最低值I.11、I.12和I.13作为实际输入参数。交互体验质量O.22主要用于评价用户操作与网络传输延时中碰到的体验失真，具体游戏中的表现为延时抖动、丢包导致的卡顿花屏等，导致用户游戏体验不佳，输入参数为 I.14 和I.15。云游戏产品体验质量 O.23与日常用到的软件涉及点大多一致，体现了用户使用云游戏产品全流程的体验保证，输入参数分别为I.16、I.17和I.18。O.31定义为云游戏综合体验质量，由输出信息O.21、O.22、O.23构成，具体可用公式模型O.31=f（O.21，O.22，O.23）描述。其中，为充分体现综合体验质量的数据准确性，3个子项的评估模型均基于用户游戏体验行为大于5min的会话场景。由于篇幅原因，这里主要对评估模型进行了逻辑关系梳理，不再对云游戏QoE评估算法进行阐述与详细的公式推算。2 云游戏平台系统端到端延时优化2.1延时原因分析根据客户端与服务器交互需求程度的不同，面向移动移动网的云游戏大体可以分为弱交互类、中交互类与强交互类三大类。业界的一些真机通用数据表明，对于强交互类游戏，例如FPS（First Person Shooting Game）、MOBA（Multiplayer Online Battle Arena）与RCG（Racing Game）等游戏，如果端到端延时超出100ms，用户游戏体验下降会比较明显；中等交互类游戏，例如RPG（Role-Playing Game）游戏，一般端到端延时在150ms之内；而对于卡牌、SLG（Simulation Game）等弱交互类游戏而言，端到端延时即使在200ms，用户也感觉不到卡顿。云游戏端到端延时是指云游戏运行过程中，用户对终端进行触控操作到游戏画面在终端上产生相应响应的时间差，通常由终端响应、主机端响应与网络推拉流等延时构成。如图 3 所示，通过全国各地定点收集大量数据发现，该系统在内测期间的端到端延时平均达到220ms，用户反馈体验不佳，主要耗时发生在主机端响应与推拉流、播放性能阶段，相较于普通网络游戏延时分别增加85ms与90ms左右，只能勉强符合弱交互类游戏体验。为了对云游戏延时进行更好的代码优化，将业务响应阶段继续细分成以下12个详细步骤16-18，见图4。除步骤 2-4外，其余均为游戏云化带来的额外延时，因此这些步骤将作为云游戏延时优化的重点。进一步分析发现，原先的RTC主机与播放器终端均未针对网络状况画面质量评估视听指标输入交互指标输入产品指标输入音频质量评估视音频同步用户操作延时网络传输延时