超高清视频纹理的实时仿真方法.pdf

系统仿真学报系统仿真学报Journal of System Simulation第 35 卷第 8 期2023 年 8 月Vol.35 No.8Aug.2023超高清视频纹理的实时仿真方法超高清视频纹理的实时仿真方法刘杨杨，丁刚毅，闫大鹏，薛彤(北京理工大学 计算机学院，北京 100081)摘要摘要：随着超高清视频技术的发展与推广，如何快速地仿真超高清视频纹理逐渐成为重要问题。为了仿真的完备性与高效性，需要在提高视频纹理质量的同时，提升仿真的显示帧率，为此提出了超高清视频纹理的实时仿真流程。基于GPU并行设计了视频纹理的快速生成算法，基于共享纹理设计了快速数据传输算法，解决了解码与转码的耗时问题。在仿真引擎的基础上实现了超高清视频纹理的实时仿真系统。实验结果表明：该方法能够有效减少视频纹理生成的时间，提高超高清视频纹理仿真的速度。关键词关键词：超高清；实时仿真；视频纹理；共享纹理；8k中图分类号：TP391.9 文献标志码：A 文章编号：1004-731X(2023)08-1748-09DOI:10.16182/j.issn1004731x.joss.22-0452引用格式引用格式:刘杨杨,丁刚毅,闫大鹏,等.超高清视频纹理的实时仿真方法J.系统仿真学报,2023,35(8):1748-1756.Reference format:Liu Yangyang,Ding Gangyi,Yan Dapeng,et al.Real-time Simulation Method of Ultra-high-definition Video TextureJ.Journal of System Simulation,2023,35(8):1748-1756.Real-time Simulation Method of Ultra-high-definition Video TextureLiu Yangyang,Ding Gangyi,Yan Dapeng,Xue Tong(School of Computer Science and Technology,Beijing Institute of Technology,Beijing 100081,China)Abstract:With the development and promotion of ultra-high-definition video technology,how to quickly simulate ultra-high-definition video texture has gradually become an important research issue.Aiming at the completeness and high efficiency of simulation,a real-time simulation method of ultra-high-definition video texture is proposed to improve the video texture quality and display frequency simultaneously.A fast generation method of video texture based on GPU parallel is designed,which solves the time-consuming problem of decoding and transcoding.An efficient data transmission method based on shared texture is proposed.On the basis of the simulation engine,the real-time simulation system of ultra-high-definition video texture is carried out.The experimental results show that the method can shorten the video texture generation time and accelerate the process speed of UHD video texture simulation.Keywords:ultra-high-definition;real-time simulation;video texture;shared texture;8k0引言引言随着超高清技术的发展，超高清视频作为产业的重要载体之一，具有通用性强、适用性广的特点，越来越多地应用在生产生活领域。在许多交互式三维应用中，视频是至关重要的一环，例如，教学系统中的演示屏幕、军事演练中的监控视频。大型LED屏幕、高分辨率投影在虚拟演唱会、体育赛事等活动中也十分常见。在北京2022冬季奥林匹克运动会开幕式仿真项目中，演出地面为4个8k(7 248像素3 648像素)大小的LED屏收稿日期：2022-05-05 修回日期：2022-05-30基金项目：国家重点研发计划(2020YFF0305200)第一作者：刘杨杨(1997-)，女，硕士生，研究方向为计算机仿真。E-mail：lostin_第 35 卷第 8 期2023 年 8 月Vol.35 No.8Aug.2023刘杨杨,等:超高清视频纹理的实时仿真方法http:/www.china-幕，屏幕中实时播放视频画面。在三维仿真应用中，视频的表现形式为视频纹理，由于超高清视频的发展迅速，相应的硬件设备也逐渐推广，需求增大，因此，对超高清视频纹理进行实时仿真，具有较高的必要性和实用价值。超高清视频，例如8k(7 680像素4 320像素)对比普通的高清视频1 920像素1 080像素大小，视频纹理的像素数量增长了16倍，仿真的信息内容更加丰富。视频纹理的解析需要一定时间，随着分辨率的提升，解析的复杂度更高、时间更久，并且视频纹理的数据是不断变化的，需要频繁地进行数据传输。由于带宽的限制，传输速度有限，而画面的渲染需要等待数据解析与传输完成才能进行显示，因此，画面会出现卡顿，帧率会降低，影响了实时仿真的可交互性。针对超高清视频纹理，本文定义了仿真模型，提出了实时仿真方法：基于GPU设计超高清视频并行解析与转码算法，提高计算效率，快速生成视频纹理；基于共享纹理加快线程之间的数据传递，提高实时仿真的速度。1相关工作相关工作超高清纹理的实时仿真主要可以分解为2个主要问题：超高清视频纹理的编解码与纹理的渲染。1.1 超高清视频纹理的编解码超高清视频纹理的编解码对于视频纹理的解码，可以在 CPU 上利用SIMD(single instruction multiple data)1进行加速，在H.264编码标准下，SIMD针对色度与亮度的插值滤波，反变换进行加速。Shnain等2基于FPGA(field programmable gate array)实现了无损的视频压缩系统。Wieckowski等3则针对H.266编码标准在通用 CPU 上进行了视频编解码的加速。利用SIMD来进行解码加速通常要基于硬件商提供的指令集，并且主要基于CPU进行并行设计。Jiang等4针对AVS3编码标准提出GPU帧内并行解码算法，提高了帧内解压的速度。Jiang等5重点针对解码器中每个模块中常用的插值步骤提出了基于GPU的优化，有效利用GPU共享内存和线程调度，令超高清4k视频的解码速度提高了6倍。Han等6针对H.266解码技术中较为耗时的运动补偿模块，根据数据依赖对编码单元进行了重新划分，采用了不同的GPU中线程组织方式，解码速度提高了16倍。对于视频纹理的编解码，随着视频编码标准的提出与视频分辨率的提升，会出现阶段性的发展。视频的加速编解码有的基于硬件，有的在软件进行算法的加速，软件层面具有更好的普适性。利用GPU的多并行处理单元，能够提高视频编解码各个模块的并行度，提高超高清视频编解码的速度。1.2 超高清视频纹理的渲染超高清视频纹理的渲染超高清视频纹理对数据的存储会造成很大的压力，最为常用的方法为纹理压缩。为了支持纹理像素的随机访问，进行块压缩，以固定大小的像素块为单位进行编码。Pratapa等7为了在VR中进行电影观看，设计了一种新的视频压缩方法MPTC(motion picture texture compression)，将视频的帧内压缩变为常见的纹理的块压缩。Zhang等8针对大型城市中大规模的纹理数据，根据检测的帧延迟自动调整纹理流的工作负载。Qing等9面对GPU硬件加速中主存和显存的数据交换过程，提出了在传输纹理数据之前执行数据指令的预取算法，解决了显示的卡顿问题。钱谦等10使用 DirectShow 流媒体播放技术，建立了自定义的渲染过滤器来获取视频流数据，在OpenGL中将转换后的视频纹理显示在物体表面，实现了三维视频播放的效果。成效等11同样基于DirectShow平台，结合Direct3D完成了三维电影的播放，并基于 GPU 实现了 DXTC(directx texture compression)的块压缩，能够快速高效地完成纹理压缩。对于超高清纹理的渲染优化，一部分方法针对静态数据进行设计，在初始化时将数据分级压缩，实时渲染时根据画面内容进行部分数据的解码；一部分从渲染过程进行修改，依赖 1749第 35 卷第 8 期2023 年 8 月Vol.35 No.8Aug.2023系统仿真学报Journal of System Simulationhttp:/www.china-于成熟的图像API以及渲染管线，进行负载的优化以及数据的预取等。2超高清视频纹理仿真方法超高清视频纹理仿真方法2.1 视频纹理仿真模型视频纹理仿真模型对视频纹理的仿真在仿真对象以及仿真画面两方面都受到超高清技术的影响。过去由于显示屏硬件的限制，并不需要视频纹理的分辨率过大，但是随着超高清视频的发展与进步，视频纹理中包含的数据信息以及细节内容都骤增，仿真画面的分辨率增长。因此，普通的仿真方法在执行速度上产生了局限性，影响视频的流畅显示，需要针对超高清视频纹理进行仿真过程的设计与优化。视频纹理实时仿真的模型如图1所示，超高清视频进行解码，产生视频纹理，将数据传输给渲染线程。整体模型以超高清视频文件作为输入，输出正在播放视频的纹理仿真画面结果。超高清视频纹理仿真过程的输入是视频文件，由比特信息流组成：I=F1 F2 Fi FN 1iN(1)输入I的比特信息为视频第i帧Fi编码数据的无序集合，由于视频帧之间存在不同的数据依赖，在视频编码时，会根据依赖关系进行重排序，形成帧数据的无序集合。视频共N帧，每一帧的数据 比 特 长 度 不 定,由 长 度 为 n 的 比 特 数 组组成，经过视频解码过程生成视频纹理：FtN=P11P12P1hP21P22P2hPw1Pw2Pwh(2)FtN为分辨率为wh视频的第N帧图像，图像呈现为长度为h，宽度为w的矩阵，矩阵中的Pxy为图像第x行y列的像素，按照视频色彩空间分解为Y Cr Cb，Y为明度，Cr红色偏移量，Cb蓝色偏移量。为了渲染显示转换为R G B，R为红色分量，G为绿色分量，B为蓝色分量，随着视频解码的进行不断更新数据。视频纹理经过线程间的数据传输，输入渲染管线，进行纹理映射以及光栅化，最终在大小wrhr的窗口中得到第N帧的渲染画面：RN=p11p12p1hrp21p22p2hrpwr1pwr2pwrhr(3)pxy为渲染窗口第x行y列的像素，最终画面呈现超高清视频纹理的三维场景，根据渲染时间与仿真的视角而变化。2.2 GPU加速视频纹理生成加速视频纹理生成对于超高清视频纹理，解码方法的执行速度很慢，因此，需要对视频解码的流程进行并行化设计，提升解码的速度。在进行并行划分时需要考虑并行度、内存数据请求次数和内存的带宽。视频文件的解码过程如图2