12K3DVR虚实融合制作系统.pdf

先进技术AdvancedTechnology12K3DVR虚实融合制作系统1.项目背景沈阳广播电视台按国家广播电视总局广播电视和网络视听“十四五”科技发展规划要求，加强新一代视听技术、信息技术在全行业广泛融合应用，运用VR、A R、M R 和超高清等技术，推出全息化、可视化及沉浸式、交互式内容产品，自主研发建设支持从10 8 0 P到12 K超高清分辨率的3DVr虚实融合制播系统，丰富智慧广电的传播形态、传播样态。该系统以虚幻引擎虚拟制作和高分辨率VR实景拍摄融合制作为特点，实现真人投身在虚拟三维空间内进行舞台表演，并在虚拟三维采访拍摄现场制作系统12K3DVR拍摄8K2DVR拍摄8K1803DVR拍摄4K2DVR推流辅助拍摄系统：航拍器、移动拍摄车、演播室机器人摇臂5C网络系统：5GCPE、万兆交换机音频系统：调音台、无线麦克、全景声收录360/180实景影像及全景声采集增强型虚拟系统实时谊染合成/推流空间中实现虚拟摄像机的自由布置、切换和拍摄录制，突破传统的舞美设计，给节目以更大的想象空间，为节目创意提供有力支撑，让表演者宛如画中人，营造了更具视觉震撼的收视效果。2.技术内容系统由虚拟现实、虚幻引擎实时煊染、12K3DVR拍摄、全景声、云计算、5G、虚实融合CG制作等关键技术集成创新而成，由现场制作系统、后期制作系统、VR视频云服务及用户终端系统4个子系统组成，技术系统总体框架图如下。VR视频节目云服务系统云谊染服务APP服务VR直播/点播/收录/转码系统实时通信服务管理服务展示/用户/互动/审核管理系统数据库服务OBS对象存储VR云媒资系统虚拟内部网络云安全防护体系CDN内容分发后期剪辑CC制作系统流媒体服务素材拼接缝合处理系统WEB服务素村上载/下载工作站染工作站特效合成工作站万兆内部总线文件管理服务器存储阵列共享存储/NAS存储/媒资系统调色编辑系统成片上载工作站电视融合制作系统播出审核系统剪辑制作工作站用户终端系统：实现三屏融合互动播出手机端：VR直播播放器、点播播放器、点赞互动、个人中心、作品发布、交流、分享电视大屏：高清版成片播出、二维码扫码VR终端：VR直播播放器、点播播放器互动技术系统总体框架图本项目荣获2 0 2 2 年度辽宁省广播电视科技创新成果一等奖。第3期辽宁广播电视技术（1）现场制作子系统现场制作子系统主要用于虚拟现实视频的录制和虚实融合的在线直播。该系统包括一系列专业设备，以满足不同需求和拍摄场景。其中，影视级12 K3DVR拍摄设备、8 K1803D拍摄设备和8 K2DVR拍摄设备构成了VR视频采集系统，用于捕捉高质量的虚拟现实影像。此外，全景声采集设备用于获取环绕音效，提升观众的沉浸感。为了增强虚拟现实影像的真实感和创意表达，系统还引入了增强型三维虚拟系统。通过增强型三维虚拟系统，用户可以在虚拟现实视频中叠加字幕、3D动画、虚拟物品和虚拟角色等元素。（2）后期制作子系统后期制作子系统针对各种终端设备，包括手机、电视、VR眼镜、裸眼3D和沉浸式CAVE等，提供了生成适配多种终端设备视频格式的功能。系统以一个强大的8 K虚拟现实视频协同制作网为核心，建立了一套多格式的制作流程，包含视频拼接、剪辑、调色、三维CG制作、虚拟跟踪、AR合成和煊染输出工作流，允许用户进行从高清到8 K分辨率的虚拟现实视频节目的生产制作。为了实现这一目标，该系统采用了多项关键技术。首先，系统使用高性能染主机，具备强大的计算能力和图形处理能力，基于虚幻引擎研发实时3D图像染功能，实现实拍视频和虚拟三维对象、3D动画、虚拟场景的合成，增强视觉效果和创意表达，创造出逼真的虚拟现实场景。其次，系统依赖于万兆光纤网络，确保高速数据传输和协同合作的实时性。此外，系统还使用了存储阵列技术，同时配备了虚拟现实视频预览终端。（3）V R 视频云服务子系统及用户终端子系统VR视频云服务子系统采用华为VR云作为服务底座，自主研发多个VR视频云服务功能，包括5G+VR直播功能、VR终端展播功能、云收录功能、用户管理功能、互动功能和后台审核管理功能。5G+VR直播功能能够实现一键推流直播，用户可以轻松地开始虚拟现实视频直播。提供全流程管理功能，包括发布、审核和互动等环节，用户可以方便地管理和参与直播内容。系统采用云煊染技术使得虚拟现实视频的煊染处理在云端完成，减轻终端设备的负担。系统还面向手机端和VR显示终端建立了集成展播APP应用，用户可以通过这些应用程序来访问和观看虚拟现实视频内容。通过云服务的连接，系统能够在线上和线下各个场景中实现虚拟现实视频应用，提供了更广泛便捷的服务功能。3.应用情况该系统于2 0 2 1年10 月启动建设，同年沈阳广播电视台网络春晚创意节目主创团队与技术团队利用新系统创作创新节目京剧舞蹈国韵芳华，创建三维水墨山水虚拟舞台，演员的表演通过虚拟影棚进行录制，部分表演采用12 K3DVR实景拍摄，通过虚实融合的制作手段，将舞蹈演员在虚拟影棚的表演投射到三维虚拟舞台中，导演可以通过不同的镜头语言对演员的表演进行多角度的自由编排，丰富了节目表现形式，得到了节目委托制作方和观众的高度评价。该系统建成后，已成功完成沈阳家书精品诵读、外国人眼中的沈阳等多项精品内容制作。该项目实施后，沈阳广播电视台建立起先进的内容创意生产制作的平台，为广电精品文化内容的生产提供了有力支持，提升了传统电视综艺节目的制作效果，并且能有效增加数字文化产品的供给，为广电媒体机构开辟数字艺术、数字娱乐、沉浸式文化体验等新型文化业态，开拓新的运营空间提供基础技术支撑。该项目以其技术先进性被评为2 0 2 2 年度辽宁省广播电视科技创新一等奖。67