中国电影虚拟制片的现状与发展机遇_李晋林.pdf

中国电影虚拟制片的现状与发展机遇李晋林(浙江传媒学院华策电影学院，浙江 杭州310000)摘要 随着数字技术能力的不断提升，虚拟现实将深刻改变人类的生产生活方式;电影工业基于“所见即所得”的虚拟摄制技术，建立起虚拟制片管理体系。分析行业用户和协会对于虚拟制片技术的定义，探讨虚拟制片技术的形式，梳理虚拟制片系统的软硬件构成及制片流程，以博采传媒在虚拟制片技术的研发为例，分析我国虚拟制片领域的现状和取得的突破。中国要实现电影工业核心科技突破，就要加大虚拟摄制相关核心技术的自主研发，以此为我国建设电影强国做贡献。关 键 词 虚拟制片;虚拟摄制技术;实时;可视化在 1990 年 11 月 27 日的一封信中，钱学森就关注到了 V 技术，提出将 Virtual eality(缩写为V)翻译成为“灵境”。他说“我特别喜欢灵境，中国味特浓”。他在 1996 年甚至提出，V 是人类历史的一次大革命，将它视作与人类有了语言、文字同等重要的创造。1 图 1钱学森图书馆提供作为新一代信息技术的重要前沿方向，虚拟现实将深刻改变人类的生产生活方式。为提升我国虚拟现实产业核心技术创新能力。2009 年詹姆斯卡梅隆导演的阿凡达 让行业和观众认识了电影虚拟制作，2019 年采用全流程可视化虚拟制片的美剧曼达洛人 掀起了电影虚拟制片的全球热潮。就如数字视觉技术正在逐步取代光学成像技术，虚拟制片也正推动着传统电影以现实再现的创作方式向创造和建构虚拟影像的创作方式过渡。以交互技术和虚拟生成技术为根本，以数字人和数字虚拟场景建构起来的数字资产在不断开发和积累，交互技术和交互环境的不断改善，为虚拟空间的建构和虚拟影像制作提供了无限的可能。以往以牺牲实时的电影化和以牺牲画质的游戏化，随着数字技术能力的不断提升将打破界限，游戏引擎将成为电影引擎，电影和游戏相互融合。基于“所见即所得”的虚拟摄制技术，建立起虚拟制作电影的制片管理体系。随着人工智能、计算机、网络等数字技术的不断发展提升，未来拍电影将会像书写一样便利、高效、高质、智能。一、什么是虚拟制片虚拟制片(Virtual Production，简称 VP)是一个宽泛的术语，指一系列计算机辅助制片和可视化电影制作方法。维塔数码团队认为:“虚拟制片是现实和数字世界交融的区域。”盟图(MPC)进一步完善了这个定义的技术细节:“虚拟制片将虚拟现实和增强现实与 CGI 和游戏引擎技术相结合，使制作人员能够看到场景在他们面前展开，仿佛这些场景就是在实景合成和拍摄的。”2012 年，美国虚拟制作委员会(Virtual Production Committee)曾将虚拟制作定义为“一个协作和互动的数字电影制作过程，从虚拟设计和数字资产开发开始，并在整个0182023 年第 5 期制作过程中以互动、非线性的过程持续进行”。2 虚拟制片并非近年才出现的全新概念。早期电影拍摄就有用背景投射进行拍摄，但合成背景图像与摄影机图像没有透视和视差的变化和匹配运算。后来透视反求技术才推动了虚拟制片的发展。透视反求是通过分析连续画面，追踪其中关键像素的画面运动，利用透视原理计算当前摄像机的空间轨迹，使背景板拍摄也具备透视的真实效果。透视反求技术旋即被大量地应用到影视后期离线渲染流程，成为蓝绿幕拍摄标准的制作流程。虚拟摄制技术作为新兴影视拍摄方式，经历了早期盛行的蓝绿幕布前期拍摄加后期 CG 特效合成技术，到蓝绿幕布技术的升级版，通过实时追踪、实时抠像、实时渲染，将摄像机拍摄与 CG 特效实时合成，将数字化的空间、透视、运动、光影带到拍摄现场，为导演和演员提供现场实时的画面预览，以便降低现场拍摄的不确定性。近年来，得益于计算机图形图像技术以及运算、存储能力的不断提升，突破了实时渲染的瓶颈，大幅度提高了电影制作的效率，发展到现在的 LED 屏虚拟摄制技术。结合 LED 屏、动作捕捉、渲染引擎和全场景的 3.0 版本的虚拟摄制技术，为真实场景和虚拟场景结合提供“所见即所得”的解决方案，提高了电影的画面质量和摄制效率，降低了摄制成本和制片风险。虚拟制片的快速发展，为影视创作展现了更广阔的创作空间。虚拟制片作为一种数字时代的制片方式，应用先进的数字技术创造了一个模拟现实世界的虚拟电影创作环境，并随着虚拟技术的不断发展和虚拟制作流程的不断完善，这个虚拟创作环境将无限逼近于真实世界，数字虚拟影像也将无限逼近真实摄制影像。电影理论家克拉考尔提出的“物质现实复原”论，追求数字虚拟影像无限逼近真实世界的精细度和真实感。二、LED 屏虚拟摄制技术以及虚拟制片的制作流程影视拍摄采用的现场虚拟摄制技术可以分成两类:绿幕实时合成和 LED 屏实时摄制。绿幕虚拟摄制，实体对象会在抠像后与虚拟元素实时合成。在影视级的拍摄中，实时绿幕主要被用于现场视效预演。原始拍摄素材、记录的摄像机轨迹以及数字资产会在离线流程中重新进行渲染合成，以得到最终的成片。而在如今虚拟制片的前沿技术 实时 LED 屏拍摄中，虚拟元素可以通过影棚中搭建的 LED 屏幕在镜头内实现光学合成。LED 幕墙让演员和创作者有更好的沉浸感，由于LED 幕墙本身具有的自发光属性使得拍摄的光影效果也更加准确、逼真。通过此种方式拍摄的画面，只须进行简单的剪辑和后期调整即可成片，大大减轻了后期制作的时间和人力成本。虚拟摄制技术的发展从不可见的后期合成到可视化、高质量、实时画面渲染，得益于计算机图形图像技术以及运算、存储能力的不断提升。运用数字资产、动作捕捉、数字引擎、实时渲染、摄影机轨迹跟踪、LED 广色域屏幕等技术，创作者在虚拟环境下以实时交互的方式模拟真实世界进行电影创作。(一)实时 LED 屏虚拟摄制技术LED 屏虚拟摄制系统可从软、硬件两大模块进行拆分。所涉及的硬件部分包含 LED 幕墙(及天幕)、摄影机及摄像机跟踪定位系统、视频 I/O、图像渲染工作站、动作捕捉系统、DMX 灯光、网络基础设施等硬件;软件层面则包含但不限于实时图形渲染引擎、三维建模软件、动作捕捉软件等。1.LED 幕墙LED 屏摄制技术的一大关键就是 LED 显示技术。连锁的 LED 面板或模块合成一块更大的虚拟屏幕，并通过视频处理硬件和软件组合到一起，这就构成了 LED 幕墙。LED 幕墙都是由一系列单个的 LED 模块矩阵组成的，它可以包括环屏、顶屏和地屏。LED 屏有一个关键优势就是参考光照本身，它能够大幅增强镜头的真实感，也可以从显示技术衍生为反射和发光光照，屏幕范围越大越能获得品质更高的互动光照和逼真的反射。许多因素都会影响到 LED 屏虚拟摄制效果。从 LED 面板本身来说，其像素密度、灰度等级、扫描方式、色域、表面处理工艺都在一定程度上决定了最终呈现的画面品质。特别是 LED 面板的像素密度与 LED 幕墙之间的距离都对画面中可能出现的摩尔纹造成影响。其他影响 LED 拍摄成败的因素还包含了画面延时同步处理、LED 幕墙尺寸等。2.摄影机虚拟跟踪摄影机虚拟跟踪指将实体摄像机的运动状态(空间位移、镜头运动)实时复制到虚拟摄影机上，使虚拟摄影机的运动姿态与摄像师操作的真实摄像机保持一致，从而使 LED 幕墙中渲染的影像视差可以与摄像机的移动匹配，符合真实的三维透视关系。摄影机追踪系统按照其工作原理可以分019为机械跟踪和光学跟踪两大类。3.实时渲染工作站渲染工作站用来生成和输出来自渲染引擎的实时图像。为了追求最佳性能，工作站服务器通常需要具有高端中央处理器单元(CPU)和图形处理器单元(GPU)、充足的内存和拓展卡空间(例如视频采集板卡和同步卡)以及其他相关设备的多个工作站或服务器类系统。CPU 和 GPU 的算力越强大，意味着对图像的瞬间处理能力越强，图像渲染的细节品质和质感得以进一步提升。渲染工作站主机通过高速网卡或专业图形显卡上的端口或者视频采集板卡连接摄像机、监视器和 LED 大屏处理器等关键硬件。在处理超大分辨率 LED 幕墙时，可利用多台服务器进行分布式渲染，使每一台服务器处理的画面均在其显卡算力承受范围之内。4.实时图形渲染引擎实时渲染引擎本质上是一套针对三维模型的图形渲染软件算法。目前，虚拟制片所使用的最为主流的实时图形渲染引擎是 Epic Games 公司推出的虚幻引擎(Unreal Engine)。虚幻引擎原本是为游戏制作提供的一款开发工具，用于营造沉浸式逼真互动体验。“所见即所得”的响应速度和视觉保真度的飞跃，使得其在电影领域得到快速推广和运用。至今，虚幻引擎已迭代到 5.1 版本。近年来，虚幻引擎加强了影视制作所需的功能模块，制作者可通过 UE5 完成电影镜头的场景、道具、灯光预设，演员及前景道具在虚拟世界中的画面合成，超大尺寸画面拼接，摄像机跟踪数据接入，灯光控制等功能，完成“所见即所得”的虚拟摄制过程，实现多团队、多流程的相互协作，共同完成现场可见的镜头效果。5.数字资产许多导演和制片人员将虚拟制片描述为一个后期前置的过程，即将在传统后期流程中才会进行创作的数字资产在拍摄初期就进行制作，并将这些资产用于现场预演、现场拍摄、后期合成等全流程制作。创建数字资产时，在高质量影像和实时效率方面付出的努力越多，从视效预览到最终成像阶段就越能频繁地利用数字资源，而不必付出额外的成本和时间来重新创建所需对象。创建数字资产形成规模化的数字资产库，可以长期制作受益，并成为拥有知识产权的商业价值。这些数字资产可通过快速调整并被用于不同影片制作上，无须为每个应用重建资源即可完成，既节省了时间，又避免了因重建可能导致的质量、一致性问题，对电影工业化生产效率的提高起着至关重要的作用。除了依靠三维软件进行建模，3D 数字扫描技术，能够数字转化技术将图片和影像资料转化成高精度数字资产，它的运用也能够大大缩短数字资产的准备周期。一类特殊的数字资产是虚拟角色，即数字人。数字人可以为可视化和最终图像的多种目标服务。在前期预览中，数字人可以用来展示摄像机画面和移动，从而制作特技和草图。在制片过程中，数字人可以通过合并来形成人群、数字替身、特技工作和动作设计，甚至可以作为主角。使用虚拟角色替换表演者可以提供相似的视觉效果，同时降低表演者本身的风险。6.动作捕捉动作捕捉是记录物体或演员动作并利用这些数据来让数字模型具备动画效果的过程。一般而言，使用动作捕捉技术可以减少动画师逐帧制作动画约 80%的工作量。身体捕捉由穿着特殊服装的演员完成，服装上覆盖着供特殊摄像机追踪的标记;或者由演员身着内置传感器的服装完成。面部捕捉方法包括使用深度传感器摄像机进行无标记面部捕捉，或者追踪直接绘制在表演者面部上的标记。动作捕捉技术被广泛地应用在科幻和卡通类型的影视制作中，通过精准的技术处理，使得各式各样的数字角色具有了生动、鲜活的生命力。(二)虚拟制片的制作流程中国艺术研究院电影电视研究所的研究员孙承健曾经说过:“虚拟制作不仅只是一种技术的变革，而且是在创作观念上的一种转向，从围绕文学性 为核心的创作模式，转向围绕视觉性 为中心的创作形态，也即是虚拟制作本身，开始确立的是 故事视觉化(Story vision)这样一种全新的电影创作理念，以及与之相匹配的非线性的制作流程。”3 虚拟制片是一个包括数字资产、虚拟预演、虚拟拍摄、现场剪辑、后期制作等环节的全流程实时可视化制作体系。传统电影制作流程一般情况下是线性的，包含前期策划、前期制作和后期阶段，存在效率低、协调性差、资源不兼容、修改过程复杂、制作成本高、不确定性大等问题。虚拟制片过程更加迭代化、协作化和非线性。电影制作人员能够以协作方式对视觉细节进行实时0202023 年第 5 期修改，甚至可以突破地理限制，通过网络进行远程合作。迭代过程在制片早期便开始，最初即可制作出高质量画面，资源能够相互兼容、重复利用，从视效预览到最终输出过程中均可使用，虚拟制作将现实世界和虚拟世界的空间、时间和光影融为一体。图 2由 Epic Games 公司提供电影 刺杀小说家 视效指导徐建曾说:“刺杀小说家 与以往电影的特效制作不同在于完整的后期特效流程与前期虚拟拍摄资产的体系互相交织，应用了包括动作捕捉、纯虚拟拍摄、虚实结合拍摄、