虚拟制片实践指南

第二册

Noah Kadner编写
Epic Games提供

© 2021 Epic Games版权所有

虚拟制片实践指南第2册

贡献者
作者 Noah Kadner
总编 Miles Perkins
编辑 Michele Bousquet
排版与插图 Oliver Morgan和Carys Norfor

致谢
谨以此文感谢接受我们采访的所有电影制作人，感谢他们百忙之中分享关于虚拟
制片的独到见解。此外，我们还想感谢所有提供过虚拟制片和虚幻引擎更多细
节的Epic Games团队，包括：Kim Libreri、Andy Blondin、Shawn Dunn、Jeff
Ferris、Juan Gomez、Thomas Kilkenny、Matt Madden和Ryan Mayeda。感谢
David Morin主持虚拟制片委员会的工作并提供指导。最后，感谢我们的家人在整
个项目中给予我们的支持和鼓励。

关于作者
Noah Kadner曾于2019年为Epic Games撰写《虚拟制片实践指南》的第一册。
他主办了一档虚拟制片播客节目并担任《美国电影摄影师》杂志的虚拟制片
编辑。Kadner目前居住在旧金山，陪伴他的妻子Mónica以及两个儿子Max和
Dylan。
图片版权归Apple公司所有，由The Third Floor公司提供
 目录
第一章：介绍 2
自上一册之后情况有了怎样的变化？ 3
本指南的作用 5
本指南适合的对象 7
Epic Games的目标与愿景 9
访谈：虚拟制片对工作室的意义 - Girish Balakrishnan 13
访谈：制片人 - Christina Lee Storm 16

第二章：虚拟制片工作流程 20
远程合作 21
访谈：视觉效果 - Robert Legato, ASC 27
访谈：数字人类 - Darren Hendler 31
访谈：数字人类 - Nathalie Bergeron  35
可视化 39
访谈：可视化 - Kris Wright 与Hugh Macdonald 43
访谈：推销预览 - Christopher Sanders 46
访谈：可视化 - Dane Smith 49
镜头内视效 52
虚拟制片工具 59
访谈：镜头内视效 - Jon Favreau 63
访谈：LED幕墙电影摄像 - Greig Fraser, ASC 69
访谈：镜头内视效 - Philip Galler 72
访谈：执导 - Rick Famuyiwa 76
访谈：镜头内视效 - Richard Bluff 80
访谈：镜头内视效 - Charmaine Chan 85
访谈：视觉效果 - George Murphy 88
访谈：镜头内视效 - Sam Nicholson, ASC 91
动画 94
访谈：实时动画 - Jerome Chen 101
访谈：表演捕捉动画 - Edward Quintero 104
访谈：远程合作动画 - Jason Chen 107
访谈：动画 - Mark Osborne 110
访谈：动画 - Dane Winn 114
 目录

第三章：更多的应用机会 118
应用：独立制作人的虚拟制片 119
访谈：虚幻引擎开发者 - Matt Workman 121
应用：虚拟制片服务提供商 124
访谈：虚拟美术部门 - Andrew Jones 128
访谈：虚拟制片监制 - Clint Spillers 131
访谈：可视化 - Alasdair Coull 135

第四章：总结 140
抢先预览下一册《虚拟制片实践指南》 143

深入学习的资源 146
虚拟制片资源 147
Epic Games资源 147
其它资源 147
虚拟制片工作流程示例 148

术语表 150
1
 第一章：介绍

第一章

介绍

2
 自上一册之后情况有了怎样的变化？
欢迎阅读《虚拟制片实践指南》第二册。我们设计的《虚拟制片实践指南》适合
任何对虚拟制片（VP）技术感兴趣或者已经使用该技术制作项目的人士。这里
的“我们”特指Epic Games团队，也就是虚幻引擎的创造者。

我们希望你有机会可以阅读第一册的内容，因为它探索了关于虚拟制片的基础知
识，而本文作为第二册，是在其基础上的拓展。在我们深入探讨之前，可以大致
了解一下上一册指南在线上发布之后情况有了怎样的变化。

远程合作已然成为一种工作方式。颠覆与突破一直是电影制片行业的一部分，而
技术和市场的力量又不断地引发变革。除了技术原因，这个行业还要应对新冠疫
情的影响，采取包括减少人员规模和规定社交距离之类的制片安全新要求。实时
技术为远程合作带来了新的机遇，行业既想让大家都重返工作岗位，又想要遵守
这些安全要求，因此也大幅加速了这个领域已经迎来的变革。在如今的大环境
下，远程合作扮演了至关重要的作用，它不仅正在挑战我们曾经的工作方式，也
为我们带来了裨益长远的全新范式。我们将一同探索这些益处，并将介绍数位创
作人员，了解他们运用远程合作的经验。

更多备受瞩目的虚拟制片项目已经完成。 在上一册的指南中，我们提到了一些当
时仍在制作当中、我们还无法详细讨论的里程碑项目。如今，其中的部分项目已
经发布，最为引人瞩目的项目之一便是在迪士尼+播出的剧集——《曼达洛人》，
它在虚拟制片和LED幕墙技术方面达到了新的高度。我们将会深入研究《曼达洛
人》的工作流程，也会了解数个其它重大项目，并采访相关的主创人员。

虚拟制片的工作流程已然进化。一般的制片方法还在步步为营地发展，而虚拟制
片正以前所未有的速度突飞猛进。我们将会探索该领域最新的进展，并了解前沿
阵地迎来的创新和挑战。经验丰富的电影和电视制片人正在运用实时技术让之前
各自为战的部门通力合作，在制片行业各个领域之间架起跨专业的桥梁。

3
 第一章：介绍

图片由MELS Studios提供

虚幻引擎也完成了进化。实时光线追踪和HDRI等新技术的出现大幅增强了图像的
清晰度和保真度。2020年6月，Epic Games发布了初探虚幻引擎5，这将是引擎
迎来的又一次变革。虚拟制片也将获得Nanite、Lumen和Lightmass 2.0等极具潜
力的功能。

Nanite是一项虚拟微多边形渲染技术，它可以在不降低实时性能的情况下处理拥
有超高细节的3D模型，这意味你可以在前期预览、实时动画和最终品质渲染中复
用同样高品质的模型。Lumen是一项实时的全局光照解决方案，可以大幅增强光
照的真实度。Lightmass 2.0可以创建更复杂的光照贴图，从而用于更逼真的效
果，例如环境阴影和漫反射。

4
 本指南的作用
预先准备
为了更好地运用本指南，我们希望你已经阅读了虚拟制片实践指南第一册，或者
你已经了解虚拟制片某个和多个领域的概念。具备这些相关知识非常重要，因为
在本指南中我们将深入了解虚拟制片的具体细节。

也就是说，我们会宽泛地描述相关的工作流程，并在适当的情况下提供更详细的
白皮书及资源，同时提供分步的详细指引。虚拟制片已经面世一段时间了，尤其
是在可视化领域。但虚拟制片行业仍然方兴未艾，并且技术形式也更加复杂，例
如LED幕墙、镜头内视觉特效摄影等等，这些可能需要本指南涵盖范围之外的支
持。我们会尽量为你提供相应的额外资源。

为了支持你完成大型的虚拟制片项目，我们强烈向你推荐在这一先进领域
已经拥有广泛经验的多位系统集成商和咨询方，其中包括：Lux Machina、
Magnopus、The Third Floor、Happy Mushroom、Digital Domain、DNEG和

“
Weta Digital等等。这些公司的负责人会在本指南中与你分享自己的看法；他们也
欢迎你根据自己的项目向他们询问更多信息。
这个技术平台带来的一大益
处就是内容创作者可以很快 访谈
看到自己作品的样子，还
能立即看到自己决策造成 我们采访了多位创意领域顶尖的专业人员，他们分别负责制片管线的各个环节和
的影响。早期的迭代也可 职责。这些专业人士中包括导演、电影摄像师、制片人、视效监制、动画师、合
以更加接近最终的版本。 成师、虚幻引擎美术师、系统整合专员等等。这些专业人士会分享一个共同的主

”
题——实时技术为他们的工作流程带来了积极影响，他们对此也充满热情。

Dane Smith 我们询问了这些创意人士如何在自己的管线中运用虚拟制片。我们也询问了全球

副总裁 疫情对他们项目的影响，以及如何推动行业前沿的远程合作。我们也为有意迈入
The Third Floor
虚拟制片行业的读者向他们咨询了这方面的职业建议。最后，这些专业人士还分
享了自己对于实时和虚拟制片在未来发展的展望。他们的回答充满了洞察力和启
发性，因此我们希望与大家分享。

5
 第一章：介绍

深入探究虚拟制片工作流程
除了访谈内容，我们还将了解各种各样的虚拟制片工作流程。我们首先会大致列
出每个工作流程的主要环节，然后详细分析各个流程是如何完成的。我们无意让
本指南变成一套指导方案，更多的是概述涉及的所有动态环节，并邀请你采取下
一步行动，将实时技术整合到你自己的工作流程中。

考虑到本指南编写时所处的时期，我们将首先了解什么是远程合作，以及正确的
虚拟制片实践如何让远程合作更加高效而包容。我们将分析虚拟采景和虚拟摄
影，了解这两个领域如何实现完全的远程协调，并达到共同的体验。

接下来我们会看到纯可视化流程的不同风格，探索推销预览、前期预览、技术预
览和特技预览。我们会研究这些迭代形式的历史，了解它们如何从传统规划技术
（例如手绘故事板和动态分镜）演变而成。游戏引擎工具不仅大幅提高了可视化
工作的效率，还通过实时视效大大提高了相关人员的参与度，使效果的品质比以
往更接近最终的成品。

然后我们会进入制片和虚拟制片的交叉领域，分析最尖端的相关技术，例如LED
幕墙、追踪摄像机和实时镜头内绿幕合成等等。使用追踪摄像机实现实时合成已
经有数年的时间，而如今随着虚幻引擎本身的发展、GPU、CPU以及实时显示技
术的进步，镜头内图像的品质也更胜以往。

在本指南中，我们采访的创意人员和分析的相关项目都与备受瞩目的大制作有
关。不过这里我们需要强调一下，并不是只有这些领域可以运用实时工具。大制
作的电影通常会推动革命性的技术进步，让技术迎来突飞猛进的发展，然后惠及
普罗大众，让各个层次的电影制作人都能运用这些技术。

虚幻引擎就是这种现象的绝佳体现，因为你可以免费下载并使用它。我们在本指
南中提及的所有技术都可以通过最小的投资来达成。我们的目标便是尽可能地做
到包容与赋权，并鼓励所有人来运用实时技术的力量。

6
 最后，我们将了解虚拟制片服务提供商的生态系统。其中有许多公司——例如
The Third Floor和Halon Entertainment——都在这个领域有十年以上的经验，
在“虚拟制片”这个术语出现之前，他们就已经在提供这项服务。虽然你可能并
不熟悉他们的公司名称，但对于他们的作品应该早有耳闻。

虚拟制片在创意领域和经济方面都创造了大量机会。仔细想来，现在有许多新领
域都需要用到虚拟制片。虚拟美术部门就是一个很好的例子，因为对于新的工作
流程而言，需要这个部门来开发和管理关键的实时资产。现场服务提供商可以监
督追踪和显示系统，从而支持主要的制片工作。虚拟布景的资产可以在修改之后
转售，这也构成了另一片有待探索的领域。我们相信目前只触及到了冰山一角，
它应该可以补充现有的制片基础设施，成为一个全新的行业。我们还看到随着现
实与虚拟世界不断交汇重叠，传统制片部门参与到虚拟制片的职责和机会也与日
俱增。

本指南适合的对象
在《虚拟制片实践指南》的第一册中，我们将该指南推荐给完全不了解虚拟制片
或有意了解特定工作流程的创意人员和部门负责人。我们的读者包括制片人、导
演、电影摄像师、制片设计师、视效监制等等。在第二册指南中，我们依然重视
这些读者，不过还希望进一步拓展受众。

工作室的各位主管可以在本指南中找到许多信息，从而整合虚拟制片工作流程的
优势，将其引入电影制片工作。我们认为，根据目前工作室的制片水平，虚拟制
片可以为他们带来巨大的益处和规模效益。而最棒的一点是，现有的大部分人员
和基础设施都可以通过重新配置来运用虚拟制片技术。

通过拥抱虚拟制片，可以实现更紧密的迭代流程并获得重点更加明确的制片反
馈，视效监制人员及厂商也能因此受益。实时工作流程已经脱离了线下的版本管
理，因为线下管理时电影制作人必须要划分自己的反馈，而虚拟制片的线上流程
甚至是实时版本管理则可以提供尽可能接近于最终目标的视觉效果，实现快速迭
代。

7
 第一章：介绍

相较于更为传统的逐个镜头的拍摄手法，虚拟制片还提供了一种使用环境序列的
整体方法。这样可以提高电影制片人的参与度和满意度，同时又能交付可以平摊
“
LED幕墙这项技术在实
时环境和实地体验领域
在额外场景上的资产。通过运用虚拟制片工作流程，序列可以作为自由探索的连 具有极大的潜力。

”
续镜头来完成拍摄，而不像传统视觉效果的方法那样只能锁定在特定镜头或帧数
中。这也可能让制片的工作方法从以单镜头为基础转变为以连续镜头为基础。
Jon Favreau
虽然虚拟制片是在最近才愈发得到关注，但其中涉及的各个领域对视效工作室来 作家、导演、制片人、演员
说并不陌生。无论你是做前期预览、技术预览、后期预览、特技预览、动作捕捉
或其它形式的虚拟制片，对它都应该很熟悉。现在的变化是随着游戏引擎软件和
GPU硬件的发展，我们可以更准确地模拟现实世界，现实和虚拟世界交汇的领域
也不断延伸。

我们还想告知制作人如何在自己的项目中运用虚拟制片的各个部分。而在预算方
面的一个重要变化就是，有些支出会发生在前期，因为细节的视觉开发往往是在
前期制作而不是在后期。我们还会讨论虚拟制片对预算的影响——包括部门之间
的拨款调度、费用支出的安排、如何管理合作并行的流程和单独的线性流程。而
最关键的影响是虚拟制片可以让电影制作人更好地发挥创意、互相合作，最终获
得更优秀的最终产品。

最后，我们希望吸引和引导更多志向高远的新人进入虚拟制片领域。在本指南中
你会反复看到一个主题，那就是现在市场对于拥有虚拟制片经验的人才有很大的
需求，而虚拟制片又需要你具备跨专业的技能：传统的现场摄制和故事叙述能
力，再加上实时和3D美术技能。阅读至此，你就已经积累了具备一定竞争优势的
知识储备。

那我们马上开始吧。

8
 Epic Games的目标与愿景
虚幻引擎是一个创意平台和协作沙盒。 虽然虚幻引擎原本的用途是制作游戏，但
它如今能演变成为一项虚拟制片工具，也是Epic Games共同努力的结果。这份努
力一直聚焦于一系列的目标，并憧憬将虚幻引擎打造成创意平台和协作沙盒。随
着越来越多的制片和后期制作专家加入Epic Games，这份努力的方向也越来越明
确。这些专家投入了大量的时间构思和设想虚幻引擎的可能性，希望虚幻引擎能
打造出具有突破性的娱乐体验。他们还会花费大量时间去倾听在制片第一战线的
电影制作者和用户的意见，开发他们在未来需要的工具。

迭代、即兴创作与创意
迭代在敏捷软件开发领域是一个众所周知的术语，它指的是审核和精修项目的周
期过程。传统制片领域也有迭代，但为了让导演可以审核影片，往往要将许多不
同的动态环节浓缩到一个镜头里，所以通常迭代会更加复杂，开销也更大，而这
样就会导致预算和创意迭代落入进退两难的困境。在传统管线中，当一个镜头已
经到了可以让导演评估的环节时，你就已经为它投入了大量的时间和精力，而导
演开始审核时，过多的迭代可能会让人心力交瘁，对排片和预算也会造成负面的
影响。

实时工作流程可以突破这种迭代的瓶颈，它不仅能够实现广泛的迭代，还能让工
作人员享受这个过程，同时提高成本效率。制片人员可以使用更接近成片水准的
画面保真度交付图像，并且比传统管线花费的时间更少。它会更类似于敏捷开
发，你可以通过合作实验迭代找到故事的最佳表达方式，甚至会有意外收获。

这里我们以音乐的即兴创作过程为例。相较于百人组成的管弦乐团，四位兴致盎
然的演奏家一起即兴创作一首乐曲肯定更加简单灵活。你可以在概念设定已经基
本完成之后再让更大的团队参与进来，让他们去完善已经明确的愿景。你也可以
用这种方式去制作电影，但前提是无论是大团队还是小团队都可以看到具有足够
保真度的内容。这时候就需要虚拟制片登场了：它可以轻松地将小团队一开始的
开发创意拓展到整个制片班底的大团队。

9
 第一章：介绍

一套工具集和工作流程
虚拟制片架起了现实和虚拟世界之间的桥梁，让整个创意流程更加透明。它将一
套创意工具集从技术人员和工程师那里传递到了电影制作人的手中。现在创意部
门不再各自为战，而是可以密切合作，将自己的专业知识运用到项目中。实时虚
拟制片也推动了工具的发展，让所有想要参与制片的人员都能够使用它们，你只
需要下载软件即可开始尝试。

图片由Animism提供

虚拟制片不再是陌生领域
我们正在亲身经历一场“文艺复兴”，它想要将创意流程带回到摄像机，交到电
影制作人的手里。在此创意过程中，创意人员完全使用电影摄像的术语来描述他
们的流程，无论他们所指的是现实还是虚拟的空间。虽然这是一项尖端技术，但
LED幕墙和镜头内视效的概念可以追溯到电影诞生之初。当时诸如埃德沃德·迈布
里奇、乔治斯·梅利斯等一批先驱电影制作人也用类似的方法打破陈规，他们使用
了那个时代的光学技术来捕捉不存在于现实世界，却出现在镜头中的画面。虚拟
制片也能实现同样的创意目标，并且打造可以共享的镜头内的景象，同时拥有比
以往更高的保真度和互动性。

10
 聚焦于从前期预览到后期制作的创意合作
给最优秀的人才最充分的权力，才能让他们迸发出最好的想法，虚拟制片在各个
部门的负责人之间开启了基于图像且激动人心的迭代流程。虚拟制片可以同时利
用游戏引擎和实时技术带来的益处，也可以运用软件开发迭代本身的特质。

游戏引擎技术擅长模拟现实世界的物理效果，这意味着引擎中创建的资产可以与
现实世界的物体一一对应。虚拟摄像机镜头中的虚拟世界可以生成与现实世界镜
头对应的图像，如果你设定了虚拟世界中的时间，它甚至可以精准呈现出那个时
刻相应的光照阴影。制片设计师可以在搭建场景之前就发现其中的技术构架问
题，电影摄像师可以在抵达位置之前就模拟出指定场景中灯光设备的精确效果。

如果电影制作人只把游戏引擎技术当作另一种渲染通道，那就会错过这项技术特
有的优势，比如各种模拟功能和编程逻辑。举个例子，通过使用游戏引擎，你不
需要手动设置和调整动画的关键帧，而是可以开发自定义的脚本来自动对虚拟场
景中的变化做出反应。用流程化的工具代替单一目的的创意工具可以更好地驱动
这种独特的工作流程。

你还可以开发高度模块化的创意资产，并通过重新配置它们的参数来发挥多种用
途。例如，一个零售店和产品配置器可以修改成虚拟工作室的布景资产配置器。
虚幻引擎中基于节点的蓝图可视化脚本系统可以让复杂的互动功能变得简单直
观，便于你配置和重复使用。

图片由Rebellion提供

11
 第一章：介绍

对于创意合作的一大关注点便是它可以有效降低高层创意人员的迭代摩擦。通过
让复杂图像的创作更具互动性，创意工作也更加自由顺畅。创意人员可以更深入
地探索和分享想法，并且不像传统流程那样耗费时间或成本。

与其他数字内容创作工具的互用性
因为游戏引擎的设计目的是用于制作游戏和其它应用，所以追求最大化的互用性
是其核心之一。这也使游戏引擎成为了虚拟制片的最佳拍档，因为它的主要目标
也是促进合作并防止出现创意孤岛。

作为游戏引擎，虚幻引擎可以融入各种游戏工具，而它拥抱虚拟制片时也是如
此。虚幻引擎支持多种关键3D资产创作格式的导入和导出，例如FBX、Alembic
和OBJ。这意味着使用其它3D应用（例如Maya或Houdini）的建模师或者使用
SolidWorks，甚至SketchUp的制片设计师都可以在虚幻引擎的场景中轻松整合
自己的工作成果。一位科学研究员可以在其中构建出有准确物理效果的模拟应用
来用于深度可视化；甚至是机器学习的模型都可以整合到虚幻引擎中，开发出多
种全新的应用。

虚幻引擎还支持各种静态图像、音频和视频格式，并且可以搭配多种线上数据，
包括动作捕捉数据、摄像机和镜头追踪数据、光照系统等等。引擎的互用性还包
括支持较新的文件格式，例如Universal Scene Description(USD)，当资产和场
景在不同的应用之间导入导出时，它会尽量保留最高的保真度，你还可以使用虚
幻引擎的插件系统进一步增强该功能。

这些用途和功能的示例也更加坚定了Epic Games的愿景，即将虚幻引擎打造成
为一个高扩展性的平台和强大的创意沙盒。

12
 访谈：
虚拟制片对工作室的意义 - Girish Balakrishnan

Girish Balakrishnan目前担任网飞的虚拟制片总监，而在加入网飞之前，他也在
Technicolor担任了类似的职位。Balakrishnan参与的作品包括《奇幻森林》、《狮
子王》和《头号玩家》。

13

可以聊一聊你的职责以及网飞对于虚拟制片工作室的看法
吗？
Girish Balakrishnan：我们认为虚拟制片是一种运用新
制片技术去解决问题的创造性方法。它连接了制片流程中
的各个部分，减少了盲点，并且促进形成了规划工作的氛
围。在过去，部分关键的重大项目才会使用这样的工作流
程。但在网飞，我们坚信虚拟制片应该对所有人开放，无
论在什么地方，无论预算如何。
我作为网飞虚拟制片部门的总监，主要负责让工作室在公
司业务板块和整个行业中运用虚拟制片这种方法，我们的
团队在开发的早期就可以查看内容，并且能够直接与电影
制作人合作，配合相关厂商在各种类型的内容中运用虚拟
制片，例如剧集、故事片、无剧本内容、动画等等。我们
是实体制片流程中的独立部门，我们会在项目获批之前影
响制片的规划，确保他们有足够的预算、安排以及所需的
知识来克服创意挑战。
为了实现虚拟制片的规模化，我们需要推动行业制订出开
放且可用的标准，通过我们的虚拟制片研发计划NLAB，
我们与Epic Games这样的技术领军者展开合作，实现管线
标准化并实地测试新兴的工具，从而帮助推广这些工作流
程。我们努力让自己的制片工作与行业保持步调一致，为
电影制作人提供了与幕后技术团队接触的绝佳途径，并且
通过这种循环反馈的氛围来推动创新。
从独立电影到院线大片，我们工作室制作的很多内容都会
运用这些技术，例如虚拟位置采景、可视化、表演捕捉、
现场摄像机追踪与合成，还有互动灯光等等。加入网飞之
后，这真的是最令我大开眼界的体验之一，我可以和来自
韩国、西班牙、巴西等各个地方的电影制作人合作，一同
探索这些新技术。
访谈：Girish Balakrishnan
虚幻引擎是怎样融入你们的管线的？
Balakrishnan：作为工作室，我们不太会为虚拟制片搭建
自己的内部管线，但我们非常渴望与外部厂商合作，从而充
分运用虚幻引擎这样的实时引擎，毕竟这个引擎是对方工作
流程的核心。从虚拟美术部门的场景构建到实时的预可视化
工作，再到动画和真人拍摄内容的最终像素渲染和镜头内特
效，与Epic的成功合作让我们可以在所有虚拟制片的应用中
使用虚幻引擎。Epic是NLAB计划的重要合作伙伴，让我们
的美术师和监制深受启发，开始运用游戏引擎的技术力量，
并且开展了诸多研发工作，旨在让这项技术更进一步。
如今世界的局势对远程合作的工作流程造成了怎样的影响？
Balakrishnan：虚拟制片这一概念已经掀起了制片行业的新
思潮。整个行业都在以前所未有的速度实现对虚拟制片的采
用、标准化和文化协同。我们的电影制作人和美术师已经转
为居家办公，而虚拟制片让创意合作达到了新的水平。视频
会议和远程审核都是有效的2D沟通模式，但是无法提供空间
环境和创意联系，而这正是我们审核3D内容时需要的。
为了解决这个问题，我们的三个独立制片方立即与Epic建立
了联系，旨在加速开发居家展开合作制片的新方法。这让我
们的工作室可以让纽约的摄影指导和伦敦的视效美术师联
系，身处洛杉矶的导演可以与日本的美术部门联系，而表演
捕捉人员可以和工作室内部的动画监制联系——所有人都在
虚幻引擎中工作。有效的远程合作流程可以为全球的行业人
才提供更多的机会。
14

要让传统和虚拟制片的创意人员形成统一的工作术语会面
临怎样的挑战？
Balakrishnan：要更改制片的环境确实充满挑战。因为
这些工作流程已经成为电影制作流程中非常普遍的环节，
工作室和工作人员需要对自己的新职责有一个基本的了
解。通过培训和使用统一的术语可以揭开这项技术神秘的
面纱，让我们在前期制作、布景和视效方面可以与同事密
切合作，打造更好的实体制片环境和创意参与度。语言非
常重要，像我们这样的虚拟制片从业人员需要建立统一的
基本原则，只有这样我们才能一起实现规模化。
15
图片由Matt Kasmir/网飞提供
你对有意迈入虚拟制片行业的人才有何建议？
Balakrishnan：虚拟制片会在不久的将来完全融入制片
流程，在这种转变发生后，实体制片和动画制作工作所需
的技术要求也会提高。每个部门都将利用虚拟制片的某个
方面，并且招聘人才来支持相应的工作，包括虚拟美术部
门的制片设计、实时引擎编辑工作、虚拟摄影的拍摄、地
点扫描和虚拟位置采景、实体景观与沉浸式LED影棚的场
景混合等等，服装也要使用VR雕刻和设计。你要在总体上
理解各个环节的动态，把握行业发展的脉搏，同时拥有某
个领域深厚的专业知识，这些都将成为你在虚拟制片行业
取得成功的关键。
 访谈：Christina Lee Storm

访谈：
制片人 - Christina Lee Storm

制片人Christina Lee Storm创立了Asher XR，主要为虚拟制片、混合现实、AR

和VR内容提供战略开发、规划、创作和实现服务。她曾担任梦工厂动画公司副
总裁并领衔高级创意技术小组，负责推动工作室的动作捕捉和实时技术计划与业
务战略，倡导未来的内容创作。Storm参与的作品包括《艺术家》、《少年派的
奇幻漂流》、 《少年派后的日子》、《驯龙高手：隐秘的世界》（包括三种VR
体验）、《魔发精灵：世界之旅》、《雪人奇缘》以及《隐士》。在此次采访之
后，Christina已经加入网飞并担任NLAB虚拟制片计划经理。

16
 虚拟制片中的制片人要担当怎样的职责？
Christina Lee Storm：作为整个项目的负责人，制片人要
阐明项目的愿景。很关键的一点就是，要帮助我们的导演和
主创经历这个流程。在项目中采用这种技术的部分原因就是
为了创建合作和包容的工作环境，工具并不会决定美术，而
是为了优化电影制片的流程。作为制片人，我认为它可以打
造出一个高度合作的创意沙盒，让我的主创人员能够挖掘其
中的魔力，所有部门的负责人都可以实时合作，收获意外的
惊喜。
之前制作人的职责其实非常孤立，就是各自负责某个具体的
专业领域（例如剧情部门、选派演员或者实体制片）。由于
技术进步、制片发展，以及我们的创作欲望不断提高，我们
已经将项目中视觉和美术的边界推到了前所未有的高度。如
今的制片人需要了解技术，了解各种各样的制片工具，这是
因为观众的视觉品味也已经成熟了。
虚拟制片需要制片人理解如何透彻剖析创意需求，了解虚拟
制片和技术的哪些部分可以解锁，并将这些创意需求纳入合
理的预算。我们需要人员在计算机图形和实时技术方面拥有
足够的技术熟练度和经验，因为他们需要了解如何充分地运
用虚拟制片工具。
虚拟制片是否更有利于减少开支、提升安全性？还是两者兼
得？
Storm：在新冠疫情之前，对于虚拟制片的主要考虑是：
“用虚拟制片可以节省多少开支？”，而在后疫情时期，制
片工作又增添了许多需要考虑的因素，例如安全措施、减少
差旅、隔离，还有远程工作，这些都是如今虚拟制片为制片
行业带来的益处。
17
我们可以想象，开支节省主要体现在减少了制片的差旅费用
（每日住宿）和设备开销，并且也减少了公司的派遣。例
如，如果我们的布景在莫斯科，根据布景的具体情况，我们
可能要让数百位工作人员和演员前往实际地点。现在我们有
了可行的选项，可以通过这项技术获得相同地点和布景。
在后疫情时期的制片环境中，你的演员和关键工作人员如果
必须要出差和乘坐飞机，他们就需要根据防疫政策进行至多
14天的隔离。但现在你可以派出一支规模很小的虚拟美术团
队去拍摄地点，让他们就待在当地处理布景，这样可以降低
风险、提高安全性。
在如今全球疫情这么严重的情况下，派一小支团队去用激光
雷达拍摄可以降低风险，同时节省许多差旅费用和开销，因
为传统制片需要派许多人员出去实景拍摄。此外，如果这种
制片方式可以减少公司在各地之间的来回差旅（因为布景就
在一个地点），那么这种制片方法就大有裨益。
一些工会有所担忧，认为限制人员规模会导致失业问题。对
此你怎么看？
Storm：我们仍然需要人员去完成必要的工作。工作方式虽
然发生了变化，但我们仍然需要经验丰富的人才去完成最卓
越的工作。虚拟制片如果没有这些专业人士的助力也不会蓬
勃发展。此外。全世界的CG美术师也不是由一个工会代表
的，关键的是我们如今制作电影的方式。实时技术的基础核
心需要各个专业和技术领域的人才加入进来，共同努力、密
切合作并迭代更新。

图片由梦工厂动画公司提供
虚拟制片的方法与传统的方式是相反的，它是要为摄像机
准备资产，而不是将最终图像推迟到后期制作中完成。这
种方式对制片人造成了怎样的影响？
Storm：我不知道现在还有谁会想在后期制作电影。为摄
像机准备资产为电影制作人开辟了新机会，让他们可以更
好地看到项目在制片过程中呈现的效果，而所有部门的主
创和负责人都可以一起合作。能够让所有部门一起看到最
终图像，这可以说是一个天翻地覆的变化。
在制片早期就做好准备可以帮助制作人在后期可视化流程
中进行迭代。制作人会得到他们最终想要得到的效果，在
屏幕上看到自己的美术和故事，减少当前制片流程后期出
现的模糊不清的情况，有时候甚至会在影片放出之前几周
才能交付成品。
访谈：Christina Lee Storm
制片人应该在进行虚拟制片的规划时考虑哪些具体的问题？
Storm：我建议制片人先有一个总体的观念，并且尽其所能
地打破部门或思维的孤立。找到预算中区分制片和后期的那
条“线”，把它擦掉，把后期部门移到前面来，接着后退一
步，从整体上审视整个项目。这需要人们转变对于下游部门
的观念，并让他们更早地融入合作流程。实时渲染的基础意
味着我们已经缩短了传统的“等待时间”。这样的进步让传
统制片（无论是真人电影还是动画）都有自己的CG专家来为
项目服务，其职能就和电影摄像师和制片设计师类似。制片
人应该要在流程中尽早发挥虚拟美术部门的作用。
制片人也要规划虚拟制片工作的预算，并且将其作为环境或
场景去计算，就好像我们在实体制片中为地点规划预算一
样。实体制片中规划预算的复杂之处在于如何在一个地点或
区域拍摄出多种场景的效果。这和虚拟制片略有不同，因为
我们的计算不仅要基于环境，还要考虑资产。
相较于虚拟制片，传统电影领域是否已经陷入流程过于分化
的桎梏中？
Storm：是的，这就是为什么如今的制片流程中出现了许多
的复用和浪费。人类的天性就是喜欢待在舒适区，创新往往
需要勇气和包容。
在不久的将来，电影制片过程中的资产会在准备阶段就创建
出来，并且在最终图像中使用。这些资产可以经过修改后用
于其它的辅助内容，包括AR、VR和短片内容。想象一下这
些初始资产中可以诞生多少内容和故事吧；想象一下大家不
用从头开始制作资产可以节省多少的工作时间吧；想象一下
创意人员可以利用初始IP在沙盒中掀起怎样的头脑风暴吧。
作为制片人，我的工作就是提醒大家我们想要合作创造出令
人惊叹不已的内容。次世代的制作人将更加多元，开启内容
创作和传播领域最具颠覆性的时代。
18
19
 第二章：虚拟制片工作流程

第二章

虚拟制片
工作流程

虚拟制片是一套包罗万象的技术，
它始于开发工作，并可以持续运
用到最终产品。它架起了现实和虚
拟世界之间的桥梁。另一个关键
是在整个制片流程中开发出可复
用的资产。虚拟制片还将传统制
片前期、制作、后期的阶段划分
整合成了一个连续的工作流程。

20
 远程合作
远程合作是虚拟制片工作流程的一部分，可以打破参与者所处地理位置的限制。
通过本地局域网（LAN）或网格虚拟私人网络（VPN）你就可以无缝使用远程
合作。其实之前电影布景已经有很多远程合作的先例。例如在1993年，Steven
Spielberg在波兰执导《辛德勒的名单》，同时又通过当时相对基础的卫星电视连
接来审核《侏罗纪公园》的剪辑和视效。

在疫情时期，远程合作的需求比以往更加突出。而游戏引擎的设计目的之一就是
为了去中心化，在目前的局势下多人会话的需求越发明显，游戏引擎带来的益处
也显而易见。虚幻引擎本身就是许多组件的集合，以下为这些组件的介绍。

组件
Perforce Helix Core

在一个项目中，远程合作可能需要数十位甚至数百位美术师和技术人员的努力。

“
任何尝试过文档合作，并用电子邮件或线上模式合作的人都知道，要处理同一
个项目的不同版本可谓极具挑战。虚幻引擎就通过支持版本控制软件Perforce
Perforce让合作更加轻松。它 Helix Core来解决这个问题。
让我们可以更方便地找到需要
去做的资产，并且你可以看到 在较为传统的视效管线中，创意工作往往是通过单个镜头和线性流程实现的。动
别人是否也在做这个文件。 画师会将他们的成果交给灯光师，然后灯光师再交给合成师，如此下去，并且所

”
有人都不知道场景的具体情况。这样的工作流程就让追踪工作和版本控制极具挑
战，也会耗费大量的时间。而如果使用虚幻引擎，因为动画、灯光、摄像机移动
Philippe Rebours 序列以及其它场景部件都在同一个项目中，所以每一位合作者都可以看到场景并
Epic Games技术客户经理 修改序列的任何地方。

Perforce可以自动追踪和管理所有这些改动。它能够解决个人作业之间的所有冲
突，并通过检入检出IDE的方法保留完整的版本历史，你可以查看和恢复对项目的
任何改动。

Perforce的另一大好处就是对知识产权的有力保护。Perforce还具有高度扩展性，
因此项目可以在同一个平台上快速从预制片阶段转移到完全制片阶段。Perforce
从项目管理的层面精简了远程合作的流程，让合作更加灵活高效。虚幻引擎也整
合了其它版本控制系统，你可以根据自己制片的配置进行调整。

21
 第二章：虚拟制片工作流程

安全考虑

保护知识产权是制片工作的一大优先事项，牢靠的网络安全对远程合作而言至关
重要。许多现有的产品和服务都可以为你安装和配置防火墙、VPN以及其它网络
安全措施。而每个设施可能都有独一无二的网络拓扑和协议，因此，协调已有IT
资源和基础设施是远程会话中IP安全和拓展性的重要保证。

寻找资产

要创建在项目中使用的资产，通常需要派遣大量人员游览许多地方，才能找到想
要的地点或参考图像。而在许多情况下，已经存在的资产要么可以在项目中继续
发挥原来的作用，要么可以经过修改来契合项目。使用已有的资产可以节省大量
的开支和时间，同时减少项目差旅和对现实环境造成的影响。

这些资产可能包括模型、参考图像、纹理等等。它们可能通过摄影测量法和
激光雷达创建，可能借由参考图像绘制而成，可能完全通过数字化打造，也
可能是组合了以上的方法。专门为虚幻引擎设计的资产通常都在细节和纹理
上经过调整，具备实时呈现的性能。虚幻引擎的资产提供方式包括虚幻商
城、Quixel Megascans库和Sketchfab。

22
 虚幻引擎中的远程合作

虚幻引擎提供了两种主要的远程合作方式：
多用户编辑和协作查看器模板。这两种技术都可以提供高度自定义的方法，让同
地区或世界任何地方的团队都能密切合作。

多用户编辑会通过LAN或VPN链接虚幻引擎的多个实例，甚至共享同一个项目。
虽然最初设计它的目的是用于同一地点的工作（例如LED舞台），但如今多用户
编辑还可以通过网格VPN实现跨网络运行。它可以提供最高程度的合作，因为每
位参与者都可以完全掌控项目。

协作查看器模板是一种简化的远程审核和合作工具，适合不熟悉虚幻引擎的用
户，他们只需打开一个执行文件就可以运行程序，无需安装虚幻引擎。模板中的
设置可以让参与者通过网络共享场景，在会话中，参与者可以在这片3D空间内操
作各种元素并添加注释。协作查看器模板还具备用于服务器或主机配置的所有设
置，并且拥有额外的功能，可以针对任何工作流程实现自定义。要了解该流程的
运作，请查看此视频。

亲临现场

在这个需要保持社交距离和远程合作的时代，我们经常需要考虑哪些人员应该亲
临现场，而不是远程合作。谨慎的协调和规划可以尽可能地避免亲身到场，同时
提供所有必要的功能来创作内容。许多常规的前期工作，例如采景、场景设计、
影片审核等等，都可以通过线上视频会议或多人会话有效地处理。

视频村与视频会
“视频村”是传统制片中比较常见的一种场景元素，也就是将摄像机中的内容通
过一系列管线传输到中心的观看位置。远程合作极大地拓展了视频村的概念。诸
如Zoom、Skype和Webex等视频会议解决方案与远程工作流程相结合，提供了一
系列功能，让积极的参与者和制片支持都可以彼此连接，从而在共享场景中深入
了解具体的情况。

23
 第二章：虚拟制片工作流程

“
这样一个人的探索就可以
和其他人共享，并且可以
在足不出户的情况下随时
查看布景和实地位置。

”
Robert Legato
ASC Visual Effects
视效监制/电影摄像技师

图片由Diamond View Studios提供

工作流程
虚拟采景

虚拟采景是一种将虚拟地点或场景可视化的方法，从而让剧组成员可以探索场景
空间并制订拍摄计划。它可以提供一种共同的体验，让你可以通过即兴、合作的
方式来完成虚拟镜头的设计，就像制作人在实地布景所做的一样。这种互动通常
用HMD（头戴式VR显示器）完成，不过也可以使用平板或计算机屏幕来做。虚拟
采景包括可重定位的道具、有镜头的虚拟摄像机以及摄像机支持，从而在无需实
际搭建的情况下准确地规划镜头、确定场景搭建或规划整体的顺序。虚拟采景让
电影制作人确定场景的哪些部分需要搭建出来，用于拍摄他们想要的镜头，同时
也可以减少或避免搭建摄像机完全不会拍到的区域。目前许多项目都已经在前期
流程中运用虚拟采景技术，例如《权力的游戏》和《狮子王》。

24
 虚拟电影摄像

虚拟电影摄像会模拟现实世界的摄像机特征，包括光学属性、摄像机格式、长宽
比、摄像机移动等等。摄像机的移动可以由多种方式生成，包括通过传统的制作
关键帧来程序化生成、使用多种输入设备（例如游戏控制器）生成，或者使用虚
拟摄像机（VCam）生成。使用VCam时，引擎的摄像机移动会成为现实世界中代
理对象（例如实体摄像机或任何被追踪的对象）的父项。VCam是一种完美的组合
方式，可以融合实体对象打造的真实感和虚拟世界中无限的视觉可能性。

VCam追踪有多种多样的解决方案。虚幻引擎就包含一个虚拟摄像机的插件，再配
合免费的URemote应用，你就可以使用iPad来控制引擎中电影摄像机的移动和旋
转方向。还有一种成本效益较高的方法是使用HTC Vive Tracker，它可以连接虚幻
引擎的摄像机和对象。

接下来就是使用专业光学和编码器驱动的追踪解决方案，例如MoSys、Ncam、
OptiTrack、StYpe和Vicon，或者使用多种输入设备设计自定义方案。所有这些的
目标都是为了将人为的摄像机操作转换到虚拟世界中。这些捕捉技术主要为两个
目标服务：一是为虚拟摄像机提供更真实的移动；二是让电影摄像技师和剧组成
员可以通过电影摄像完成直接的、一对一的互动。

数字人类/创建人群

数字人类可以为可视化和最终图像的多种目标服务。在前期预览中，数字人类可
以用来展示摄像机画面和移动，从而制作特技和草图。在制片过程中，数字人类
可以通过合并来形成人群、数字替身、特技工作和动作设计，甚至可以作为主
角。

而在远程合作领域，使用虚拟人类还可以开辟额外的维度。表演者可以通过动作
捕捉套装将自己的动作传输到远处的地点，人群场景也可以轻松模拟。使用虚拟
角色替换表演者可以提供相似的视觉效果，同时降低表演者本身的风险。

25
 第二章：虚拟制片工作流程

虚幻引擎推出了一个数字人类项目来展示它在此领域的部分功能。最近虚幻引擎
的改进更新也包含了毛发渲染和模拟，从而进一步增强了数字人类和人群的逼
“
在深度学习技术的驱动下，
逼真的数字人类和角色很快
真度。数字人类可以通过添加关键帧或模拟动起来，或者直接通过表演捕捉驱 就会以虚拟助手和Deepfakes
动。Live Link Face应用可以作为面部动画的入门应用，如果你要追求更好的表 等各种形式来到我们身边。
演效果和保真度，可以选择Cubic Motion和3Lateral（均已加入Epic Games大家 我们与技术互动的方式将
庭），它们可以提供专业级别的面部追踪和数字人类解决方案。 发生天翻地覆的变化。

远程工作室设施

为了遵守疫情期间严格的安全标准，许多工作室已经转为远程工作模式，大多数
工作人员都已经居家办公。远程工作室会使用视频会议和虚拟制片技术来尽量给
”
Darren Hendler
数字人类小组总监
Digital Domain
员工完整的、面对面的工作体验。虽然是新出的安全标准，但广播工作室在很久
以前就已经部署了远程设备（例如机器控制的摄像机和通话系统）来播报新闻和
体育赛事。从美国和全球规定的制片安全新标准来看，使用远程工作室的趋势已
经非常明显。

图片由Digital Domain提供

26
 访谈：
视觉效果 - Robert Legato, ASC

视觉效果监制Robert Legato, ASC是虚拟制片领域的先锋人物。他参与的作品包括

《泰坦尼克号》、《阿凡达》、《雨果》、《奇幻森林》和《狮子王》。Legato的
作品曾三次摘得奥斯卡奖，两次荣获艾美奖。

27

传统项目和使用LED幕墙的虚拟制片项目在操作上有什么区
别？
Robert Legato, ASC：首先要解决的问题就是搭建LED幕
墙的初始开支，因为现在不是每个人都能做到。不过当LED
幕墙搭建完成之后，大家就会清楚地意识到它可以为制片工
作带来诸多优势。如果你已经搭建了LED幕墙，就可以使用
完整的游戏引擎模型开始数天的拍摄工作，灵活性和经济方
面的优势显而易见，而且拍摄工作也会更加方便。
它将代替一次性的布景，避免造成各种浪费。一个只拍摄一
两天的一次性场景，可能要花上数周的时间去搭建才有足够
的舞台空间，还要预配置灯光和舞台装饰。而在拍摄完成之
后，你还要等到确定所有需要的镜头都拍摄完毕才能把它拆
除。而把布景和所有装饰设备都归还之后，你又要为下次
拍摄再重复这个流程。你可能需要花费六周的时间去租赁舞
台，然后只为完成一两天的实际拍摄工作。
现在你可以在计算机上搭建出同样的场景，并且拥有照片级
的逼真度。你依然需要之前做蓝图和立面图可视化的人才，
他们要运用你用来搭建标准电影布景的图纸来虚拟布景；你
还需要同样的布景装饰师和美术指导来选择你需要的陈设，
还需要经验丰富的人员来给布景打光，不过他们现在都可以
选择计算机这种不同的媒介，并得到同样的最终结果。如果
你有多个准备好拍摄的布景，完全可以在同一天进行拍摄，
而无需担心要在看到样片之前来回赶场。如果你在几个月以
后又想起了这个布景，想要补拍或者有了新的想法，也可以
随时回到这个场景。
还有一个好处就是你可以在几个小时内身处五个不同的布景
中，和档期只有两三天的演员完成拍摄工作，而且品质和你
搭建所有实体布景或地点别无二致。这些都让你可以更快地
制作出高品质的电影。
那些设计实体布景、布置陈设并完成各种工作的美术师完全
可以在虚拟场景中继续发挥同样的作用。你依然需要行家好
手来装饰布景、打光和拍摄。相应的职责其实和传统制片类
似，区别就是你使用的设备。
访谈：Robert Legato
最近我们发现，大家其实可以很好地进行远程合作。工作人
员完全可以在自家的客厅用笔记本电脑合作，为场景创建内
容。
你能说一说虚拟制片需要的新部门吗？
Legato：其实差不多，你也可以进行组合。虚拟美术部门并
不局限于“虚拟”，它是实际的美术部门。他们可能要搭建
部分或全部的布景，或者说全都用虚拟的方式去做，但依然
需要制片设计师在计算机上完成设计。
即便是老派的设计师也开始采用这种方式，因为确实可以让
工作更加方便。现在运用虚幻引擎这样的游戏引擎，就能够
为最终输出设计资产。
摄像机部门也是如此。之前在拍摄《奇幻森林》时，我们会
对所有内容进行前期预览，甚至包括毛克利的动作捕捉。我
们建立了虚拟摄像机部门，后来就完全成为了摄像机部门。
我负责影片的第二工作组，这样就可以轮流推进，我在我的
布景里拍摄，Jon Favreau和Bill Pope在他们的布景里拍摄。
拍摄《狮子王》的时候，我们和Caleb Deschanel也采用了相
同的方法，并且为摄像机部门开发了虚拟工具。Caleb从实景
片场带来了一个实体的摄影轨道。我们还有一位优秀的摄像
机稳定器操作员Henry Tirl。
而我要为Michael Bay做电影的前期预览。他运用了自己通
常的执导风格，对摄像机的放置、镜头选择、摄像机的移动
都造成举足轻重的影响。他当时立即就采用了远程合作的方
式，因为理念是一样的。他可以在VR中拿着手柄，四处走
动，用自己想要的方式对准摄像机，然后开始移动物体。他
说：“这和我想要的实景镜头或者说我想要在实景中做的事
情完全一样。”
28
 传统视效人员和实时专家是否很难统一相关的术语？
Legato：这对视效部门来说是个普遍的挑战，因为各部门
可能并不熟悉其他的部门。而当他们把工作的接力棒交给下
一组工作人员时，可能并没有想过接手的同事会遇到的问题
和最终的解决方案。大多数操作摄像机的人员都不会做剪
辑，但如果你会剪辑就可以让自己成为更好的摄像师。即便
你不是一个优秀的剪辑师，你也依然要知道为什么要拍摄某
样东西，要怎么做才可以让剪辑师更方便、更有创意地构建
场景。
我在搭建场景时还是比较严格的，因为即便它是以视效为
主，但美术师可能没有拍摄过任何实体的东西，所以他们搭
建的场景不一定会去利用自然实体拍摄提供的优势。
此外，如果视效技术导演设计了一个他从未用过的前期预览
工具，那么它可能会造成阻碍，而不是帮助摄像师。因为他
们可能要以一种完全陌生的方式去工作。这可能会干扰和阻
挠原本的创意过程。
所以说关键是要有传统视效的基础，然后做好准备去拥抱创
新和新技术。
Legato：是的，你需要有开放的思维，不要对技术充满畏
惧。所有制片行业的人士都应该对电影主题相关的知识有一
定的了解。你需要去学习那些如果你不拍某部电影可能永远
不会涉足的领域。我参与拍摄《阿波罗13号》的时候，就学
了很多航天机械的知识，为的是更好地完成视效场景的工
作。在拍《泰坦尼克号》的时候也是一样。
Caleb是一位十分乐于拥抱未知的美术师，并且会让相应的
知识为自己所用，就好像中间完全没有阻碍。你会很想和这
样的人共事——他们既对传统了如指掌，又愿意去拥抱新的
工具，打造出永不过时的画面。
29
虚拟制片是如何发展演变的？
Legato：我觉得虚拟制片起始于我在拍摄《飞行家》的
时候，当时我想出了虚拟电影摄像的概念，并告诉了Jim
Cameron。之后他就决定用这种方式来制作《阿凡达》，因
为这样他可以“进入”计算机，而不只是盯着屏幕。虽然当
时还不可以凭借VR进入场景，但已经非常具有潜力，并且可
以让Jim将计算机摄像机带入舞台片场，从而更自由地操作
摄像机。
我们创建了一个混合系统，你可以使用实体摄像机四处走
动、在地上做标记、架起道具架，并且创建一个虚拟布景来
模拟实景。你可以用木头搭建互动布景部件以及各种道具，
从而构建一个与CG布景对应的实体影棚。
每部电影我都做了前期预览。例如我在参与拍摄《雨果》的
时候就有一个前期预览工作组。在拍摄场景时，我会比主要
工作组的摄像机领先一两个镜头，设计如何获得最终的效
果。我可以完整地看到布景，而不只是舞台上的某个部分，
从而可以更好地设计镜头，然后分解成各个部分，同时也可
以了解最终的镜头是什么样子。
拍摄《奇幻森林》的时候，我们也是用虚拟布景这么做的，
非常像《阿凡达》，还对虚拟电影摄像做了一些改进。不过
我们依然只能通过摄像机的通道去查看虚拟的世界。
然后Vive头显面世了，我们完全重新设计了《狮子王》的VR
拍摄体验。现在实体采景已经很熟悉VR采景了——我们会
按照现实世界构建出整个场景，然后在其中四处走动，而你
的大脑很快就会适应，你也会适应那种环境。
即便你需要在VR中做实体采景，你也不需要把所有人都派到
那些繁华的大都市，哪怕大家不在一个城市，也可以在VR中
工作。他们可以四处走动，导演可以过去告诉他们：“在阶
梯旁边放一个吊架，然后往回看，这个镜头应该是这样，这
里我想要那样。”

图片由Paramount Pictures提供
导演甚至不用离开自己的部门就可以开展一场信息丰富、极
具价值的合作会话。你可以在游戏引擎中构建所有资产，然
后从一个地点跳到另一个地点，和所有主创一起讨论这些资
产。最后当你抵达地点之后，你会清楚地了解所有东西该怎
么做、在哪里，以及该如何高效规划每日的工作。
基于远程合作的需求，你如何看待虚拟制片的发展演变？
Legato：我发现远程工作非常有趣，因为有时你不需要别人
一天12个小时待命，却只为提供几分钟的帮助。你可能只需
要他们一个小时的时间。通常来说，如果你参与的那个舞台
工作强度很大，那你会让所有人都过来。但实际上你只需要
召集一部分人，让对方进入你的计算机就可以解决问题——
他们不用赶去自己不方便去的地方。你也不需要让30个人在
舞台边候场。
这可以让所有人都有事可做，而且他们也不用跑到温哥华、
蒙特利尔或伦敦——他们不再需要去任何地方。他们可以在
自己觉得最舒服的地方，并且依然能够顺利地工作。我之前
访谈：Robert Legato
会用iPad和谷歌环聊来制作电影需要的镜头。我可能会
说 ：“我们需要这个人来解决一下我们遇到的这个问题，
这里好像不太行。”然后那个人就会出现，看着我的屏幕
说：“噢，我知道哪里有问题，你应该如何如何。”
然后对方就会解决问题，回到他自己在做的事情。这其实
和对方亲自到场的差别并不大，因为如果你是在实际片场
遇到什么问题，你也会把这个人叫过来，对方会在你后面
看一会儿，然后坐下来，施展自己的“魔法”，做完以后
就会离开。不过其实对方也是一直在做自己的工作。我们
在导演的剪辑室和导演开了一个电话会议，我可以看到他
在干什么，他也可以看到我在干什么。我们只要进行一段
15分钟的对话，而不是两个小时的会议。
不是说你再也不需要和别人见面交流，只是说你完全可以
远程进行规划和做前期预览工作。你完全可以用这种方式
制作动画电影。你还可以在汤姆·汉克斯有档期的时候轻松
派遣一小组音效人员去他的住处给他录音。你可以远程监
控会话，录好他的台词，然后和动画师合作，其他环节也
可以远程合作，例如色彩校正等等，所有人员不必都挤在
一栋建筑里。我觉得这也是它带来的一个好处。
现在很棒的一点是，电话会议和VR应用比较普遍。如果
所有人都采用这种方法，就可以避免很多不必要的长途跋
涉，不用搭飞机去开三个小时的会。当初和Marty一起合
作拍片的时候，光是我飞到纽约下榻酒店的差旅开支就不
少。然后，我和他只见了三个小时就又打道回府了。我花
了三天宝贵的时间，只为了一场三个小时的会面。我想疫
情正在迫使我们接受这个概念。而它在特殊时期下凸显出
来的种种优势，也确实让我没有理由再完全按照原来的方
法去做了。
30
 访谈：
数字人类 - Darren Hendler

Darren Hendler目前担任Digital Domain数字人类小组总监，负责研究和领导新技

术的发展，创建出照片级的角色。Hendler参与的作品包括《加勒比海盗》、《最
终幻想7》、《沉睡魔咒》、《美女与野兽》以及《复仇者联盟：无限战争》。

31
 访谈：Darren Hendler

能介绍一下你在Digital Domain的职责吗？ 当时我们并不需要构建游戏，只是想要一些看起来很棒的内

容。所以我们开始将现有的数字人类导入引擎，并开始试验
Darren Hendler：我的主要职责是做电影拍摄的视效工
外观、品质和灯光，从而实时查看相应的反馈。那是一段令
作。我做过大量的虚拟制片，尤其是将演员变为数字角
人大开眼界的体验，尤其是在角色身上运行部分数据的时
色。在拍摄《复仇者联盟：无限战争》的时候，我主要负
候。
责把演员Josh Brolin变成灭霸。我还参与了许多电影的拍
摄工作，我也很喜欢；当然现在主要是从事实时领域的工
现在，虽然虚幻引擎中生成的单帧画面比不上五个小时渲染
作。
出来的效果，但它的速度可快多了，而且结果其实也非常接
近。我们已经向许多工作室都展现了这些版本。它们的外观
数字人类是虚拟制片这个神奇领域中关键的一环。我们会
优秀，又可以使用实时虚拟制片的性能优势，从而直接可以
尝试准确捕捉演员的表演，从而驱动他们在影片中的生物
将其作为代理开始编辑工作。
或角色。我们会经过一整套步骤来扫描演员的面部，获得
超高分辨率的图像，包括毛孔级的细节和面部细微的皱
我们无法从线下系统中获得百分之百的面部表演，但现在我
纹。我们甚至还会扫描出演员面部血液的流动，从而更好
们发现了一种方法，片场的电影制作人和演员可以看到这些
地呈现出演员说话和活动时的面部效果。
版本的内容，然后说：“好的，我可以看到这个是怎么表演
的了，我可以看出这样在角色身上是否可行。”
虚拟制片的难点在于如何呈现演员自然的表演。现在主要
运用的技术就是头盔摄像机，并在演员的面部和身体做好
动捕标记，或者使用加速计套装捕捉他们的身体动作。这
套配置可以让演员在布景中与其他演员现场合作、互动、
表演，所有都是现场工作，这一点对表演非常重要。

最大的问题是输出数据的品质，身体动作还好，主要是面
部动作。毕竟表演的表现力主要在演员的面部。坐式的捕
捉系统可以获得更高品质的数据，但遗憾的是，这种姿势
最不自然，演员的面部无法配合身体的动作。所以最近虚
拟制片领域便开始改善这个部分。

虚幻引擎进入了管线的哪个环节？

Hendler：目前为止，所有东西都是线下做的，身体动作
会用到某些实时工作方式。大约两三年前，我们就在探索
虚幻引擎可以发挥什么作用。它可以获得接近我们在影片
中想要的品质，所以我们就在考虑用不同的思维方式可以
完成怎样的突破。

图片由Digital Domain提供

32
 将人类面部映射到非人类角色身上有哪些挑战？毕竟两者的
特质不总是一一对应的。
Hendler：我们在这方面可谓大获成功。首先我们从演员身
上获得清晰的捕获数据，然后标出骨骼和构架。接着我们再
标出另一个角色的构架，随后就可以运用相应的技术把数据
从一个角色映射到另一个角色身上。我们会让演员做出一系
列的动作、不同的表情和各种情绪。然后我们会观察这些应
该如何在角色上呈现出来并做出调整。最后系统会从我们的
更改中学习，在获得接近特定表情的面部输入数据之后，系
统会告诉网络应该如何调整角色并获得特定的观感。
有时候演员甚至都不需要穿上动作捕捉套装。我们可以移动
现场主要工作组的摄像机，拍摄他们的身体和面部动作，并
把动作转移到数字角色上。这样我们就可以现场呈现出角色
33
的情绪表演。这项技术正在快速发展，并且未来会带来许
多工作方式上的变化，因为我们可以从更好的预览中获得
诸多益处。
你是如何创建逼真的眼部动作的？
Hendler：一开始我们和演员约了一个技术日，然后捕捉
了所有不同的扫描数据，包括捕捉眼部扫描和眼部动作范
围。我们使用了4K或8K的摄像机，并且直接拍摄了演员的
眼部，接着我们会让演员做眼部范围的动作，做一个环视
测试。我们会尝试用一种类似的方式为数字角色导入尽可
能逼真的眼部结构。
灭霸就是一个绝佳的例子。我们想要获得眼部的大量曲率
和形状数据，以及相关的细节校正。这方面做得越细致，
就可以越快达到更好的眼部表演。
图片由Digital Domain提供
 访谈：Darren Hendler

我们也开始从新的捕捉技术中看到了成效。在很长一段时间
里，头盔式捕捉系统已经抛弃了眼部数据的捕捉。现在我们
能够以每秒60帧（有时会更高）去捕捉细微的移动和目光
投射。我们可以获得丰富的数据集并结合更新的深度学习技
术，甚至可以在未来使用Deepfake技术。

我们在做的另一件事是身体和布料的形状。我们开始生成骨
骼和布料的实时版本。我们会通过一套高端设备来运行采样
的捕捉数据，从而模拟出骨骼和布料。接着我们可以通过深
度学习实时运行90%的模拟效果。我们可以在虚幻引擎中运
行所有这些东西，开始实时完成最终外观。

可以给有意迈入数字人类领域的人才一些建议吗？

Hendler：我很喜欢ArtStation之类的网站，有许多学生和
美术师会在那里创作非常棒的作品，并且讨论他们是怎么做
到的。那里有很多的课程，例如Gnomon等等。还有许多线
上资源，你只要有ZBrush和Maya就可以开始构建自己的数
字人类，或者做自己的数字自画像。

你还可以将这些角色导入虚幻引擎。即便是我们也会转入虚
图片由Digital Domain提供
幻引擎，因为它真的非常好用，它包含了你已经可以使用的
数字人类资产，你可以立即通过雕刻工作来完成角色的实时
版本。
我们也看到有很多关于如何在疫情期间完成虚拟拍摄的讨
论。我们已经在做项目，并且通过Zoom会议获得了大量的
比较棘手的是某些动作，不过你可以将iPhone的ARKit连接
表演数据。我们也构建了自主的人类代理，让会议之类的流
到虚幻引擎。这个流程其实已经众所周知了，现在你即便在
程显得更加真实。
家都可以制作出逼真渲染的脸部说话动作。哪怕是在五年
前，要想做到这一点都需要花费大量的时间。
整个过程之所以如此顺利是因为我们会和演员密切合作，而
演员也理解这个过程。我们会为你构建一项工具来呈现你的
你认为数字人类接下来的发展方向是什么？
表演。我们只要把所有事情都做好，你就可以作为数字角色
Hendler：你会看到YouTube和Instagram上涌现大量的虚 实现表演，这一点真的非常神奇。
拟偶像。我们之前已经看到过静态的，很快他们就会开始动
起来，开始表演。你可以将现场的演员转换为人造人类、生
物或角色，并拍摄视频博客。虚拟制片会在这个全新的领域
迎来升华——提供内容。

34
 访谈：
数字人类 - Nathalie Bergeron

Nathalie Bergeron目前担任Cubic Motion的运营和业务发展副总裁，也曾在

Foundry、苹果等多家技术公司效力。她主要负责统筹美洲的客户关系、战略合作
关系、创意和技术团队计划。

35

可以介绍一下Cubic Motion以及它是如何契合虚幻引擎的
吗?
Nathalie Bergeron：我们和Epic已经有多年深厚的合
作关系，我们一起构建了许多具有高保真度的数字人类
演示。2018年GDC的Siren就是一个很好的例子。我们还
和Ninja Theory有密切合作。我们有许多服务客户的工作
都要使用虚幻引擎。去年，Cubic发布了自己的首款产品
Persona，这是一套用于现场表演捕捉的硬件和软件解决方
案。
Persona是一套现场表演捕捉系统，你可以用它将演员的剧
本或非剧本表演直接转换到数字角色上。我们也很高兴能和
3Lateral和Epic团队合作完成项目。
可以更详细地介绍一下Persona吗？
Bergeron：我们一开始举行了一场培训会议，了解到演员
和剧本要求的动作范围。然后我们获取这些数据，并为这项
资产构建了一个定制的追踪器和解算器。最后再将相应的配
置文件返给客户。
硬件部分我们用的是头盔，并且搭配了前方和侧面的头戴式
摄像机系统。侧面的摄像机可以捕捉到嘴唇和下巴的动作，
如果只用一个前方的摄像机是比较难捕捉这些动作的。然后
还有一个小型的佩戴式PC，演员会把它戴在腰带下面，它可
以实现实时追踪和解算。
这个佩戴式的PC会把捕捉数据发送到台式PC，这台台式PC
会运行Persona并将其作为监控应用程序，接着你就可以把
现场表演的数据直接流送到虚幻引擎。如果你不想现场查看
角色，依然可以使用Persona完成线下捕捉，但是大多数情
况下都会使用现场捕捉。当你用账号登录系统之后，就几乎
可以实现实时切换你的角色。
访谈：Nathalie Bergeron
这个系统也是完全无线运行的，所以地上并没有各种电缆，
而演员自己就是动画工作室。我们同时测试了四个角色，不
过理论上你还能运行更多角色。我们将继续与Epic展开密切
合作，探索接下来要做的工作，然后了解下一代的Persona
应该是什么样子。
如果演员不了解动作捕捉，会不会有学习曲线？
Bergeron：在最近的一次拍摄中，有一位女演员是第一次
做面部动作捕捉，所以她当时很紧张。不过她穿上动捕套装
以后说其实过程非常顺畅。如果你的套装穿起来很舒服，那
么你可能会忘记头上戴的东西，然后融入自己的角色。
我觉得演员穿的动捕套装应该非常柔韧，因为毕竟演员一次
要穿几个小时。不过和我合作过的演员似乎都觉得挺轻松
的，或者说从来没有抱怨过。这对他们的演技来说是个挑
战，而这种技术也更方便演员发挥了。
你们是如何处理非人类面部结构的表演捕捉的？
Bergeron：你要有外形类似的演员和模型。如果你有一个
风格化的角色，可能就需要一点创意。你要来回打磨才能获
得需要的表演效果。这需要你运用技术，并且和其它团队成
员展开良好的美术合作，从而确保你可以获得想要的表演效
果，即便不是人类的表演。
图片为《Apex英雄》在TGA现场推出圣诞活动Mirage’s Holo-
Day Bash | Respawn Entertainment & The Mill
36
 图片为《Apex英雄》在TGA现场推出圣诞活动Mirage’s Holo-Day Bash | Respawn Entertainment & The Mill

相较后期捕捉，现场表演捕捉有何挑战？ 如果团队无法在同一个现实场景中，是否可以通过远程合作
来做表演捕捉？
现场表演捕捉需要非常强大的追踪，从而避免角色表演时出
现断裂。你需要手动训练系统，让它可以识别特定的姿势，
Bergeron：这并不是理想的情况，因为我们肯定还是想要
还要有机器学习工具来训练模型，并将两者混合。
多位演员和追踪可以在同一个地方。但是如果真的别无选
择，我们也还是想继续推进工作。我曾经在zoom上参与过一
如果我们要用的角色完全不是人类，那它就更像是黑盒解决
次12人的拍摄工作。你突然发现有很多人参加，然后还要给
方案。我们会利用机器学习的优势去驱动部分结果。同时还
他们基础指导。例如，如果你要做一段视频剪辑，头就不能
要与客户互动，确保我们得到的是客户想要的结果。
左右乱晃。

37
 访谈：Nathalie Bergeron

由于这个限制，他们就无法放开去表演，不过这样依然可以
获得数据。如果是拍大片，要让所有人都在场可能并非易
事。在最近几周，我们看到部分客户回到了动捕摄影棚，用
头戴式摄像机来完成拍摄。Epic也开始推出下一代的硬件解
决方案。

除了制作电影角色，面部动画还有其它用途吗？

Bergeron：有的，我们的客户也在讨论相应的项目，希望
面部动画可以不局限于电影角色，还可以用来拍摄剧集内容
等等。这样他们可以将这些动画用到其他媒体中。我们也听
到很多目前无法走出家门的人想要成为这种角色。

你对有意迈入数字人类领域的人才有何建议？

Bergeron：现在动画领域非常吃香，也有许多很棒的学
校。大家可以去上那些提供或包含虚拟制片课程的学校。此
外你还要拥有终身学习的能力和强大的求知欲。你要了解相
关工作、多看电影，然后去参加很多的课程来跟上日新月异
的发展。

我之前还见证了好几次开支不菲的硬件革新，当时只有一个
人能操作那台设备；然后突然之间它就普及开来，所有人都
能在自己的笔记本电脑上做视效工作了。我感觉到我们即将
迎来又一次变革，实时引擎会让我们重归合作，未来可期。
图片为《Apex英雄》在TGA现场推出圣诞活动Mirage’s Holo-
Day Bash | Respawn Entertainment & The Mill
你认为数字人类技术接下来的发展方向是什么？

Bergeron：数字人类的品质会不断提高，直到完全模糊了
现实和虚拟的区别。比如我们在《堡垒之夜》举行了社交 其实我们去商场之类的地方就会看到数字人类，而它们还会
活动，我们用的角色就是数字人类。除了游戏和其它实时体 变得更加平易近人。我们打算构建一个数字人类会成为社会
验，数字人类也可以出现在我们的日常生活中。 一部分的世界，大家会很难看出真实和虚拟的区别。

38
 可视化
可视化是虚拟制片最原本的形式，也许目前为止依然是最广为人知的概念。它包
含了制片流程中补足共享视觉部分的所有不同阶段。可视化包括推销预览、前期
预览、技术预览、特技预览和后期预览。

在本节中，我们将详细了解大多数可视化形式背后常用的硬件和软件组件。我们
会了解各大主要可视化工作流程，以及这项工作是如何完成的。最后，我们将继
续采访创意人员和服务提供方，了解可视化的多种类型。

组件
虚幻引擎

虚幻引擎本身就是许多可视化工作流程中一个重要的组件。诚然我们有许多方法
能够实现可视化，例如通过动画应用软件或者更传统的方式——手绘动画、故事
板或动态分镜等等，但没有哪种方法可以像虚幻引擎这样同时具备速度、视觉保
真度、建立虚拟和现实世界之间一一对应的关系，并且能够达成深度合作。

虚拟摄像机/协同摄像机

虚拟摄像机（VCam）和协同摄像机是许多可视化技术中都会用到的重要组件。
虽然通常会使用更传统的布局技术来做可视化的运动，但VCam可以进一步提高虚
拟制片的效率。

图片由Nviz提供

39
 第二章：虚拟制片工作流程

摄像机的运动是创建图像的一大关键因素。很少有导演或者电影摄像技师会用基
础的摄像机运动。相反，内行会运用手动摄像机的运动来让图像看起来更加真
实，帮助他们叙述故事，增强观众的临场感。通过将手动的摄像机运动和对象运
动带入虚拟世界，可以更早地获得接近最终创意愿景的图像。所以在前期预览或
前期制作阶段提供逼真的摄像机运动可以更快让创意人员参与进来，也有助于合
作。

“
协同摄像机也是通过将虚拟元素实时合成到实景画面中，从而将可视化技术运用
到虚拟制片中。这对布景拓展或CG角色这类需要在镜头中互动的数字元素来说尤
为关键。它会同时实现摄像机中真人拍摄和CG元素的可视化呈现，从而让电影制 这样主要的好处是可以让摄
作人可以更好地优化镜头框架和整体的构图。 像机操作员和导演可以了解
镜头拍出来会是什么样子。

”
接口

根据不同的可视化类型，我们可以部署多种接口，其中包括动态捕捉套装、头戴
式摄像机、移动设备、追踪系统、摄像机或轨道解码器等等。 Hugh Macdonald
Nviz首席技术创意官
远程会话

虚拟制片通常是使用远程合作技术的领军领域，新冠疫情的影响更是加速了这一
趋势。远程会话的形式有很多，从创意人员用Zoom召开简单的会议到举行远程
多用户合作会话都有。远程团队可以有效地完成可视化工作中所有的关键环节。

已有传统资产的转换

如果你可以对3D模型、纹理以及其它已有的视觉资产进行转换和修改，从而应用
在虚幻引擎之中，就能够给可视化流程带来诸多益处。你无需投入时间和资金重
新制作已有的资产，Alembic、FBX、和OBJ等格式的资产均可以超高的保真度从
其它建模和动画流程导入到虚幻引擎中。即将到来的虚幻引擎5将可以通过更强
大的功能和性能，更好地兼顾模型复杂度和实时性能。

40
 工作流程

虚拟制片的一大原则就是将可视化从制片的中间阶段前移到开始阶段。在新项目
的一开始就拥抱可视化，从而让创意人员可以更早地参与其中，并且通过更便捷
的互动和迭代来实现更紧密的合作。可视化将成为更加清晰的共同语言，将项目
中所有不同元素整合到一起。

推销预览

推销预览顾名思义，通常用于让项目得到正式的批准。它的目标就是通过展示项
目预期的观感来博得利益相关者的青睐，从而获得投资，甚至如果项目在中期由
于预算、创意或其它原因无法继续下去，也可以用它来重新推销。《野性的呼
唤》就是一个很好的例子，这个项目先是被叫停，后来正是通过推销预览重新投
入制作。（要了解此项目的更多详情，请查看与Christopher Sanders的访谈。）

而推销预览作为一项工作流程往往最依赖引擎，因为项目在萌芽阶段可能只有很
少的已有资产。不过推销预览依然可以整合许多其它的关键可视化组件，例如
VCam、远程合作和资产转换等等。而虚幻引擎专为端对端产品平台设计，所以你
在推销预览中开发的内容完全可以经过修改以后应用到之后的项目中。

前期预览

在新的实时工作范例中，前期预览现在可以被认为是制片工作的开始。如果你没
有运用推销预览，那么前期预览就是创意人员呈现和分享自己构思的具体图像的
第一次机会，而且其中的资产在之后的项目中也可以使用。过去的前期预览只是
制片工作的一部分，也许会由导演和几位美术师一起在静态的媒介中探索概念，
而实时的前期预览可以提供更加流畅和互动性的体验。

因为图像的潜在品质可以更好，开发的时间也能大幅缩短，更多的部门可以更早
参与其中，包括制片设计、剪辑、美术指导、电影摄像甚至是用于表演捕捉的表
演。通过更早地赋予各个部门相应的灵活性和权力，整体的制片工作就可以更加
高效，在初期阶段也可以有更多的探索，同时成本也比完全制片阶段要低得多。

41
 第二章：虚拟制片工作流程

图片由The Third Floor公司及© 2019 Marvel提供

技术预览

技术预览通常用于为实际和数字镜头制定精确的技术要求，然后再在制片日当天
交给剧组并在设备上操作。技术预览可以用来探索在特定位置的镜头设计是否可
行，以及布置相关的虚拟元素位置。它还可以用来决定需要多少实体布景，需要
多少数字布景拓展。最后，它也有助于制定安全注意事项和降低风险。

特技预览

特技预览是实体特技工作和动作设计的技术预览。因为虚幻引擎可以整合现实世
界的实体模拟，所以在设计镜头时就可以达到很高的准确度。动作设计师可以精
准地设计镜头，并且让特技具有创意性和连贯性。有了实体上精准的特技预览，
特技人员可以重新编排和执行模拟的镜头，从而在制片工作中获得更高效率，缩
短拍摄天数。特技预览可以实现更令人叹为观止的特技，同时确保特技人员有更
高的安全性。

后期预览

后期预览会将制片中不完整的镜头和额外的可视化效果结合起来。可视化的目标
是为所有合作人员提供更清晰的创意愿景，而后期预览是将电影制作人的愿景提
供给视效团队，同时也让剪辑师在做剪辑工作的时候对未完成的镜头有更准确的
理解。

42
 访谈：
可视化 - Kris Wright 与Hugh Macdonald

Kris Wright和Hugh Macdonald目前分别担任伦敦Nviz工作室的首席执行官及首席

技术创意官。Nviz是一家创立已久的可视化工作室，提供的服务包括推销预览、技
术预览、特技预览、后期预览、协同摄像机、图形和最终图像。Nviz参与的作品包
括《开发者》、《第五大道》、《猎魔人》、《游侠索罗》、《生活》、《雨果》
以及《黑暗骑士》。

43

你们将虚幻引擎纳入自己的工作已经有多久了？
Hugh Macdonald：我们将虚幻引擎纳入自己的前期预览
管线已有三年之久。在那之前，我们用的是Ncam自家的渲
染器，也就是MotionBuilder。我们去年做了一个项目，并且
主要是在虚幻引擎中做的前期预览，还用它做了片场的协同
摄像机，包括CG角色的面部动作捕捉。我们还在虚幻引擎的
Composure合成中制作了后期预览。
是什么原因让你们开始采用虚幻引擎来做虚拟制片？
Macdonald：因为虚幻引擎中已经有可用于前期预览的资
产，而且还可以提供视觉保真度、方便的操作和控制，并
且还能满足面部动作捕捉的需求。我们感觉虚幻引擎就是
项目的最佳选择，因为Kim Libreri拥有虚幻引擎的制片经
验，Kim很了解视效。Epic这家公司了解不同的领域和挑
战，拥有一位完全了解我们这个行业的首席技术官也让我们
对引擎的未来充满期待。
你通常会用协同摄像机去做哪些可视化工作？
Macdonald：在百分之八十的情况下都会用于做场景。也
有可能用来做背景中的生物或者载具，但大多数是做场景。
这样的好处在于可以让摄像机操作员和导演了解镜头拍出来
会是什么样子。
你可以在前景拍一个角色的镜头，然后在后面加许多的CG建
筑。如果没有协同摄像机，你可能要剪掉建筑的顶部或者把
它缩小，才能把它放到一个镜头里，确保看起来没有问题。
关键是片场的所有人都可以了解这个镜头在之后会是什么样
子，而不仅仅依靠前期预览和故事板。
要使用协同摄像机需要什么类型的数据？
Macdonald：我们记录了所有摄像机的数据和追踪数据，
其中包括摄像机在场景中的位置，这样你在回放到原片的某
个时间点时，就可以知道摄像机的位置以及如何协同动画。
我们还制作了视觉效果的样片，从而让剪辑师去拼接带有渲
染CG的拍摄画面并交给导演确认。
访谈：Kris Wright和Hugh Macdonald
图片由Nviz提供
你是怎么追踪布景本身的？
Macdonald：布景不需要使用激光雷达或预扫描。我们会
使用Ncam来动态构建一个点云，然后你可以在虚拟世界中
调整现实世界的位置，从而确保所有的东西都符合CG内容。
它比激光雷达的点云要稍微差一点，但也能有很好的配合。
在最近的一个项目中，我们只有一位合成师，他会从现场
团队那里得到CG背景，然后从剪辑师那里获得底片，并在
Nuke中把它们拼凑在一起。总体而言，他会负责处理编辑每
日想要的片段，然后提供品质更好的图像。
Kris Wright：因为这是一个开支很低的后期预览，所以对
剪辑工作来说非常重要。有些后期预览甚至会一直保留到最
后的流程，所以这种方法可以将数据和工作流程放到下游，
帮助剪辑工作，因为它不仅是现场的可视化。
切换镜头会对协同摄像机造成怎样的影响？
Macdonald：如果使用Ncam，镜头的校准过程将得到全范
围和聚焦范围中所有的畸变和视场，包括所有的镜头呼吸。
如果你切换不同的镜头，它就会采用该镜头需要的设置。如
果制片使用了全新的镜头，那我们需要花大概二十分钟去校
准。
44
 图片由Nviz提供

你们的工作流程是如何去适应不断增长的远程合作需求的？ 你们认为自己运用虚幻引擎的工作流程在未来会如何进化
发展？
Macdonald：目前我们可以为摄像机操作员、摄影指导或
导演所在的位置配备一台iPad，但是所有运行会话的硬件
Macdonald：未来虚幻引擎5会带来令人惊叹的视觉保真
都在我们的办公室里。你可以使用虚拟摄像机系统技术来
度，可以说是又向前迈进了一大步。越来越多的人会拥抱
控制他们所在位置的系统，然后让其他人员观看会话，同
镜头内的视觉效果，就像拍摄《曼达洛人》时一样，它会
时讨论布景问题。
变得更加平易近人，也会有更多的制片方会去使用它。我
们已经看到许多影片和剧集开始使用这项技术。
我们认为，即便没有现在的隔离状况，远程合作依然非常
重要。例如有一次，我们的客户无法亲自去我们的办公
更多现场活动的制作也会用到它，就比如演唱会。目前我
室，因为他们还要在其它地方拍摄其它东西，所以很麻
们已经认识到它在灯光和几何体方面的视觉保真度。人们
烦。为了远程与客户以及其他人员（包括特效监制、前期
会越来越多地运用虚幻引擎来打造无缝的效果。
预览监制、剪辑师等等）沟通，我们一起观看了会话并且
能够说出自己的看法，了解目前工作的进展，这让我们有
Wright：我们很高兴看到的一点是，它已经具备了一定的
了更好的灵活性。
用户基础。我们发现虚拟美术部门开始拥抱这项工具，制
片设计师现在也在使用VCam在前期预览之前展现布景。
Wright：目前我们看到的解决方案就是大家在Zoom会议
我甚至听说剧组的关键人员会让大家参加虚拟会话并尝试
或Google Hangouts上说：“噢，你能把摄像机稍微往这里
摆放资产。Epic在这方面做得非常好，不仅如此，他们还
移一点吗？就在这里。”但我们想要更进一步。现在每个
看到了更远大的前景：除了图像的保真度，随着实时领域
人都有iPad，他们可以用它拍摄所有可视化和前期预览的
和迭代流程的发展，这项工具还有助于在制片的各个环节
内容。我们想要尽量减少出行，尽可能多地使用软件。也
做出决策。
就是说，你打开手机，我们给你一个软件让你去下载，让
所有人都可以在虚拟的视频村中查看它。

45
 访谈：Christopher Sanders

访谈：
推销预览 - Christopher Sanders

Christopher Sanders执导的作品包括《星际宝贝》、《驯龙高手》以及《野性的
呼唤》，他还曾在多部迪士尼动画片制作中担任角色设计、故事板美术师和视觉开
发美术师，包括 《美女与野兽》、《阿拉丁》、《狮子王》以及《花木兰》。
在他执导的真人实拍处女作《野性的呼唤》中，Sanders运用了突破性的前期预览
和表演捕捉技术，并在Fox VFX实验室的鼎力相助下，打造出了一只完全由CG动画
制作的小狗巴克。

46
 相较于动画片，在真人电影中指导表演捕捉有何区别？
Christopher Sanders：我是做传统动画起步的。当时我来
到迪士尼，开始使用名为CAPS的系统，其实就是计算机着
色和绘制。在那时，美术师还是用铅笔去画图、清稿，唯一
的区别就是这些框架会被扫描，然后到计算机中着色。所以
我经历了从传统手绘框架到计算机绘制扫描图，再到全CG模
型。我觉得非常不可思议，因为我们现在有了那么多的新工
具。
但是基础的东西并没有改变，依然是关于角色、动作和故
事。比如在《野性的呼唤》中，巴克是没有台词的。而在
《狮子王》里，就有很多动人的台词，所以你需要做两次表
演。你要让演员过来，指导这些演员，然后把他们的台词交
给动画部门，让动画角色再表演一次。
《野性的呼唤》是我参与过的一个有趣却又难以捉摸的项
目。虽然这些生物的一举一动都栩栩如生，但你只要看上几
秒钟或者几分钟，就能看出它们不是真的狗。我从一开始就
知道我们不可能骗过大家的眼睛，这也不是我们的目的。我
们真正的目标是呈现出足够令人信服的角色，让大家可以投
入其中并爱上它。
关于如何拟人化从来没有一套固定的规则，我们也是摸着石
头过河。总体而言，当巴克和其它小狗出现在人类面前时，
我们会稍微“刹一下车”，把它们做得更加逼真。但是当巴
克完全处于动物的环境中（例如狼或者其它小狗），我们就
会“加大油门”，我们会把油门踩到底，拟人化也更加明
显。
我们实际上并没有给巴克的表演做动作捕捉。因为人类的
生理结构和狗相差太多，所以彼此的动作无法转换。于是
我们与Terry Notary合作，做了表演参考。我们在拍摄的时
候，Terry会扮演巴克的角色，这样其他演员可以和巴克互
47
动，找到完美的时间点，然后大致设计出我们之后让动画
巴克进来需要占用的空间。这一点非常重要，因为人类需
要有东西互动，而Terry可以帮助我们估计大致的时间点。
有一个场景是Harrison Ford扮演的桑顿在荒野小屋的外
面，然后巴克也走出来，嘴里叼着桑顿的帽子，想要和桑
顿玩。于是桑顿站起身，开始追逐巴克。其实最终呈现帽
子的位置是Terry的嘴巴，而Terry会做所有的动作、奔跑、
移动和躲避。他要表现地很难抓，而Harrison要能够追上
他。然后我们就可以了解大致的动作和时间点，再用动画
巴克去替换。
你们做了整部电影的前期预览吗？
Sanders：在拍摄动画的时候，我们做了故事板，有时候
其中会有非常精细的绘图。接着我们再添加台词和声音。
我们就像是做了这部电影的一比一模型，如果这部电影是
一个半小时，我们就有一个半小时的故事画卷。我们拍完
一个镜头就移除一张画，并用一段大致的动画去代替它。
动画会经过迭代、更新和打磨，直到获得经过反复打磨的
最终镜头。
前期预览也是一样的。它可以让我们通过查看影片来规划
镜头，甚至对故事做出改动。这是最为宝贵的一点。你可
以提前看到整个故事，我们有好多次都发现：“噢，这里
缺了一块，我们要在这里补上。”
你可以通过前期预览来节省大量的工作和资金。不然你就
是拍好了就把东西扔出去。我们在打造巴克这个角色时，
所有人都经历了一条美妙的学习曲线。前期预览就像是我
们的故事画卷，我觉得提前的准备工作越多越好，可以说
是多多益善。

“
前期预览就像是我们的故
事画卷，我觉得提前的准
备工作越多越好，可以说
是多多益善。
”
使用实时工具是否可以更方便地探索概念？
Sanders：它的价值在于你可以快速看到视觉上的效果，并
用它来计算时间点。它是一个讨论的过程，有时我们要和美
术师讨论，然后有所发现，有所了解。故事总是在不断演变
和聚焦，而我作为导演的主要职责就是参与这个故事。
电影和故事的雕刻感和维度感可能超出大家的想象，它们是
有深度和细节差别的。这里有视觉元素，也有情感的元素，
你在观看视觉元素的同时也在参与情感的波动。
前期预览可以控制，而现场拍摄具有不可预测性，你是如何
调和两者的？
Sanders：我学到的第一件事就是现场拍摄的关键在于准
备。如果你将整部电影的拍摄压缩到一天以内，那么从午夜
到晚上八点都是准备，从八点到十点就可以拍摄，之后就都
是剪辑了。
访谈：Christopher Sanders
当你最终迈入布景，才是真正关键的时刻。虽然肯定会有协
商、调整，但它整体上会顺利地进行，但只有一次让我感到
很沮丧：当时我构想的情景是巴克的雪橇正要离开小镇，而
Harrison也差点错过寄信。
但我们实际拍摄的时候，发现规划的草图无法实现。所以
要临时改成雪橇经过Harrison之前必须要停下来。我感觉
如果没有雪橇经过，整个场景就不合理了，但Harrison不
想看到雪橇从他面前经过。我尝试过用其它办法去告诉观
众，Harrison因为迟到而错过了寄信，但雪橇还是要在经过
Harrison的时候停下来。我一直很纠结这个问题，因为我的
脑海中想的是相反的情况，它已经构思了好几个月了。
这时我们的电影摄像技师Janusz Kamiński过来跟我说：
“你在走进片场的那一刻就已经妥协了，它会好起来的，也
会顺利完成。”所以我们在雪橇经过Harrison之前让它停了
下来，但是还让巴克走了一小段距离，大概有6英尺，这样
就保留了最关键的部分——我们的英雄小狗递送了这封关键
的邮件。这在视觉上行得通的，Janusz说的对，我们总会找
到解决的办法。这样看起来就更像是Harrison自己看到邮件
的，而且在荧屏上的效果也非常棒。
你在现场拍摄的过程中会遭遇坎坷，但也会碰上奇迹。对于
动画行业出身的人来说，它的神奇之处就在于它几乎可以在
一天之内就完成。在动画行业，它可能要花上好几年的时
间，而不是说“噢，它拍到摄像机里了——完成了。”
48
 访谈：
可视化 - Dane Smith

Dane Smith目前在历史悠久的可视化工作室The Third Floor担任副总裁。他参与的

作品包括《曼达洛人》、《权力的游戏》和《复仇者联盟：终局之战》

49

可视化及其作用在制片领域发生了怎样的变化？
Dane Smith：多年以来，数字可视化为人们证实自己的理
念和方法提供了诸多益处，无论你是在前期预览或推销预览
等早期阶段，还是在准备或制片过程中使用技术预览，亦或
是在拍摄后做后期预览。一开始它只是作为特定挑战的解决
方案，如今却备受仰赖，左右整个项目在创意和技术层面的
路线，有时甚至会影响每一个镜头。3D可视化已经成为许多
工作流程的标准，我们还会为它特别保留预算和资源。
随着时间的流逝，我们开始看到许多怀有抱负的电影和院线
大作会投入更多的时间去做准备工作，聚焦于舞台上需要发
生什么，以及如何进行相应的优化。这也使得可视化的应用
进一步拓展，它不再局限于帮助确定从A点到B点可能发生的
动作，而是要表现工作当天具体的镜头布局以及需要哪些设
备组合。除此之外，3D资产、环境以及前期预览或技术预览
中构建的预览动画可以直接使用，从而支持舞台或片场的制
片工作。
我们可以先在前期预览文件中大致设计出一头CG巨龙的动
作，在实际的动作绑定过程中还可以再回放。创意团队可以
在3D模拟的复杂镜头中批准编排的动作和时间点，然后你还
能通过该文件准确而可靠地重新制作“当天”的内容。可视
化可以帮助驱动虚拟的视线去查看现场布景、虚拟现实或增
强现实中显示的角色或背景，这已然成为开发和制片（包括
虚拟制片）的关键。在后期预览中，镜头会使用实际拍摄的
底片快速构建原型，而可视化可以帮助描绘和告知最终成片
和作品中的画面。
所以我们看到可视化激活了整个流程，而不仅限于开始阶
段。可视化提供的功能和价值让创意迭代和技术创新进一步
提速，使得实时工作管线的速度和即时性更上一层楼。
访谈：Dane Smith
当前对于远程合作的需求对项目造成了怎样的影响？
Smith：疫情让人们对虚拟途径和方法更感兴趣，它可以保
持社交距离并减少碳排放。人们已经很难出差旅行了。虚拟
制片的一大优势就是可以在不同的地点同时平行推进流程。
制片管线的全球化既带来了益处，也造成了挑战，而虚拟制
片抓住了这个机会。这样的发展趋势早在当前世界局势之前
就已经发生了，而疫情进一步加速了这一趋势，并且推动了
创新的兴趣。
可视化团队的工作本质上就是基于虚拟的，现在他们可以每
天在虚拟场景中构建镜头和环境，从而将想法呈现出来，然
后不断去执行和完成。可视化美术师会在构建或拍摄实际内
容之前告知拍摄规划和镜头，并且他们可以在工作室或者居
家远程完成例行工作。
这种经典虚拟沙盒的拓展会在当下和未来带来举足轻重的影
响。现在我们可以使用现实地点的图片，或者使用特定场景
的设计，把它们转变为沉浸式的场景，让导演、摄影指导和
制片人员都能各自探索和拍摄，也没有地点限制。
任何人的探索都可以与他人分享，你还能够足不出户就随时
访问布景和现实地点。这种实时工具有强大的功能，可以在
台式机上运行，所以能够用于虚拟采景和虚拟摄像机草图设
计等等工作，有时还可以提供一些关键的意外惊喜。
实时管线有哪些关键的优势和挑战？
Smith：这个技术平台带来的一大益处就是内容创作者可以
很快看到自己作品的样子，还能立即看到自己决策造成的
影响。早期的迭代也可以更加接近最终的版本。但更重要的
是，你可以为创意团队构建清晰统一的目标，从而为制片增
添价值。
50

图片版权归HBO所有，由The Third Floor公司提供
现在大家都已经开始广泛采用前期预览等技术，因此还可以
高效地与利益相关者沟通自己原本的愿景，包括部门负责
人、供应商和工作人员。而要通过实时工作流程和虚拟制片
呈现愿景，面临的一大挑战就是要为团队配备合格的人才，
他们要执行明确定义的创意和技术目标。
在传统的制片和后期流程中，每个环节的需求和变化都可能
导致随着整个流程的发展，镜头逐渐偏离原本的意图。而在
实时制片情况下，这种违背意图的风险可以大大降低。
当你被邀请进入这个世界时，就很难接受其它的东西了。所
以为了推动发展，我们也需要拓展和发展人才的储备。
如果有人才有意迈入可视化领域，你会推荐他们学习什么
呢？
Smith：我曾在Gnomon视效学院教学十年，也见证了学生
的目标从电影电视转变为游戏行业，而最近又变为了实时内
容的创作。这个新的学科需要你理解如何在引擎中创建和添
加资产，从而驱动实时的视觉内容。你需要了解一定的编程
和工程知识，之前的美术师是没有这方面要求的。从某种程
度来说，我们已经回到了早些时候的视效生态系统，那时候
我们会强调编程大有用处。
51
所以你需要的某些技能可能与传统的视效美术师掌握的技能
大有不同，而对实时创作的渴望也让内容创作者开始迭代。
在传统的视效领域，人们更强调后期制作，而且可能无法拥
有像虚拟制片这样的灵活度。
相对于传统工具，你们有多少项目是使用虚幻引擎和实时方
法的？
Smith：The Third Floor每年大约要完成100个项目。五年
前，我们有一个项目就深度投入了这种技术。现在我们绝大
多数的制片人员都在认真探索如何使用游戏引擎和虚拟制片
工具进行工作。在第一次经历这种项目之后，整个流程都变
得更敏捷了。我们的人才储备不断增长，开支也随之降低。
有一半的制作方都会询问我们游戏引擎的事情。
不过仍然有很多人会打退堂鼓，主要是因为他们意识到自己
应该早点进入这个流程，或者应该在之前入行时做出不同的
决定。不过客户曝光和引导工作也在继续开展，越来越多的
工作人员也明白了虚拟制片的需求已经大幅提高。
实时技术是否为CG动画或数字摄像机的电影制作带来了天翻
地覆的变化？
Smith：我想它能带来如此之大的变化是因为我们对内容的
需求空前高涨，而新冠疫情只是部分原因。主要是这种技术
可以应用的项目范围非常广泛，并且相较于之前的数字化里
程碑，它对于制片的普及似乎更为迅速。
原先从胶片到数字拍摄的转变其实速度并不快，之前采用这
种技术的人主要是出于成本效率和速度的考量。实时技术现
在正是两开花的时候，高端内容制作者想要它是因为能够获
得迷人的结果，而预算有限的制片方想要它是因为有更多的
选择。
 第二章：虚拟制片工作流程

镜头内视效
镜头内视效是最激动人心、最受人欢迎的虚拟制片技术之一。它可以分成两类：
现场合成和现场LED幕墙电影摄像。

如果是现场合成，实体对象会在拍摄后与虚拟元素实时合成，对象会通过传统的
绿/蓝幕合成技术或深度感应器区分。过去的镜头内效果可以通过前后屏幕投影实
现。如今我们采用的是虚拟制片的前沿技术——LED幕墙，这样虚拟元素可以通
过影棚中安排的LED屏幕在镜头内实现光学合成。

在本节中，我们将重点介绍镜头内视效的关键硬件和工作流程组件，还将了解影
响到拍摄的现实和技术因素。最后我们将采访《曼达洛人》幕后的创意团队，该
剧集是目前最受瞩目和最为成功的LED幕墙应用示例。

组件
虚幻引擎

虚幻引擎对于镜头内视效的作用可谓至关重要，因为它可以实时生成企及最终品
质的环境、角色、物体、灯光等等。虚幻引擎还可以配合现场的摄像机追踪，从
而根据实体摄像机的移动，准确显示出相应视角。实时计算视角的能力也让现场
LED幕墙和自由移动的摄像机可以配合使用。

硬件概览

要成功实现LED幕墙电影拍摄的一大关键就是LED显示技术。联锁的LED面板或模
块合成一块更大的虚拟屏幕，并通过视频处理硬件和软件组合到一起，这就构成
了LED幕墙。Lux Machina等系统整合厂商（请查看我们与Lux的 Philip Galler的
访谈内容）是这种独特硬件方面的专家，也熟知镜头内视效的信号流要求。他们
会与硬件制造商和软件开发商合作，从而为每个制片项目寻找最优的显示技术和
视频处理要求。虽然本指南主要聚焦LED显示技术解决方案，但有些情况下使用
投影可能是更好的选择。

52
 视频I/O硬件是另一个连接摄像机、监视器和LED显示屏的关键组件，从而让计算
机能够驱动它们。虚幻引擎支持4K、8K甚至12K的Blackmagic Design和AJA视频
I/O硬件。你也可以使用支持其它硬件品牌和协议（例如NDI）的插件。

除了显示和视频I/O硬件，你也需要强大的计算机用来生成和输出来自虚幻引擎的
实时图像。虚幻引擎可以在多种计算机上运行，为了追求最佳性能，尤其是使用
大型LED的影棚，你通常需要多个工作站或服务器类系统。高端CPU和GPU、充
足的内存和拓展卡空间（例如视频I/O）以及其它相关的设备也一样关键。

“思维中枢”（Brain bar）

“思维中枢”是虚拟制片神经中枢的昵称。你可以把它想成是航管中心或导播
室，只不过它负责的是实时图像显示、摄像机追踪、LED输出、实时色彩分级或
合成，以及相关的其它运作。通常“思维中枢”里的人员包括主要的虚幻引擎美
术师、摄像机追踪专家、显示或视频I/O专家、内容加载人员、合成师、IT专家、
网络专员以及LED屏幕技术人员。“思维中枢”可以部署在现场或者邻屋的后
台，布置在OB（室外广播）车内或者完全远程工作，这也有助于遵守社交距离的
要求。

“思维中枢”里的关键要素包括性能强大的台式计算机、视频I/O、处理功能和
网络基础设施。虽然现成的组件通常可以直接整合，但具体的制片工作可能需要
定制化软件和硬件。最后，你可以通过统一接口的多种脚本来控制所有连接的设
备，要了解更多内容，请查看具体硬件配置推荐。

现场职责

实时引擎技术与现场视频制作的结合创造出了传统制片领域没有的多个现场职
责。有些新职责之所以没有在职员表中出现，可能是由于实时技术、镜头内视效
对电影行业来说还较为陌生。有些职能应该被视为是某些领域的职责和任务，而
不是某个具体的职位。这些新职责中最为突出的一个便是虚拟制片监制。这个职
位有点类似于传统的视效监制，但它又涵盖了现场镜头内实时视效方面的职责。
视效监制负责监督虚拟制片监制，并且对LED幕墙内容和传统视效镜头负最终责
任。（请查看我们与Clint Spillers的访谈内容，了解更多关于虚拟制片监制这个
职责的信息。）

53
 第二章：虚拟制片工作流程

虚拟摄像机监制包括摄像机追踪和通过Live Link整合流送到虚幻引擎。内容监制
包括“思维中枢”，并且要确保当前已加载所有组件并且正常运转。虚拟制片技
术指导包括为引擎监制准备即将使用的场景，并负责场景所需的其它要求。

内容加载包括将虚幻引擎中的实时场景按正确的方向和比例转换到屏幕上。投射
到LED影棚中的内容通常被称为一次加载。

片场中出现的另一个新任务就是现场合成，它通常还会结合虚拟布景的色彩校
正。这个任务包括具体的视频I/O任务，例如匹配“加载”中特定区域的色彩，
从而对应现场布景的元素或给场景中额外的部分分层。这项工作通常涉及到传统
的合成软件，例如DaVinci Resolve和Adobe Photoshop。根据各个制片的具体
需求，也演变出了新的助理职责。（查看我们与Charmaine Chan的访谈内容，
了解更多关于现场合成的详情。）

另一个关于剧组人员的要点：特定的职位和责任可能因为剧组成员经验、专业度
以及项目的大小和规模而有所不同，而组成虚拟制片团队时最重要的考量是所有
这些需求都要通过某种形式得到满足。

多用户功能

虚幻引擎的一大优点就是多用户功能，在如今要控制社交距离的时期更显优势。
因为引擎设计的目标就是在多用户开发环境中为创建多用户游戏提供支持，还整
合了许多合作功能。这对镜头内视效工作流程大有裨益。

虚拟采景是一种有益于虚拟制片的远程合作形式。你可以像现实采景那样使用虚
拟采景，调查地点并发现你最喜欢的区域和镜头，决定哪里需要布景装饰和地点
强化。

“
虚幻引擎有一个名为‘多用
户编辑’的功能，我们可以
用它在多台计算机上制作同
一个虚幻项目。它就像一个
大型的《堡垒之夜》游戏，
不过是在虚幻引擎里的。

”
Matt Workman
电影摄像技师、Cinematography
Database创始人

54
 你还可以利用虚拟采景获得“超能力”，立即传送到地点的任何位置，实时更改
摄像机镜头，从而快速为你的制片工作建立可能的摄像机配置，而且还能通过远
程安全地完成采景工作。虚拟采景中所有的摄像机和镜头组合都可以轻松标记，
并且保存在3D场景中，以便未来参考。

显示技术

因为LED幕墙工作流程需要直接拍摄显示器，所以你必须谨慎考虑相应的显示技
术。nDisplay插件可以通过连接的计算器同步多个显示器中的场景，并且决定整
体的场景渲染。nDisplay会发送虚幻引擎场景的正确部分到每个渲染节点及其连
接的显示器。它可以处理所有渲染分布、像素映射、同步、同步锁定、时间码、
资产平衡和几何体变形来创建正确的图像，无论单个显示器的尺寸或形状如何，
用肉眼和摄像机去看都不会有问题。要了解更多nDisplay工作原理的信息，请查
看此白皮书。

拍摄《曼达洛人》时使用的影棚以及类似的LED幕墙制片都是由一系列单个的LED
模块矩阵组成的。根据具体的模型，这些面板处理曲线表面的情况可能比较呆
板，也可能比较灵活。通过使用桁架和其它实体支持，这种几何上的配置种类几
乎无穷无尽。总体而言，一个影棚的包容量越大——例如它可以包围带有侧面板
的前屏幕、吊顶和摄像机后的面板——就能获得品质更高的互动光照和逼真的反
射。

LED的模块安排很适合大规模的影棚，而较小的影棚可能会出现问题。由于摩尔
效应，屏幕上物理像素的密度使得摄像机无法直接对准LED幕墙本身。当源图像
相对于摄像机而言分辨率不足时，就会出现摩尔效应，导致出现干扰摩尔纹。因
为LED模块包含像素大小的LED光，直接聚焦屏幕就会导致摩尔效应。根据摄像机
中看到的LED数量，情况会有所不同。总体而言，每个摄像机感应像素看到的LED
数量越多，出现摩尔效应的可能性就越低。如果是小规模制作，可以替换为靠近
摄像机的应用、微型LED和OLED显示器。

例如HBO的剧集《逃》，他们拍摄时就在每个窗口外使用83英寸显示器来打造
一辆静态火车布景的外部视角。（要了解更多关于《逃》的信息，请查看我们与
Sam Nicholson, ASC的访谈内容。）因为OLED显示器的像素密度远高于LED模
块，摄像机可以离显示器更近，并且不会出现任何不必要的摩尔纹。

55
 第二章：虚拟制片工作流程

图片由Diamond View Studios提供

传统的激光和LED投影仪也可以用于镜头内视效，在LED技术完全成熟之前，它们
是首批用于镜头内效果的系统。在拍摄《登月第一人》和《游侠索罗：星球大战
外传》时就使用了大型的曲面投影仪来制作镜头内效果，虽然这些频段通常使用
预渲染而不是实时制作。

最明显的部分就是不同显示技术在屏幕上呈现的图像，这些技术包括LED幕墙、
微型LED或OLED显示器以及传统的投影仪。另一个关键部分就是参考光照本身，
它能够大幅增强镜头的真实感，也可以从显示技术衍生为反射和发光光照。

你可以通过更大的间距/画面外/悬浮LED面板创建额外的光照，也可以使用通过
DMX控制按需连接到场景的电影光照。投影仪甚至可以用作特殊的动画光源，例
如移动的阴影。

摄像机

配备了高品质光学仪器的专业摄像装备是镜头内视效的关键一环。因为LDE幕墙
的锐聚焦可能导致摩尔纹，而更浅的景深可以防止这一点。大型的图像感应器和
电影镜头最适合用来确保景深够浅。

另一大关键考量就是要谨慎同步摄像机的快门和LED幕墙的刷新率，否则产生的
图像会有可见的扫描线和条带。

56
 最后还需要额外注意一点，你要确保场景中的线性场景色彩和亮度值能够在LED
幕墙上适当的呈现。LED幕墙上的内容应该和现实世界中呈现的一样，无需应用
额外的外观，因为这会在制片摄像机中应用。虚幻引擎支持OpenColorIO配置，从
而确保用户可以应用必要的变形，实现在资产批准和最终拍摄阶段管理色彩。

追踪

实时追踪是现代虚拟制片中尤为独特的一环。现场LED幕墙电影摄像的概念与背
式投影的用法非常类似，这还要追溯到电影制作的早期。摄像机追踪混合了实时
渲染，让视角运转或LED幕墙中的视差可以与摄像机的移动匹配，因此可以向摄
像机传输图像，并使其符合真实世界的三维位置。

虚幻引擎的Live Link插件可以连接多种外部源并直接进入引擎。你可以用它连接
实体的摄像机和虚幻引擎中的虚拟摄像机。实体摄像机甚至可以不是摄像机，它
可以是简单的摄像机代理，例如可以是一个盒子，用来将现实世界中的移动创意
传到虚拟电影摄像中，《狮子王》就广泛采用了这种方法。

Live Link还可以连接到虚幻引擎中的其它内容，从而实际控制虚拟对象。它可以
用于控制光照、角色、道具等等。

追踪系统

追踪系统可以分为惯性、光学和基于编码器的解决方案。基于感应器的解决方案
包括基础的HTC Vive定位器，它会通过“灯塔”（使用激光扫描以定位定位器的
模块）和本来用于虚拟现实游戏头显的IMU（惯性测量单位）实现追踪，而《曼达
洛人》使用了更复杂的追踪解决方案。

外向内光学追踪系统会围绕影棚部署一套固定的红外线摄像机。这种摄像机会寻
找影棚内指定的标记并通过比较多个摄像机中重叠的部分来计算它们在3D空间中
的位置。使用外向内解决方案的示例包括OptiTrack、 Vicon 和BlackTrax。

57
 第二章：虚拟制片工作流程

另一种光学追踪方式是，基于特征的内向外追光学追踪。这涉及到计算机视觉和
摄像机中的飞行时间深度感应阵列，它会生成周围环境的3D点云并使用机器学习
“
如果使用Ncam，镜头的校
准过程将得到全范围和聚焦
计算摄像机相对于该参考的位置。这项技术和Xbox的Kinect游戏系统类似。Ncam 范围中所有的畸变和视场，
是最广为人知的基于特征的光学追踪示例。它的一大优势是无需标记、追踪灯塔 包括所有的镜头呼吸。

”
或其它预设参考就可以有效工作。

基于标记的光学追踪系统包括在摄像机内放置红外感应器，它会寻找标记的图 Hugh Macdonald

样。使用标记的光学追踪系统示例包括Stype、MoSys和Lightcraft Previzion。这 Nviz首席技术创意官
些系统通常很适合设备齐全的大型舞台，但如果要部署在户外或者不适合放置标
记的情况下，这种方式会更加艰难。

基于编码器的追踪系统会使用磁力和/或光学编码器与三脚架头、轨道轮、摇臂支
点以及其它摄像机设备通信，并确定摄像机的相对位置和动作。整合编码器解决
方案包括StypeKit、Egripment和Technocrane。而自定义解决方案还可以使用多
种组件。这些系统通常需要更为初始的配置，并且要校准摄像在虚拟世界中的相
对位置，不过也能提供更高的精确度。

你也可以出于多种目的去追踪光照、物体和演员。例如，你可以将互动式的舞台
灯光连接到追踪感应器上，从而使其现实位置与虚拟部分一一对应并连接到虚幻
引擎内的DMX光照控制。当你移动实际灯光时，它就会采样并匹配虚拟环境从而
让现实和虚拟有更好的整合度。

追踪演员相对于摄像机的位置也有许多用途。例如在《曼达洛人》拍摄期间，有
些镜头因为过于复杂或困难，从而无法在LED幕墙上获得完整的镜头内内容。因
此，电影制作人追踪了演员的位置并直接在演员身后放置了绿幕光圈，从而更紧
密地追踪演员的移动，同时让虚幻引擎场景中的余下场景位于屏幕的边缘。这样
制作人有了更好的灵活性，可以使用清楚的绿幕去做后期合成，同时保留非绿幕
画面中的互动光照。

58
 虚拟制片工具
此表格包括了制作镜头内视觉效果和其它虚拟制片工作流程所需的部分关键基础
设施。

舞台与虚拟制片
LED显示墙 LED模块、处理器、传动装置、高端工作站

“思维中枢” 高端工作站、视频协助

追踪 惯性、光学和基于编码器的解决方案

用于制片和编辑以移动媒体或加载。对于动捕等数据密集
网络基础设施
型工作流程，需要有高带宽的独立网络

同步与时间码 利用同步锁定和时间码保持所有数据的同步和协调

追踪焦点、可变光圈、变焦以确定镜头畸变、视场和摄像
镜头数据
机节点

VAD
工作站 根据每位美术师需求提供的窗口工作站

VCam 虚拟摄像机系统

VR系统 虚拟采景系统

59
 第二章：虚拟制片工作流程

工作流程
现场合成和LED幕墙电影摄像是镜头内视效的两大主要工作流程。现场合成使用的
是更为传统的合成工作流程。它会添加匹配视角的现场实时图像，让摄像机操作员
和剧组人员可以看到效果镜头，并在拍摄中做出反应。

《奇幻森林》就是运用现场合成工作流程的例子。它的一个缺点是演员还是要站在
绿幕或蓝幕前表演，基本没有视觉上的反馈和沉浸感，而且由于绿幕或蓝幕溢出的
问题，打光也更具挑战性。此外这种方法也没有LED幕墙的自发光和反射品质。

LED幕墙电影摄像让现场虚拟制片和合成迈进了一大步，因为它替代了绿幕并且可
以使用LED幕墙来合成。LED幕墙让演员和剧组有更好的沉浸感，而且拍摄出的效
果也更加准确逼真，因为LED幕墙本身会有自发光和反射光。

现场合成

现场合成是一种实时视效形式，它会用被追踪的实景绿幕电影摄像与视角匹配的
计算机生成图像进行现场合成。许多现成的实时合成解决方案都会使用虚幻引
擎。Zero Density的Reality Engine和The Future Group的Pixotope就是两个绝佳
的例子。这两种现场合成解决方案就结合了虚幻引擎的舞台布景和绿幕电影摄像。
虚幻引擎本身也提供Composure合成功能，它也是一个优秀的现场合成解决方
案。

LED幕墙电影摄像还可以为现场合成锦上添花。制片方可能认为某个镜头过于复杂
或者还没有准备好在当天拍摄。在这种情况下，摄像机视锥可以改为绿色，从而合
成摄像机取景器和显示器中的临时片段，而视锥外区域中的互动式光照依然可以增
强主体。由于它可以减少绿幕溢出，后期的合成也会更加轻松。

图片由Anvil提供

60
 LED幕墙工作流程

LED幕墙电影摄像结合了传统的实景真人拍摄和实时的虚拟制片技术，其中包括
摄像机追踪、实时虚拟场景输出、实体布景装饰以及传统的电影打光。虽然LED
幕墙本身就会放出大量的光，但依然需要使用电影打光，因为单独的LED幕墙无
法可靠产生诸如太阳光之类的强烈光照。（查看我们与Greig Fraser, ASC的访
谈，详细了解基于LED幕墙的虚拟制片如何实现电影摄像和光照的互动。）

成功实现LED幕墙电影摄像的关键是准备好实时资产，就如同你在现实地点或实
体场景拍摄前也要做准备一样。虚拟资产也要经过优化，才能满足影棚内特定的
性能特性以及电影摄像需求（例如高帧率）。它们应该经过所有关键部门负责人
以及利益相关者全面的审查和批准，就如同他们审查现实地点一样。

“思维中枢”是LED影棚的任务控制中心。其中的人员主要负责舞台布置和显示
的所有内容，推进外部远程控制并捕捉制片数据，包括场景、镜头和相关元素。
外部远程控制会通过REST API展开，这样“思维中枢”之外的剧组人员就可以通
过平板和其他设备远程操作图像。谨慎完成制片数据追踪工作是确保一切井井有
条的关键，也可以为整体制片和后期制作做好准备。

影响镜头内效果成败的因素

许多因素都会影响到LED幕墙镜头内效果的成败。影棚的大小和场景与LED幕墙之
间的距离都会造成影响。像素密度则是另一个关键的因素——屏幕应该有足够高
分辨率以避免出现摩尔纹，通常要满足镜头内内容的最低密度要求，最少需要使
用2.8毫米镜头。你也可以使用景深很浅的镜头来确保屏幕不在焦点上，从而减少
摩尔纹的情况。请谨慎考虑在屏幕上显示的资产的分辨率，从而避免可见的缝隙
或其它分辨率的不自然感。

视锥体则是镜头内视效的另一大关键要素。视锥体指的是LED幕墙呈现的摄像机
视野。在LED幕墙上显示时，虚幻引擎会以尽可能最高的品质渲染视锥体，而视
锥体之外的区域的分辨率通常会较低一点。这有助于为摄像机提供最佳的视效品
质，同时具备非视锥区的互动式光照和反射。由于虚拟摄像机位置追踪和渲染相
对于实体摄像机可能会存在延迟，视锥体的渲染通常会比摄像机的视野更大一
些，从而表明摄像机的移动比视锥体更快。

61
 第二章：虚拟制片工作流程

延迟也是镜头内视效成败的关键因素之一。这里的延迟指的是制片摄像机移动和
虚拟摄像机在屏幕上渲染之间的延迟。如果摄像机移动和屏幕视角同步度不够，
就可能导致摄像机移动和视锥体之间出现可见的延迟。许多因素都会影响到延
迟，例如渲染速度、同步、图像处理、网络硬件、视频I/O硬件和LED矩阵参数等

图片由Diamond View Studios提供

等。你需要尽量降低整体系统的延迟，同时保持稳定性，从而打造最佳的制片体
验。

虽然LED幕墙电影摄像从技术上来说比较复杂，但如果能成功执行，回报往往会
大于挑战。而要获得成功，对于技术和美术领域的理解以及充分的准备都至关重
要。在本环节中的访谈中也体现出了这一点，如果你拥有一支熟练并精通制片的
团队，LED幕墙这一虚拟制片技术可以带来天翻地覆的变革。

62
 访谈：
镜头内视效 - Jon Favreau

Jon Favreau是一位作家、导演、制片人和演员，而他的职业生涯起步于在《全职
浪子》等独立电影中扮演角色。之后他作为导演大获成功，执导的影片包括《圣诞
精灵》、《太空飞行棋》、《钢铁侠》、《钢铁侠2》、《奇幻森林》以及《狮子
王》。Favreau一直是虚拟制片技术长期以来的支持者，打造、编写并执行制作了
《曼达洛人》。

63

你推动虚拟制片发展的动力是什么？你为什么知道它会奏
效？
Jon Favreau：每当出现意义重大的创新，肯定是因为具备
了许多不同的因素。我之前就觉得可以有更好的方法来做视
效，尤其是在布景拓展方面。每次我拍电影的时候，都会取
得巨大的突破。因为我希望和这个行业里最聪明的那帮人合
作，然后了解这些新的突破。
《圣诞精灵》用的就是全镜头内视效，而《太空飞行棋》还
用了一些蓝幕，不过主要是为了布景拓展。我们主要用的是
平衡环架的实体布景，还有运动控制的细节工作。在《钢铁
侠》中，我对CGI的态度更加开放。我想没有人会故意去拍
一部糟糕的CG电影，只是有的时候结果不如人意。我们和工
业光魔合作拍摄《钢铁侠》的时候，我认为他们对坚硬表面
的处理非常棒，我也开始追求CG中特定物体的逼真感。
而当我们拍《钢铁侠2》的时候，我已经不想再用蓝幕构建
这些大型的布景，也不想什么都用CG去做了。我感觉那样会
有很多多余的开销。节省开支并提高效率的一种方法就是不
要为一样东西掏两次钱。
之后我又拍了一部没有上映的电影，名叫《魔法王国》，它
基本上就是用许多华丽的CG元素构建出了一个生动的迪士尼
乐园。我见到了Robert Legato，并汲取了他拍摄《雨果》时
的想法，打造了非常棒的布景拓展，然后问题就变成了如何
在制片过程中尽量减少出行。这些对话也使得我们一起合作
了《奇幻森林》。
访谈：Jon Favreau
图片由工业光魔/卢卡斯影业有限公司提供
拍摄《奇幻森林》时，我们做了许多蓝幕拍摄和很小的布
景。通过使用协同摄像机，我们的摄像机操作员可以看着监
视器然后现场合成，看到实际布景会是什么样子。但问题是
其中有很大的延迟，所以操作员在操作的时候无法看到实际
的合成图像。
另一个问题就是移动蓝幕和重新打光花费的时间太长了。由
于我们的主角还是个孩子，所以拍摄时间和假期时间都非常
有限。而且要让表演有即时感也非常费力，因为你是在一个
蓝盒里，只能看着视线的参考物——比如一个网球。所以我
一直在和其他剧组人员商量该如何构建一个更好的舞台。
我们的一位首席动画师Andy Jones曾经做过一个名为《The
Blue》的VR项目，有一天他告诉我要去威尼斯拜访一家VR
初创公司。我就问他能不能带上我，让我也体验一下Vive
头显的VR。这是一段非常令人兴奋的经历，而我也在思
考——这种方法可比开销庞大的摄影动作捕捉装备好用多
了。
所以在拍摄《狮子王》的时候，我们和MPC以及Magnopus
打造了一套虚拟制片的设备，而且迪士尼也是我们的合作伙
伴，我们创建了《奇幻森林》那样的场景，不过这次是完全
虚拟的。我们采用了最棒的动画和最棒的制片方法，从而开
发了一套管线，让我可以像实景拍摄那样直接进行导演工
作。
64

在给《狮子王》做后期的时候，我就向卢卡斯影业的Kathy
Kennedy推销了《曼达洛人》，她也非常感兴趣。当时我们
就开始想办法把《狮子王》和《奇幻森林》的工作经验结合
起来。那时候有许多关于实时渲染的传言，Epic使用虚幻引
擎做了一些《星球大战》的演示。当时正值光线追踪的热
潮，而且在坚硬表面上的效果也非常好。
使用虚幻引擎制作影片的一大优势就是电影制作人不必为研
究开支而发愁，因为Epic的大部分收入都来自于游戏，我们
可以通过游戏的盈利来反哺创新。所以我们在自己的行业中
使用这些工具也可以帮助Epic研究下一代的电影级工具，这
是一种互利互惠的合作。
65
图片由华特迪士尼动画工作室提供
起初，我们让所有在制片过程中意见略有分歧的人员开了
一个圆桌会议，例如曾在工业光魔效力的Kim Libreri，还有
来自Magnopus的成员。Rob Legato也提供了咨询并看到了
许多潜力。另外还有来自工业光魔的Rob Bredow和Richard
Bluff，以及我的公司Golem Creations的人员。
一开始，我们的想法是使用LED屏幕来打造互动式的光照以
及非常准确、可快速布置的绿幕，因为你不用给这个绿幕打
光它就可以提供完美的照片级绿色。然后我们开始考虑能否
用这些屏幕获得最终画面，于是打算使用散焦更加智能的变
形镜头。
当我们实拍第一季的时候就尝试在镜头内创建环境的内容，
然后不断精进。目前我们拍片和差旅都遇到了诸多限制，而
这种方法就提供了很多解决方案，而且速度也比我们预料的
快很多。大家将会看到更多人采用这种技术。
 访谈：Jon Favreau

“
这些低价的技术普及了电
这样你就可以拍出迷人的主演角色，然后摄影指导也可以
有漂亮的灯光和背光，打造出惊艳的画面。现在人类可以
和CG制作的角色对话，并且继承相应的光照。这样影片里
的熊或外星人将具备CGI所能拥有的最棒光照。
影制作的学习过程，因此
你不再需要等待预算或许 如果你在片场有实体的服装，摄影指导会优先让假的东西
看起来像是真的，真人的灯光可以不那么突出，因为他们
可。 灯光差点也没事。在拍摄《奇幻森林》的时候，Neel Sethi

”
无论是在什么灯光下都会很好看，而那只熊如果站在灯光
前或者背光太强，就会显得很假。摄影指导是负责查看、
甄选、构架和合成的美术师。所以如果你能给他们所有这
些工具，他们就可以完成自己的职责。

相较于后期制作，镜头内视效的思维方式遇到了多大的挑
战？

Favreau：如果你走入Pixar或Disney Animation，就会发
第一次你是怎么让导演们做好准备在影棚里工作的？ 现各种房间，其中有各种项目，各个团队正在各个房间制
作未完成的影片。而另一方面，许多真人镜头都是你在当
Favreau：我和工作室做好了安排，我们投入到前期制作中
时的随机情况下拍摄到的。动画就是要在几个月甚至几年
的时间要比大多数电视节目多很多。我让导演们使用了与
的后期制作中再现出这种自发性的状态。
之前《狮子王》中类似的VR工具集。我们一起设计了布景
并查看了美术工作和故事板。我们做的不是排练，而是通
我在拍摄《钢铁侠》时，给这两个方面都留了空间，因为
过VR在虚拟世界中与剧组人员进行前期制作的摄影工作。
许多内容都必须要提前做好规划，以便了解我们要构建什
么以及如何规划预算。但是当Robert和Gwyneth来到片场
然后我们就有了一个可以评价的片段。当他们到达实体场
后，我就像拍独立电影一样，给即兴发挥和自发性保留了
景之后，我们已经经过了测试，也做过一次展示，并且对
空间。因此我们也试图运用这项技术来达到两者的平衡。
基本的编辑达成了一致。他们早就做好了准备，因为已经
在虚拟世界中拍摄过了。到那里以后，我们要做的是尽量
当你有了这样的环境，就可以让大家都在一片数字空间之
发挥好老师和指导员的作用，因为我们不仅是在拍片，还
中，因为东西都在那里。你就好像在独立电影的片场一
是在打造新的管线。
样。只要不超出计划之外，大家都可以自由发挥。这也可
以运用非线性的方式，让你能够来回调整布景，拍摄更多
LED幕墙对你和电影摄像技师的工作关系产生了怎样的影
的内容。它比通常的实景拍摄多了一张安全网，让你可以
响？
勇敢地去进行更多尝试。
Favreau：你越清楚自己要做什么，越能取得更好的结果。
可以看到整个图像的一大好处是，摄影指导能够规划特定
内容的优先级。如果他们是拍摄站在空白绿幕前的演员，
就要集中所有精力给演员打光。

66
 可以给有意迈入制片领域的人才一些建议吗？ 第二件事就是现在很多工具都很便宜，或者说价格大幅下
降，你在手机或者笔记本电脑上就可以使用它们。即便是
Favreau：你需要做出自己的东西。如果你要叙述故事，
VR的价格也开始快速下降。我们之前特别为《狮子王》定
那你最好擅长讲故事。无论你是用手机拍影片，还是编写
制了工具，而现在虚幻引擎为你提供了许多现成的工具。我
剧本、做动画，你都应该勇敢去做。也许你现在正在做的
在拍《全职浪子》的时候，还必须租赁Avid的媒体，因为要
事情会为你开辟良机。
拍好影片，即便是一个很小的细节都要投入大量的资金。
你不需要等别人的许可，你完全可以毛遂自荐。我之前和
现在你只要很少的资金就可以做到，而且只要动员你的朋
Donald Glover共事过，他就一直在YouTube上发布自己
友，用上你的手机。这些低价的技术普及了电影制作的学习
的内容，那时候大家还不知道YouTube是什么。而那也成
过程，因此你不需要等待预算或者许可。我鼓励大家去尝
为了他进入行业的敲门砖。我认为现在已经没有什么门
试，明确自己到底想不想做，或者需不需要在这方面更加精
槛了，只要你有创意、想要去做，就不要等着别人来告诉
进。
你。
你觉得虚拟制片的下一步会如何发展？

Favreau：就像所有技术一样，它的价位肯定会下降，LED
影棚的设立也会更加简单。各种技术将不断普及，但故事本
身才是王道。通常新兴事物出现时，大家使用它的方式还没
有经过优化。你需要在技术和叙事之间找到平衡。所以只要
电影制作者了解它的优势及使用方式后，它就会成为一项非
常高效的工具。

我拍《曼达洛人》时就非常享受这点，因为作为执行制片
人，我会与许多新导演合作。我们会教大家如何使用这项工
具，然后根据他们的成果来创新。他们之后会使用这个工具
在其他地方做自己的项目。这就是一种自然而有机的新技术
扩散方式。

你希望在未来看到什么样的娱乐新形式？

Favreau：等到大家都可以安全出行的时候，我觉得人类作
为社会性物种肯定还是希望一起体验活动的。VR的沉浸式
体验真的非常酷，不过在自己的房间一个人玩还是有种孤独
感。随着我们更多地以群体的形式去体验VR，它应该也会
更具社会性。

图片由工业光魔/卢卡斯影业有限公司提供

67

LED幕墙这项技术在实时环境和实地体验领域具有极大的潜
力。你会看到美术师使用这些技术，虽然可能和之前他们用
低技术解决方案一样，但是现在它打开了想象力的大门。我
还想到了现场剧院，他们其实已经开始使用一点投影技术
了。如果你有视频幕墙，而且可以用令人信服的方式去做，
那就拥有了一个完美的布景环境。
这并不是一个技术取代另一个技术，如果你理解这种技术，
同时又有之前技术的基础，那就可以形成相互配合的解决方
案。最优秀的合成师或遮罩绘制师必须要对光照、表面和现
实具备鉴赏能力。
访谈：Jon Favreau
图片由工业光魔/卢卡斯影业有限公司提供
有时候你会想要使用锤子、钉子和油漆刷；有时候你想要使
用像素和鼠标；而最好的解决方案就是你可以结合两者，这
时遮罩线条会混合，你也不知道会有什么效果。我们就像是
戏法师和魔术师，这可以追溯到Georges Méliès。
你在创造的是一种幻觉，而且必须运用所有可用的工具。不
过请始终记住，如果观众不高兴、不惊讶、不中套、不被吸
引，那一切都是徒劳的。这一切的关键就是给人震撼心灵的
体验，给他们一段美好的时光。
68
 访谈：
LED幕墙电影摄像 - Greig Fraser, ASC

摄影指导Greig Fraser, ASC参与拍摄的作品包括《猎杀本·拉登》、《侠盗一号》

以及《沙丘》，并凭借《雄狮》荣获奥斯卡奖项提名。Fraser是LED电影摄像的长
期支持者，拍摄了Disney+电视剧集《曼达洛人》试拍和多集内容，并因此荣获艾
美奖。

69
 访谈：Greig Fraser

是什么原因让你开始使用LED幕墙电影摄像技术？

Greig Fraser, ASC：我觉得只要让人们进入影棚，全面了

解这项技术的好处，就会有越来越多的人会成为它的支持
者。我认为作为电影制作人，只有一小部分工作是最适合在
虚拟舞台完成的，不过如果你做的对，看起来就无懈可击，
而且会给导演更多在通常拍摄流程中没有的机会。

对于远程合作的需求对你的工作造成了怎样的影响？

Fraser：有人说电影布景在未来会变得更小，我倒觉得这并
不是坏事。布景更加紧密非常棒，而且可以在计算机上完成
的工作越多越好。这就是整个制片过程如此成功的原因，因
为摄影指导可以在整个过程中都可以参与其中。 图片由工业光魔/卢卡斯影业有限公司提供

这就是以前拍片的方式。在六七十年代，摄像机拍到的就是
你得到的。然后电影摄像技师晚上回家就会想：“嗯，开车
经过穆赫兰道的那个后屏幕投影场景看起来是最好的镜头
了，因为毕竟拍出来了。”而现在的蓝幕拍摄就是让演员在
蓝幕前面拍，然后回家祈祷它能得到你想要的效果。
相较于延迟到后期制作图像，在当天拍摄时将一切准备
妥当是否能更好地达到你作为电影摄像技师的目标？
Fraser：确实如此。通常来说你需要让电影摄像师做四周的
准备，如果是大制作，可能需要八周。然后你就可以和电影
摄像技师挥手告别，迎来视效工作人员。在这种方法中，电
影摄像技师对整体的灯光和构图有更多的发言权，因此投入
这些时间是值得的，并且可以让后端的工作更加简单轻松。
你作为电影摄像技师可以直接与虚幻引擎互动吗？
Fraser：我学习了如何控制关键部分的内容，例如太阳要从
哪里升起，又在哪里落下？在特定场景中太阳有多高？我学
会了如何在空间中移动虚拟摄像机，从而契合我要的镜头。
虽然我不会直接做编程，但是学会一些控制对我也很受用。
对于想要首次尝试LED幕墙项目的电影摄像技师同行，你想
提供哪些建议呢？
Fraser：背景设计工作其实会同时涉及到制片设计师和摄影
指导。两者需要共同协作。我还希望大家理解LED幕墙的限
制。它适合柔和的灯光，不适合强烈的直射光。它可以用来
查看概念美术，也可以用来帮助你确定是不是能成功加载。
如果你要亲身在沙漠中拍摄正午的镜头，那直射的阳光就会
照射在你脸上，所以我们多年以来都使用18K来实现模拟。大
家可能没有注意到，来自太阳的所有环境光反射会照射到自
己身边的一切。你很难在影棚中重现这种效果，因为你无法
给地面打光，否则就会出现溢光并开始出现打光角度。所以
LED幕墙存在一定的限制，不过也能提供奇妙的好处。

70

图片由工业光魔/卢卡斯影业有限公司提供
当前LED屏幕有何限制？这些技术会如何发展？
Fraser：它们需要更好的亮度范围——从非常黑暗到极为明
亮。现在你可以调低LED幕墙的亮度，但降低到百分之三十
之后，它就开始变得像是草图，你也会失去许多阴影细节。
所以你的加载需要有相对较低的对比度才能在幕墙上呈现。
如果LED有更大的亮度范围和更小的间距，才不会出现摩尔
纹的问题，那样你才能得到最佳效果。
色彩技术是否至关重要？
Fraser：一个绝佳的例子就是沙漠。你可以在地上铺些真的
沙子，这样你就可以获得沙漠以外的沙地。这两种颜色必须
一样，否则你就会看到接缝，看起来就像是高中美术生的项
目。要更改你看得到和看不到的幕墙色彩是一项非常细致的
平衡工作，不过它会在地面上创建光照。所以这里就需要开
始美术工作了，而来自工业光魔的朋友尤为擅长该领域。
71
“
……电影摄像技师对整体的
灯光和构图有更多的发言
权，因此投入这些时间是值
得的，并且可以让后端的工
作更加简单轻松。
”
你觉得虚拟制片的下一步会怎么发展？
Fraser：我所看到的东西已经让我大开眼界，我也不知道未
来会看到什么。我觉得现在主要是理念的演变。在拍摄《曼
达洛人》时，我们就想要推动这项技术，我们在影棚中的拍
摄量始终是固定的，因为我们只有一片外景、一个影棚以及
一个舞台。我想制片时除了有大型的虚拟舞台，还应该有一
个小一点的虚拟舞台，其中应配备一系列可移动和操作的面
板。
我们无需使用木制布景，而是可以使用LED面板来打造背
景，然后将背景投射到LED面板上。这意味你可以多次重复
使用这些LED面板。以往在布景时，构建出来的墙面和建筑
正面用了一次以后就要拆除并丢弃。但现在我们可以使用
LED技术，这种更为智能的方式可以降低开支、重复和循环
使用资源，同时也不会降低美学品质。
 访谈：Philip Galler

访谈：
镜头内视效 - Philip Galler

Philip Galler是Lux Machina Consulting的联合CEO，Lux的业务主要聚焦于镜头内

视效、实时混合现实以及制片和现场广播的未来。Lux负责整合的LED屏幕曾用于
《曼达洛人》。Galle参与制作的作品包括《遗落战境》、《游侠索罗：星球大战外
传》。《星球大战9：天行者崛起》以及《壮志凌云2：独行侠》。

72
 你们的客户从启动会议到准备开始拍摄通常会经过怎样的
流程？
Philip Galler：我们做的第一件事就是从多个原因去考量
他们的时间线。因为我们的档期很紧张，而且我们也想确
认所有需要的硬件和人才资源是否可用。无论是现在还是
以后，内容始终都是最重要的。我们始终要关注的是让谁
去做出最好看的内容，以及如何将它呈现到屏幕上。
我们会考虑客户的创意，包括任何故事板、推销预览或技
术预览。我们与导演以及摄影指导坐在一起，讨论LED幕
墙的部署以及需要的使用比例。然后我们会设计一道幕墙
来满足拍摄的大部分需求，有些情况下还要和客户讨论可
能节省的预算以及品质，这要取决与具体的情况以及后期
制作的规划。
客户同意继续推进以后，我们就会开始做工程工作，如果
有需要的话还要负责LED幕墙的搭建工程。我们会与虚拟
美术部门合作，确保幕墙按内容正确搭建。我们会在洛杉
矶的影棚里测试所有内容。
我们会为拍摄专门搭建工具，然后等待内容完成。接下来
我们会部署影棚，做好摄像机和色彩校准。接着我们就会
开始拍摄了。整个过程会按阶段完成，从设计到工程、安
装和运作。
整合LED影棚的过程中有哪些挑战？
Galler：大家都以为出门就能买到任何LED，但实际上我
们在选择LED产品时还要考虑非常具体的一套参数。我们
还必须考虑整个系统的设计。这是一个整体的解决方案，
包括我们该如何渲染所有内容、资产的比例、延迟如何、
色彩指标等等。
73
能稍微解释一下延迟的问题吗？
Galler：我们说的延迟是指传播通过整个系统并且尽量达到
最低的延迟，同时还能保持系统其它地方的结构稳定。你还
需要努力做到同步锁定、色彩恰当，追踪系统中的延迟也要
契合时机。这些东西可能会带来更多的延迟，但也需要满足
其他部署的技术参数。
LED影棚有最佳布置一说吗？
Galler：现实就是它还是要回到设计流程中，我们会为虚幻
引擎和Houdini做技术预览，让我们可以快速分析LED部署。
人们经常会觉得《曼达洛人》就是镜头内背景的最佳解决方
案示例。实际上，我们更多是为了解决反射的问题。背景是
很棒，但要得到这种效果有多种方式。而做反射光要是用其
它方法的话费用会非常高，并且也极具挑战。
所以影棚的布置取决于一个需求，那就是曼达洛人头盔上的
大量反射光，而这个头盔完全是由铬合金打造的。还有许多
表演其实不需要用到LED产品。只需要像《登月第一人》或
《游侠索罗》那样的布置，只有摄像机后的小型圆顶，因为
那样就能解决背景的问题而不需要担心反射光。
可以谈一谈实际生成图像的硬件吗？
Galler：我们非常严格地定制了设备，也有一些非常具体的
参数来表明我们为什么要那么做。其中一部分涉及我们在任
何给定时间中需要在现场配置多少的硬件。假如我们有十台
计算机，然后我们需要八个节点和两个控制节点，而更简单
的办法是配置出满足所有需求的设备，因为如果我有地方出
错了，我也可以用其它设备去代替相应的设备。

通常由团队中的哪些工作人员负责现场的运作？
Galler：这取决于拍摄工作的参数，有没有协同摄像机、物
体追踪、演员追踪和/或动捕？是预渲染的底片还是实时的？
一个成熟的团队可能有8到14人不等。你可能需要负责摄像机
追踪的人员、负责运行计算机的人员，还有一名监制。然后
还要LED技术人员来运行LED屏幕。
你们如何使用nDisplay技术将虚幻引擎的内容传输到屏幕
上？
Galler：这项工作已经日渐简便，Epic也做得很好，让它变
得更加简单直观。不过当你不断突破极限，向着HDR和120赫
兹迈进时就出现了挑战。nDisplay可以调整并具备很多很棒
的功能，但是它不能作为一种孤立的方法。你需要整个系统
才能处理和完成这些事情。在你的视效室或小型工作室中部
署它和制作大型剧集还是有区别的。
访谈：Philip Galler
图片由Gabe Tiano提供
LED制造商是否在为虚拟制片开发专门的产品？
Galler：我们已经在LED组件方面与制造商合作六年
之久，一同让产品达到了如今的水平。未来还会推出
一轮改良的新产品。Megapixel和ROE目前是虚拟制片
行业的两大领军者。ROE是做LED的，而Megapixel和
Brompton Technology则侧重处理能力。
要在一块大型的LED屏幕中实现多个屏块的色彩统一面临怎
样的挑战？
Galler：我们必须要具体情况具体处理，购买相同批次
的LED屏块来保持色彩匹配。我们会购买同一“Bin”的
LED，这个“Bin”指的就是屏块的色彩。然后你需要了解
广播工程和AV的人员，还需要一位网络专员。在虚幻引擎
这边，需要有人编写蓝图，就像几年前我们在金球奖上做的
那样。从来都不会是即插即用的。
74

图片由Gabe Tiano提供
你们更加专注于故事片、剧集、剧场还是全部都有？
Galler：我们什么都见过，包括有一部关于健美爱好者的独
立喜剧片，还有一次是大型工作室想要将故事片拍成剧集。
然后还有1到2亿美元的制作想要使用这项技术，但苦于不知
道该怎么用它。
通常我们在拍摄汽车的场景时，大家会最容易理解这项技
术。我们会在汽车周围做好LED和投影屏幕，通过计算机查
看镜头内预渲染的图像，这个流程已经做了好几年了。
如今远程合作的需求对你的项目造成了怎样的影响？
Galler：首先得确保基础设施齐全，然后确定大家觉得这种
工作方式是否舒适。资产创作这一边要轻松一点，因为这些
美术师之前已经习惯在连接的管线中工作。但通过Zoom和
VPN进行传播导致的延迟可能会给一些人员造成问题，例如
影响导演要求做出某个特定动作。
75
我见过有人会远程连接到户外的拖车，车上装有直接的有线
网络连接。然后大家都不在一个房间里，这样更加安全，可
以减少出行。更进一步的方式是使用独立的“思维中枢”和
工程室，然后还要配备专门的人员，他们要辗转于这些领
域，并且了解如何在两端解决问题。
怎么处理IP安全的问题？
Galler：实际上许多人都必须确保网络安全并使用安全的光
纤。大多数大型团队都会这么做，但如果你的制片项目比较
小，可能无法承担相关费用。所以当你和外界连接的时候，
最好是只发送OSC和光照数据，而不是提供完整的场景。
对于有兴趣加入现场投影和整合工作的新人，你有什么职业
建议吗？
Galler：我们这个领域有来自各种背景的人才。有的去过电
影学校，或者拿过动画或视效的相关学位，有的甚至根本没
有学位。这个领域更重视的是对于诉说故事的投入和热情，
无论你是制作电影还是广播；它还需要对于技术的深度理
解，或者至少要懂网络的基础知识。最重要的一点就是不要
害怕和别人交流，你可以和他们展开对话，谈一谈你想要做
什么，并获得一对一的建议。
你认为未来几年这项技术会怎样发展？
Galler：我会看到更好的显示技术的融合，也许是OLED。实
时体积捕捉和回放也会融合，并配备更好的工具和全新的追
踪解决方案。也许还会混合AI深度学习或某种机器学习的模
型。我觉得这应该是未来五年的目标，我们应该不断尝试了
解如何改进我们现在的工作。
 访谈：Rick Famuyiwa

访谈：
执导 - Rick Famuyiwa

Rick Famuyiwa在1999年执导了自己的荧屏处女作《树林》。他执导的作品包括
《甜心情缘》、《我们家的婚礼》和《酷毙了》。Famuyiwa还执导了《曼达洛
人》第一季的两集剧集和第二季的一集剧集。

76
 你是怎么成为《曼达洛人》的导演的？

Rick Famuyiwa：我参加过一些卢卡斯影业的开发会议并见
过Carrie Beck，她是这个剧集的合作制片人。之后她打电话
给我，问我有没有兴趣参加一个关于《星球大战》电视剧集
的会议，我说“当然，我很感兴趣。”
我见到了Jon Favreau，我可能是Dave Filoni以外第一个和他
谈这个的人。他有意给《曼达洛人》和《星球大战》的世界
带来不同的视角和多样的声音。Jon带我了解了这个世界并展
示了美术作品。我们开始在电影背景上产生共鸣，最后他便
要求我加入。
Jon开始谈起他在拍摄《狮子王》时做到事情，并且进一步拓
展了它的潜力。我完全不知道它会带来怎样的结果。
但是我很高兴能加入其中并一起尝试。
为了跟上虚拟制片和LED影棚的工作速度，你遇到了哪些挑
战？
Famuyiwa：当时有一个速成班，还有视觉效果的沉浸课
程。刚开始的时候，我对视效的理解还停留在“看点乱跑”
的初级水平。Jon在叙事的时候会大量运用到视觉效果，不过
它仍然是由人物和角色驱动的。
Jon带我浏览了整个流程，一开始是VR采景，然后是设计镜
头、拍摄等所有流程。在第一次见面时，他带我进入了VR的
世界，那里是当时拍摄《狮子王》用的“荣耀石”。我有种
熟悉的感觉，因为我从小到大都喜欢玩电子游戏。我感觉在
那里很自然，也认为它是一个不可思议的工具。
所以我们通过虚拟美术部门构建了世界，然后移入这些环境
中。我学会了如何使用它来诉说故事，并使用拓展的前期预
览。我也在视效方面学到了很多。
“
这个过程中所有神秘的面纱
都被揭开了。这种创作方式
非常有趣，你可以尽情释放
自己的想象力。
”
在这个过程中，一切都不再那么神秘。这种创作方式非常
有趣，你可以让自己的想象力尽情驰骋。我觉得现在自己
的技能已经达到小学或初中的水平了。
能描述一下虚拟采景的过程吗？
Famuyiwa：你会和摄影指导一起进入这些地点，不过和
传统采景中的四面围墙不同，我可以说“好的，如果可以
在这里放一台摄像机就太好了。”（制片设计师）Andrew
Jones会说，“好的，我们把墙移动到这里怎么样？”然后
效果会很不错，堪称完美。
我之前做的是小成本的电影，你需要不断找到解决方案去
应对问题。提前预备一些解决方案当然很好。我也是花了
一段时间才完全适应这种环境，因为有许多语言对我而言
依然是很陌生的。当你明白如何运用自己的想象力之后，
就可以轻松掌握并作为电影制作人去运用它。

77
 访谈：Rick Famuyiwa

图片由工业光魔/卢卡斯影业有限公司提供

这项技术是否为你留出了和演员互动的空间？ 例如在第二章中，我们是在一片山洞里，我们花了很多时间
来决定太阳与顶部裂缝的关系，以及曼达洛人的头盔和其它
Famuyiwa：这种环境最实际的好处就是你可以走进那个地
东西的反射。这样的对话发生在非常早期，所以当你到片
点。现在你就在一片布景中了。在你拍摄的当天，你会感觉
场之后，就可以思考摄像机应该摆在哪里，开始拍摄的最好
自己可以去任何地点拍任何东西。而当演员也适应了摄像机
方法是什么。你可以自由地移动。Jon预计会有许多准备工
移动时墙的移动，那效果就会非常棒。
作，但当你在制片的时候，整个节奏会比通常的电影片场节
奏更快。
对于非常熟悉视效的演员来说，他们将得到完全的解放。你
可以用更具细节的方式与演员合作，而不是花费10%或15%
能够在镜头中完成更多拍摄并进入后期制作是否让剪辑工作
的时间去说“这里的场景是这样的，那里有一个什么样的东
更简单了？
西。”现在你可以说“我们进入场景，完成工作，把它做
好。”
Famuyiwa：大约有70-80%的镜头都是以最终水平开始制
影棚对你和电影摄像技师的工作关系产生了怎样的影响？ 作的，不过还是有许多东西需要微调。这个剧集的大部分内
容都是通过传统的蓝幕或绿幕拍摄的。所以你在剪辑的时候
Famuyiwa：相对与通常的拍摄，这里的工作早在准备流程 仍然要考虑如何整合这些东西，以及你要使用多少镜头。
就开始了。我们会考虑光照，尽管很多都是来自屏幕的互动
光。我和摄影指导很清楚这些光照是从哪里来的，也知道它
的形状和方向。我们会查看摄影测量并思考怎么让云朵和光
照穿过。

78

图片由工业光魔/卢卡斯影业有限公司提供
作为导演，你要考虑很多东西，因为每个人都知道必须把首
部《星球大战》剧集拍好，并且具有电影的观感。对我来
说，把所有东西都准备好，可以让我对剧集进行更精细的剪
辑，然后更具体地调整视效。我可以像做其它工作那样剪辑
影片，因为我已经拥有了大多数的信息。
你认为虚拟制片在如今社交距离受限的时代是不是一项有用
的工具？
Famuyiwa：关于这方面我之前想过很多。在隔离开始的
前一周，我刚刚完成第二季剧集的拍摄工作，也是最后的工
作。后期制作是远程完成的。虽然它并没有预想的那么具有
颠覆性，但依然让我开始思考这项技术，以及影棚会如何推
动制片的发展。
主要的目的是尽量减少出行，这确实带来了很多益处，尤其
是我们可以在VR的VAD中准备演出。我们不需要一大堆人来
推进工作，然后在当天你也不需要召集很多人来构建场景。
79
虽然有时候我们还是要用很多群演，但是屏幕上的动画已经
有更强的互动性，你可以用它来呈现背景深处的人群。我们
尝试了这种方法并试着在背景中呈现精灵。这可以带来有形
的益处，尤其是随着这项技术在全球的推广，成本也开始降
低了。
有意迈入虚拟制片行业的新人应该学习什么呢？
Famuyiwa：我之前回到我的电影学校时就说过它是电影
制作的未来。我热爱电影、影片以及制作电影的过程。我也
热爱技术，热衷于了解行情或未来的趋势，帮助自己诉说故
事。我想继续深入这个领域，见证如何用不同的方式去推动
它。
部署完这项技术后，你就会发现它是如此熟悉，我感觉它很
平易近人。许多电影制作人在参与其中之后，都会发现其中
的价值并用它来发挥创意。我之前一直向所有人推荐这种方
法，我们不应该因为害怕而不敢拥抱它。它用一种非常酷炫
的方式将工具交还给了电影制作人。
你认为虚拟制片接下来的发展方向是什么？
Famuyiwa：我们想到虚拟制片就会想到大制作的电影和电
视项目，但是中低成本的电影没有在多地拍摄的预算，所以
虚拟制片也可以发挥价值。这项技术让你可以前往开销过于
高昂或者你不想让工作人员亲身前去的地点。
我之前就在开发一个关于黑客的项目。当他入侵不同的电
脑，你也要前往世界各地不同的服务器地点，然后看到他从
纽约到乌克兰再到日本的旅程。在我拍摄《曼达洛人》之
后，我觉得我找到答案了。我们可以构建出这些场景，然后
让一小部分人员去各个地点，做好摄影测量，然后把数据带
回来，再在舞台上拍摄。
我还很期待成本降低之后，这项技术会发展到怎样的高度，
甚至我在构思下一个项目的时候都会思考该如何通过不同的
方式去运用它。我也乐于见到其他导演发挥创意。
 访谈：Richard Bluff

访谈：
镜头内视效 - Richard Bluff

Richard Bluff效力于工业光魔并担任卢卡斯电影公司制片视效监制，参与制作了
提名艾美奖的《曼达洛人》，他也凭此荣获美国视觉效果协会奖及艾美奖。Bluff
作为《千年隼：走私者逃亡号》的两大视效监制之一，运用了实时技术来制作这
项迪士尼乐园和迪士尼世界的模拟飞行娱乐项目。他参与拍摄了《奇异博士》，
并凭此获得英国电影学院特别视觉效果奖提名；此外，他还参与拍摄了《复仇者
联盟》、《超越云端》、《超体》以及《坚不可摧》。

80
 《曼达洛人》第一季是如何筹备的？
Richard Bluff：一开始，Epic的Kim Libreri和我讨论了这
项技术及其各种功能。之前从未有人尝试过这种类型的实时
布景拓展和如此规模的镜头内成品。我们在会议桌上各抒己
见，商讨如何通过游戏引擎实现这种效果，是使用后期制作
还是LED屏幕。
Jon Favreau让我们尝试突破极限，他看到了LED屏幕的潜
力，并推动了这项技术的诞生。最重要的是，他将所有合适
的人才汇聚在一起，一同促成了这项技术的成功。我们为此
投入了大量的技术工作，不过很少有人谈及一个可靠的制片
流程是多么重要。
能够拥有工业光魔打造的最强视效真的棒极了。但如果拍摄
当天的工作流程不稳定，加载内容的工具不够可靠，或者出
现了任何技术问题，那么这个工作流程就不会被采用。每次
我们尝试在影棚中拍摄，它都必须成功。
我一直非常相信Epic和工业光魔的团队，坚信他们可以开发
出所需的技术。我们面临的一大挑战是：如何完全改变准备
工作以及视效与各个部门的互动方式。影棚就像是配备了布
景道具的舞台并且会涉及每个部门。它需要将视效作为核
心，但也是一种沉浸式的合作，拓展了传统视效的眼界。多
年以来视效部门一直具有举足轻重的地位，因为它参与的准
备工作至关重要，但是直到后期制作阶段视效部门才得以大
展拳脚。那时候就会形成线性的工作流程，只能在已经拍摄
的内容上进行构建。
由于视效需要为拍摄生成内容，所以现在已经成为了起始阶
段的重心，使得各个部门和主创都可以直接为视效做出自己
的贡献。所有这些合作都可以帮助我们不在后期制作中造成
81
内容撕裂。LED屏幕上显示的任何东西都必须得到各个部门
的批准。光照要符合摄影指导想要在场景中看到的效果。制
片设计师会控制整个场景的外观，以及它如何与实体布景互
动。
我们的布景装饰总监Amanda Moss Serino可以装饰背景，
并且移动箱子和其它道具。通常美术部门会更像是观众，他
们会在后期查看视效环境的装饰。而在影棚的工作范例中，
他们是这一流程的重头。我非常享受与所有不同部门合作的
过程，并且通过虚拟的方式、使用数字化的布景拓展最终参
与到他们的具体制作中。
相较于更为传统的视效管线，这种流程有何区别？
Bluff：我们做的事情其实非常相似——区别就是我们是怎
么去做的、用的是什么工具。传统视效工作中一个令人沮丧
的地方就是要处理后期制作的问题，而出现这些问题的原因
就是在流程的早期没有做CG可视化。如果摄影指导无法拍摄
镜头中的布景拓展、生物或飞行的舰船，那你就需要混合底
片并在后期中诉说合适的故事，这对大家都不好。如果他们
看不见，就只能靠猜测去拍摄或者打光。
我的职业生涯起步于电子游戏，我给PlayStation的游戏构建
了数百个场景。当时会给场景相应的预算，确保它可以很好
地服务游戏玩法。它有一定的限制，但正因如此，我认为最
好的创意正是来自于限制，因为你的决策必须要考虑周全、
目标明确。
如果你问原先参与拍摄《星球大战》的人员，他们就会告诉
你当时拍摄时遇到的限制。但是正是由于这些限制，电影的
魅力、工艺和创意才得以发展。我们在为屏幕构建场景时也
是如此。我们要讨论的是：什么事情最重要？我们想要诉说
一个什么样的故事？了解这些要点之后，就可以优化布景拓
展和场景来服务故事，而不是分散观众的注意力。
 访谈：Richard Bluff

图片由工业光魔/卢卡斯影业有限公司提供

可以说一说在屏幕上保持资产性能时遇到的挑战吗？ 所以需要妥协，而制片人员需要知道哪些是可能实现的。工
业光魔对场景做了多种基准测试，了解它的极限在哪里。我
Bluff：我们每天的制片工作都会遇到限制，但问题都会在当
们会弄清楚在哪里拍摄部分动画元素最为重要。
天解决。你可以假设只有超空间和常规空间中的场景有许多
的余量空间。我们第一季中最后在影棚里拍摄的就是第六集
我们拍摄了绿幕前的真人演员并记录下来，但是这些角色片
的罗斯特机库。我们在准备和拍摄过程中的所有想法、学到
段的纹理占用的内存要比使用3D数字替身高。所以我们又回
的所有东西，都在那个场景中达到了巅峰。那是我们在影棚
去用数字替身，很多人的想法可能恰恰于此相反。当使用实
遇到的最大挑战之一，但也是最为成功的场景之一。
时游戏引擎技术时，很多传统的制片和视效规则都发生了变
化。
罗斯特大概是一个足球场大小，我们在三天的时间里拍摄了
三个不同的地点。我们有机械摇臂、一桶冒着火花并产生蒸
汽的熔化金属，还有数字替身演员在那里来回走动。以上任
何一个想法都会大量占用我们的内存。

82
 相较于在绿幕舞台上表演，影棚是否给了演员更多的沉浸
感？
Bluff：我听说演员都很喜欢和享受这种方式。大家都觉得
可以进入主舞台非常好，而且都对这种高超的技术感到非常
惊喜。当你走入影棚后还会再次惊叹于技术的运行方式。但
是很快你就会把它忘记，然后专心开始一天的拍摄工作。
相较于后期制作，在拍摄当天就已经准备好场景资产会遇到
怎样的挑战？
Bluff：我们非常幸运，因为Jon了解这些挑战，也知道这
83
种新的工作方式一开始会遇到的困难。他和所有部门的负
责人、电影制作人以及演员都聊了他的想法。他很自豪地
解释了在这个剧集中，我们要如何用不同的方式来拍摄，
这项新技术是什么以及我们为什么要拥抱它。当高层发出
这样的信息时，显然我们也必须要达成一致，并提前做出
所有决策。
之后就是要了解安排，计算每个布景需要多少时间，从而
有效地达到会得到批准的时间点。然后我们可以做性能测
试，确保它在拍摄当天可以在舞台上运行。
图片由工业光魔/卢卡斯影业有限公司提供
 访谈：Richard Bluff

在LED影棚中工作有何限制？ 随着如今不断增加的远程合作需求，你认为这项技术是否具
有优势？
Bluff：光照，因为你目前还不能使用LED面板来模拟阳光
或者得到平行光线。所以无论是Jon的编剧工作、Doug和
Bluff：肯定有的。现在剧组人员出行和差旅的需求已经降
Andrew的场景设计或者摄影指导的光照，所有人都在努力构
低了。人们可以在家中或者在舞台上工作，这样更容易掌
建一个场景来支持我们喜欢并且可以重制的光照。
控。例如随着我们在远程工作中取得的进展，我们可以将一
些“思维中枢”操作人员移出舞台。我们已经关上了影棚的
此外，摄像机聚焦LED屏幕的方式也至关重要。你在对着屏
大门，所以没有人能看到舞台，因为这需要360度的环绕光
幕聚焦的时候必须要找到正确的拍摄点，从而避免出现摩尔
线。我们也会用对讲机交流，还会使用目击摄像机。
纹。同样的道理，我们还使用了Greig和Baz选的镜头来拍出
衰减效果，让屏幕上的内容在大多数情况下都是散焦的，从
我很高兴的一点是，人们对“StageCraft”（工业光魔的虚
而帮助营造错觉。
拟制片解决方案）饶有兴趣，并将其作为可行的制片工具。
我们当时构建这个方案并不是为了避免大家去实际地点，而
这让我想起了自己在2003年刚刚加入工业光魔的时候，当
是为了用最好的方式诉说我们的故事。现在大家对它这么感
时我是在遮罩绘制部门。那时候大多数电影都是在胶片上
兴趣也证明了我们当时对这项技术的选择是正确的。
做的，当我的遮罩绘制完成到差不多九成的时候，像John
Knoll这样经验丰富的人就会过来说“那样就够了。”只是从 你认为LED舞台在未来会如何进化发展？
数字到胶片的过渡提供了额外的乳脂色，而且线条也会有轻
微的混合，显得更加柔和，还会有胶片的颗粒。对我来说正 Bluff：我们有许多想法，希望继续推进这项技术。我们想要
是这些制片过程中的“越线”行为创造了奇妙的一刻。 让它更为模块化，这样你就不必所有的场景都用一个尺寸的
LED舞台。如果它更加便携，你就可以使用LED来搭建出墙
工业光魔会在其它制片工作中使用影棚技术吗？ 壁、形状和走廊，这样就能获得极高的灵活性。我们也很期
待LED屏幕的质量进一步提高，希望有能够应对天气因素的
Bluff： 我可以自信地说，以后的每个节目和每部电影都会
精细LED模块。
有这种技术的一席之地。第一季和后续第二季取得的效果都
超出了我们的预期。虽然有限制，但是你可以在看剧本的时
例如你可以想象面前有一艘船的甲板，然后用LED屏幕包围
候快速开始把它分解到屏幕中，或者稍微调整一下概念让屏
它，你就可以在屏幕上实时播放逼真的水体模拟效果。然后
幕可以运作，这一点也是非常棒的。
你再把船放在常平架上，在周围溅起真实的水花。你可以回
顾一下这些年来我们是如何制作电影的，再想想使用LED技
术可以如何完善那些场景。

84
 访谈：
镜头内视效 - Charmaine Chan

Charmaine Chan目前担任工业光魔的首席合成师和虚拟制片技术总监。她参与的
作品包括《哈利波特与混血王子》、《复仇者联盟》、《侏罗纪世界》以及《黑
豹》。她还曾担任《曼达洛人》第一季的现场实时合成师。

85

图片由工业光魔/卢卡斯影业有限公司提供
虚拟制片和传统合成管线有何区别？
Charmaine Chan：虚拟制片最终是将视觉效果带到了制
片过程中，而不是在原来的后期制作。我们已经习惯了到
最后一步再做视效，拍摄期间基本不会说太多东西。在片
场工作是大有不同的，你可以获得导演或负责人的即时反
馈，并让整个流程更加高效。
如果使用传统的合成，你有时会为一个镜头做好几个月。
在片场你的时间是很紧的，你需要尽快做出最好的图像。
实时技术让你可以看到更加即时的结果，而不用等待最终
镜头的渲染。
访谈：Charmaine Chan
要保持性能的话，实时合成需要的图层是不是比传统合成要
少？
Chan：合成通常被视为一种“后期补救”的解决方案。所
以我们会做很多图层，因为这些在制片过程中都是不存在
的，而实时合成中你是可以看到整个图像的，我们会尝试在
镜头中找到最终的图像。
你在片场的职责是什么？
Chan：工业光魔的优秀美术师会在虚幻引擎中为我们提供
3D场景和资产，然后我们把它们呈现到巨大的LED屏幕上。
也许会出现意外的情况，例如我们可能需要校正场景中某块
石头的色彩来匹配布景中实体岩石的颜色；或者有一只巨大
的沙漠爬虫，其中一半是实体的，一半是在虚幻引擎里。这
里的关键就是要将数字场景和实体布景天衣无缝地混合在一
起。
还有许多普通的合成、调色和打光问题，你可以实时进行修
改。假如我们要做一个有山脉和烈日的沙漠场景，但是摄影
指导觉得太阳在镜头里不太符合我们想要的效果，那我们就
会移动那个3D的太阳，以摄影指导想要的方式照亮场景。这
和我平常的后期工作没有什么区别。
你们使用哪些应用软件？
Chan：我们会使用虚幻引擎来实时渲染场景，还会使用
Nuke、Maya、3ds Max和Photoshop等其它软件，让打磨过
的实时场景完全达到照片级的真实度。
相较于纯粹的绿幕，实时镜头的后期制作是不是更加轻松？
Chan：是的，当我们知道特定的资产无法使用或者由于太
大而无法在屏幕上呈现时，就会计划在后期制作时进行替
换。在拍摄第一季的时候我和其他人一样觉得不可思议，我
们竟然可以通过摄像机拍出如此复杂的镜头，而且完成度非
常高。那就是我们的最终目标——尽可能多地得到镜头内的
成品。
86
 绿幕和蓝幕拍摄的一大问题就是蓝色或绿色会溢色到演员身
上或者布景中。而当我们通过合成来去除溢色的时候，你会
损失一定的品质，有些极端情况下还会让皮肤色调显得很不
自然。如果使用LED配合相对有限的小型绿幕，就不会出现
溢色，而且还有绝佳的互动式光照。这些反射和互动光照可
以呈现完全不同的效果，尤其是碰上曼达洛人这种角色，因
为他本身就像一个巨大的铬合金球体。
工作人员能够在镜头中看到更多的画面，
是否可以提高他们的参与感？
Chan：肯定的。我记得我们在拍摄来自原版《星球大战》
的标志性酒吧时，大家都想要完全复刻它在电影中的样子。
我们用了许多取巧的方法，不过最终还是成功了。片场的人
都说感觉自己就身处原版的酒吧，其实场景里有一半的内容
完全是数字的。
有时候当你在一个场景中花了大量的时间、拍了许多的镜头
后，你会完全忘记那是一片LED幕墙，或者忘记地面和墙体
的边界。如果我们身处剃刀冠号的驾驶舱中并旋转外面的银
河，你会感觉自己真的身处太空。
除了《曼达洛人》，这项技术还用在其它地方了吗？
Chan：当然，即便是疫情开始之前，都有很多关于如何让
这项技术更进一步的讨论。我见到了许多对这个行业有兴趣
的人，涵盖游戏和VR领域等等。还有一个庞大的社区正在
推动这项技术的发展，无论是独立制作还是大片制作，大家
都确实看到了其中的潜力。
远程合作对你的工作流程造成了怎样的影响？
Chan：其实创建制片所需的图像和资产的流程非常相似。
我们通过视频聊天签到并开始每天的日常工作。在虚拟制片
方面，很棒的一点是工作室让我们可以远程工作，因为这样
你就可以在全世界联系自己所需的人才。
87
虚拟制片对片场的实体设备没有强制的要求，你可以通过流
送或摄像机来实现。虚拟制片更便于企业和个人使用，并且
也方便他们远程合作。新冠疫情进一步推动了虚拟制片的发
展，这也是电影和电视制片领域的普遍需求，而不仅是锦上
添花的选项。
人们居家工作的一大好处就是你可以随时联系他们。在片场
边坐着等半天到下一个场景的工作似乎并没有高效地利用时
间。现在人们远程工作，只有在需要的时候连接进来，然后
就可以出去完成下一个场景。我很喜欢多任务并行，所以我
认为远程合作提高了我们的效率并加快了进程。
你觉得还会在哪些其它领域看到虚拟制片的发展？
Chan：如果你看一下我们使用LED的主要领域，会发现它
主要集中在3D布景拓展。我可以想象到如果我们放飞自我地
使用镜头和动画会打造出怎样的场景。大家正在探索用创新
的方法来打造出移动的图像和场景，使其看起来像一个巨大
的世界，但其实都在一小片空间中。
之前我们有很多数字角色，演员需要与它们配合。而如果演
员可以戴上VR头显并看到这些数字角色，那就有无限的可能
性。我们越是把它带到不同的领域，就可以更好地看到它未
来的发展。
你对想要进入虚拟制片行业的人才有何建议？
Chan：我们都想尝试从视觉上诉说故事。人们可以轻松下
载虚幻引擎这样开放的免费工具并学习它。你不需要75英尺
的LED布景，你可以在笔记本电脑上使用虚幻引擎，并做一
段定格动画。虽然能够把它扩展并运用到大制作是很好，但
最好是从小制作开始。现在网上也有很多关于如何使用虚幻
引擎的教程。
进入这个领域的道路不止一条，但它终归还是电影制作，你
要使用摄像机和光照，所以打好基础很重要。你需要不断制
作内容，无论大小。利用我们拥有的技术和社区，你可以创
造很多可能性。
 访谈：George Murphy

访谈：
视觉效果 - George Murphy

视觉效果监制George Murphy在多家大型视觉效果公司任职多年，包括工业光魔、
维塔等等，目前正效力于DNEG。他参与拍摄的作品包括《侏罗纪公园》、《阿甘
正传》、《金刚》、《地狱神探》以及《东方快车谋杀案》。

88
 设计用于最终图像的可视化资产是否充满挑战？
George Murphy：你会获得一定的预算，构建资产以及该
领域多种内容，而你在完成电影设计之前就会预支大量的资
金。你必须要小心谨慎，因为重点就是不要把它当做一次性
的工作。
我和DNEG同事的一个目标就是在构建实体资产之前使其可
视化。你可以在引擎中实时运行资产，并且资产的保真度和
复杂度还将不断提高。如果你能提前开发并获得反馈，那就
能以最少的代价做出真正的决定。
我觉得最理想的状态是你在制片设计之初就能站在虚拟布景
的模型周围，有预烘焙的动画，或者你可以在虚幻引擎中通
过手势去抓住和移动资产。很棒的一点是，这些技术可以融
合到一起，让你可以更流畅、更整体地去做资产设计、制片
设计和布景采景。
随着如今不断增加的远程合作需求，工作流程有了怎样的发
展？
Murphy：全球疫情中的一线希望就是远程合作的所有安全
性问题都得到了解决——因为这是我们共同前进的唯一方法
了。我当前的项目就是和团队远程做的。我在伦敦，很多同
事在蒙特利尔，还有一些在洛杉矶。因为大家都已经在用这
种思维方式工作，所以我们实际上可以做更多的事情。
大家对此的看法是一致的。VR、AR和混合现实将更紧密地
结合到一起，所以这个流程并没有阻碍我们尝试达到的目
标。随着这个流程不断成熟，我们可以只专注于工作，它也
将变得更加方便可行。
这一切都预示着我们完成项目的方式将迎来天翻地覆的变
化。最终的目标是赋能创作者，让他们可以更加自信和高
效地完善自己的项目愿景，让他们拥有更多的创意自由并更
好的合作，因为他们打造的故事、表演、设计和图像必须
在作品中整合到一起。这就回到了我们只要拿上摄像机、
约几个人就可以出去拍摄的年代。只不过现在你可以达到
Steven Spielberg电影的制片水平。
89
相较于传统视效，实时引擎是否更加鼓励去大胆尝试？
Murphy：是的，因为在通常的管线中，你的后期计划会用
低分辨率解决所有问题，视觉拼图中重要的部分会丢失。你
会抽查部分高分辨率的画面，但你无法用完全的分辨率去全
程渲染所有镜头，这是很长一段时间里的惯例。
通过使用虚幻引擎这样的工具，你可以获得非常接近成品的
效果，然后做出真正的决定。我看到过无数在灰盒和低分率
情况下看起来很棒的动画，但是完成最终渲染之后，你就会
发现看起来不太对，或者当你给角色打光之后，观感就变
了。现在你就不用到很后面才意识到问题。
如果你用混合现实配置的话，还能获得很多好处，你可以输
出近乎实时渲染的内容，然后在当天结束时，就能得到可以
用于剪辑的片段。这些片段被剪辑的时候更像是影片，而不
是一堆等待编辑模型视效的蓝幕内容。
讽刺的是，观众会自发地去观看一部电影，但可能并不会考
虑到它是历经数年的成果。
Murphy：如果真是这种感觉，那你就成功了，因为有时候
可以感觉到投入到制片中的努力。不过我们也在寻找新的工
具，从而至少保持开发流程中关键部分的自发性。用来建
模、制作纹理、打光和制作动画的工具正在不断改进。
我觉得虚幻引擎5的演示真的非常惊艳。当看到那种实时运
行的效果之后，我真的惊呆了。不过我也考虑了设计和搭建
场景、角色以及场景中所有内容所投入的时间。通过所有这
些先行的工作，你打造了这个世界，在这里你可以做一些真
正有响应性的东西。
在开发的早期阶段就理解这个概念意味着你不会陷于桎梏。
许多自然性的东西都加入了这些工具之中，例如效果的模
拟，所以如果你需要一块石头以特定的方式落下，你不需要
花一个月的时间来设计它，只为了用交互的方式去探索概
念。
 访谈：George Murphy

视效行业内的实时工作流程是否增多了？

Murphy：我的同事和其他厂商都取得了极大进展。所有人
在自己的工作上都有不同的收获，不过大家都有一个广泛的
共识，那就是它不仅会成为工作流程的一部分，更有可能直
接成为工作流程。而且我觉得，未来的发展会非常快。

厂商的境况也很有趣，因为他们无法把无限的资源投入到新
出现的东西上。如果没有制片驱动，用来创建资产或完成开
发的资源也不会发展得那么快。其实难的是找到具备相应工
作技能的人才。你需要视效行业的传统技能，又需要熟悉这 图片由二十世纪影业提供

种新流程的游戏开发者，并且还要能快速整合像虚幻引擎这
样的开发工具。
这几乎回到了过去使用CG视效的时光，有人可以做建模和纹
理，有人可以做动画，还有人可以做灯光、渲染和合成。美
术师仍然聚焦于自己的领域，但过程更加高效。对于实时工
作流程来说，美术师越是多才多艺越好。这样在思考推进工
作的解决方案时，就能做出更好的响应，更具灵活性。
这让我想起了在ImageMover的日子，在2010年，那时我们
刚刚和Robert Zemeckis完成了《圣诞颂歌》的拍摄。当时
我们正处于一个数字屏幕制片测试的最后阶段，这是一个新
项目，我和大约六名美术师要赶紧交付出最终的成品。没有
完整传统管线的复杂性，你可以非常快速地完成各种探索。
我想要深入研究的是我们可以在制片方面推动的进步，从而
推动厂商的共同发展。所以我其实要兼顾两头。我是DNEG
在这些项目上的客户，而在内部我也是该过程中的授权合作
者，需要与团队讨论我们下一步可以做什么。
DNEG现在就非常关注LED屏幕技术，因为很多人都对它很感
兴趣，并且它是切实可行的服务。企业可能会觉得，对于许
多制片工作来说，这些配置可能过于昂贵而无法作为一次性
的项目。作为视效监制和创意总监，我想要找到更加整体的
方案来完成项目。这一系列的工具和技术组合不断扩展，使
用屏幕只是其中的一部分，它们将帮助我们用激动人心的新
方式去帮助制片工作取得成功。

有时候你需要拍航空母舰，而在早些时候你可能真的需要许
多小型快艇和游艇才能做到。但实时引擎可以用一种强大的
方式来实现。你可以作为合作者与核心主创保持联系，掌控
制片的整个过程，这不仅是因为满屋子的人可以各司其职地
共同完成一个项目，还因为可以跨国工作。在传统构架中，
一项工作要先在一个部门完成，才能到下一个部门，然后任
务就会卡在某个部门和团队。如果你可以合作完成并实时展
开，你就可以突破这些限制。

90
 访谈：
镜头内视效 - Sam Nicholson, ASC

Sam Nicholson, ASC是一位经验丰富的电影摄像技师和视效监制，还是公司

Stargate Studios的创立者。他参与拍摄的作品包括《星际旅行：无限太空》、
《威龙猛将》、《超能英雄》、《24小时》、《泛美航空》、《行尸走肉》和
《逃》。

91

你认为全球疫情对虚拟制片造成了哪些影响？
Sam Nicholson, ASC：我们上一次遭遇这种事情还是911以
后，那时候没人敢坐飞机。我们把《急诊室的故事》和《实
习医生格蕾》等等剧集都改成了虚拟制片的形式。《实习医
生格蕾》不用再赶往西雅图拍摄，《犯罪现场调查》不用赶
去纽约，《急诊室的故事》也不用再去芝加哥了。
我们创建了虚拟的“外景”，拍摄了一堆地点并创建了素材
库。制片人可以仔细浏览这个素材库，然后通过逆向工程来
呈现出伦敦、巴黎或者莫斯科的某个场景。我们现在有大约
30万个多镜头循环片段，并且还在不断增长。
这些可以结合全新的技术，例如LED幕墙、英伟达的GPU
以及Blackmagic的8K DeckLinks，它可以流送四段的8K内
容。现在你可以实时推送大量的像素。这为原本使用绿幕的
工作模式带来了变化，因为没有制片人想要在后期处理大量
的镜头。剪辑师不喜欢绿幕，导演不喜欢绿幕，演员也不喜
欢在绿幕前表演。他们宁愿坐在国会大厦的台阶上，也不愿
意盯着一个激光的亮点。
Zoom带来的远程合作非常高效，因为我们不用出差。我们
可以远程进行非常棒、非常热烈的讨论，还可以在与一帮人
讨论完以后再和完全不相关的另一帮人讨论。大家很担心会
在线上投入过多的时间，但实际上，在现场拍摄的时候，九
成的时间也都会花在筹备上。
你刚刚拍完了HBO剧集《逃》的第一季，为了构建场景，
你们在火车窗户外使用了OLED显示器，这是怎么做到的？
Nicholson：我们之前预计每集300个镜头，一共10集，总
共3000个视效镜头。虽然实际拍摄的要稍微少点，但是95%
的最终镜头都是在镜头内拍摄的。为了实现这一点，我们使
用了40台分辨率极高的82英寸4K显示器，这样就不会有摩尔
纹，并且可以完成实际拍摄。
访谈：Sam Nicholson
如果你是拍摄一小块100英尺、2.5毫米间距的LED幕墙，就
会出现摩尔纹。所以我们考虑到了这一点，在拍摄《逃》的
时候投入了相当多的时间和准备来拍摄试播集。在拍摄之前
差不多准备了一年。毕竟做足功课是实现虚拟制片的关键一
环。
我们在洛杉矶的工作室打造了一节火车，并在试拍前测试了
几个月。当HBO决定制作这个剧集的时候，我们把所有的代
码和理论都写了出来，并将其作为ThruView（穿梭式全景）
流程的一部分。我们设计了自己的追踪器，并且是无标记的
无线追踪器，因为是在火车里拍摄，你不能把标记放在上
面，也不能用电缆连接摄像头。
我们还要控制Arri SkyPanel，并且将它们的像素映射到虚幻
引擎中的片段上。如果进入一段隧道，整个火车都会变暗，
然后会有黄光闪过。一切都是自动的，这也给我们节省了
大量的时间。为了打光，我们使用的固定装置要比以往多三
倍，它们会在需要的时候启动。
虚拟制片的体验与传统视效有何不同？
Nicholson：实时的镜头内制片要简单多了，因为无论是
后勤、化妆还是场务，大家都可以走到视频村前，亲眼看到
发生了什么。有时候整个剧组都会到火车里吃午饭，因为你
会感觉就坐在火车里。相反的，拍摄绿幕的时候大家毫无感
觉，到点了就一窝蜂去吃饭，对它毫无兴趣。
当你迈入实时领域之后，所有人都会参与进来并看到实时效
果，所以可以极大地提高工作热情。演员可以看到窗外，享
受美好时光。摄像机操作员可以根据自己亲眼看到的内容来
拍摄。你可以了解情况、感受乐趣，因为你能够看反应式的
灯光，所有一切都在运作。可能你以后就再也不想用绿幕拍
摄了。
92

图片由Greg Ciaccio提供
什么样的职业背景适合做虚拟制片？
Nicholson：这会开辟一个全新的领域，为人才提供许多
新机遇。如果你是一位调色师，已经厌倦了一直待在暗室
里，那就可以来片场试一试。DIT（数字影像工程师）就是
不同领域交叉形成的职位，因为许多人其实已经具备了合成
技术。当然可以熟练使用计算机永远是好的。
我会推荐走这条路的人去学习一下虚幻引擎。从概念上来
说，它主要涉及我们可以实时完成什么内容，而且GPU的思
维方式不同于CPU渲染，年轻人很自然就会被它吸引，因为
他们不知道之前有哪些约定俗成的工作模式，所以不会受到
局限。
你对即将推出的虚幻引擎5的功能有何看法？
Nicholson：它会带来很多变化，而且我也很喜欢打破多
边形限制这一点。不过应该依然需要进行优化并和其它组件
更好地融合，就好像一台忽然提速的改装车一样。我们很期
待与Epic就有关领域展开紧密合作。
93
你认为这种工作流程在未来会如何进化发展？
Nicholson：这个流程需要从编写剧本开始。交出一个概
念性的模板是一回事，而建立创意合作关系，让我们能够
尽快介入和影响剧本的编写就是另一回事了。
例如，规模不是问题。我永远不会忘记我们在拍《新木马
屠城记》时，他们在马耳他搭建了一个超大的布景，导致
资金不足，没办法找来足够的群演。结果就是当影片中希
腊人入侵时，城墙下面就站了三个人。虚拟制片可以提供
一定的创意自由，所以编剧就需要知道有哪些自由。
如果你想要写一页在伦敦电话亭里的场景，那制片人可能
会把那一页撕掉。但是如果是虚拟制片，你可以轻松写上
半页，因为我们的库里正好就有一些很棒的伦敦电话亭。
像《谜之屋》和《黑金诱惑》等剧集就使用了我们库中的
资产，并且根据我们已有的虚拟场景进行了逆向工程。
有一天我们会回头再看现在使用的摄像机，然后说“你还
记得我们之前就是这样直接拍，摄像机完全无法拍出景深
吗？”下一波的电影级图像就是摄像机能拍出景深。激光
雷达、先进的控制AI，所有这些都会让我们更进一步。绿
幕不会消失，实景也不会消失，但是虚拟制片作为一种新
的创意工具，所有人都应该去学习。
有些导演很喜欢在这样的场景中拍摄，有些则不然。它的
实时性和便捷性越高越好，让你可以你不用戴眼镜或头显
就能触摸和看到它。但实时拍摄之后，你可以在镜头内查
看，并明白这就是最终的像素，无法回头了。
 第二章：虚拟制片工作流程

动画
鉴于美术在实时流程中的地位，虚拟制片其实非常适合动画。更重要的一点是，
游戏其实就是建立于实时动画之上的。无论是通过程序、输入设备、关键帧还是
表演捕捉来控制动画，实时技术都可以让流程更加具有互动性、效率更高。这些
动画的虚拟制片流程也可以用到真人实景电影的动画元素中。

动画不仅可以应用于角色和物体，还可以用于电影摄像本身，例如《狮子王》的
虚拟电影摄像就是CG驱动的，它采用的是传统摄像人员，并且使用了真人实景拍
摄所用的工具，例如轨道、三脚架、平移和俯仰云台、摇臂、无人机等等。

《野性的呼唤》和《奇幻森林》就通过表演捕捉和关键帧混合了真人表演和角色
动画。实时平台可以让流程更加贴近传统的制片。最后，实时动画还可以打造
没有直接实体输入的CG电影，要了解更多关于后者的信息，请查看我们与Blue
Zoom Studios的Dane Winn的访谈内容。

在疫情期间，动画可能是受到影响最小的制片领域了，因为它的大部分工作都可
以远程完成，并且可以异步完成。许多远程合作的地方都完美契合动画分散的工
作流程。例如远程会话会涉及整个剧组——包括穿着动捕套装的演员、电影摄像
技师、导演、剪辑和布景设计师，他们都可以居家参加会话。

在本节中，我们将了解多种动画管线的常见组件和工作流程，包括虚拟摄像机捕
捉（VCam）、表演捕捉、远程合作以及传统的关键帧动画。我们还会分享与工作
室负责人、导演、动画监制的访谈内容。

组件
虚幻引擎

虚幻引擎在最近几年不断完善，其中就包括改进了许多重要的动画工具。虽然它
可以和其它DCC工具实现互用，但你也可以只在引擎中就完成大量的工作。在本
节的后半部分，我们会详细讲解这方面的具体优势。

追踪解决方案

每当虚拟制片环节中需要使用表演动画时（无论是摄像机、演员还是物体），都
需要相应的追踪解决方案。追踪解决方案的形式多种多样，而工具的选择主要取
决于输入的类型和期望的结果。

94
 针对摄像机移动，你可以选择虚幻引擎中的虚拟摄像机插件作为简单的解决方
案。这个插件可以接收实时移动数据，并连接到虚拟摄像机上。这个插件提供的
灵活性意味着输入将并不仅限于实体摄像机的移动，使用ARKit的iPad也可以通过
接收现实世界的输入来操作虚拟摄像机。

现在有很多用于表演捕捉的身体追踪方案，通常是使用光学追踪或惯性感应器套
装。光学追踪器会使用特殊的红外摄像机，它们会被安排到影棚中，用来追踪放
置在套装上的高对比度标记。光学追踪的解决方案包括 OptiTrack和Vicon等。这
些系统通常比惯性感应套装更加复杂和昂贵，不过精确度和灵活性更高。

惯性感应套装则是可以独立运行的追踪解决方案，无需外部的追踪摄像机或影棚
来捕捉表演。一个比较知名的例子就是Xsens动作捕捉系统，这是一个独立的系
统，并且可以将实时数据无线流送到虚幻引擎。另一个例子就是Rokoko，它是一
个用于身体动作表演捕捉的高性价比解决方案。

除了全身捕捉，你也可以部署面部捕捉来控制虚拟角色。这些系统通常包含面部
标记并搭配了特殊的追踪摄像机或头戴式摄像机。头戴式面部追踪解决方案包括
知名的Technoprops Facial Capture系统，《阿凡达》和《丁丁历险记》就使用
了这种系统。另一种头戴式系统是Faceware Technologies的Mark IV Wireless
Headcam System，它为影视制片和现场面部动画做了优化。

Epic Games最近与3Lateral和Cubic Motion达成了合作。3Lateral开发的技术可

以打造数字人类的外表和动作，并且具有极高的真实度。Cubic Motion提供了
高度真实的面部动画技术——Persona，这项完整的实时面部动画解决方案可以
捕捉真人演员的表演并将其转换为数字动作。它使用了先进的无标记实时追踪
技术，并且可以让动画角色立即与现实世界的事件活动。要了解更多关于Cubic
Motion的信息，请查看我们与Nathalie Bergeron的访谈内容。

图片为《Apex英雄》在TGA现场推出圣诞活动Mirage’s Holo-Day Bash |

Respawn Entertainment & The Mill

95
 第二章：虚拟制片工作流程

你不用投入大量的资金也可以试验面部捕捉技术。新的应用可以使用手机或平
板的摄像头来提供成本较低的面部捕捉。这样的应用可能在精确度方面无法达
到高端系统那样的水准，但可以用来创建代理场景和实现可视化。Epic提供针对
iPhone和iPad的Live Link Face，它会使用这些设备的深度摄像机来创建面部动画
并将数据流送到虚幻引擎。

角色动画

虚幻引擎包含许多角色动画功能，例如数字人类工具、毛发模拟以及布料模拟。
要了解更多关于数字人类的信息，请查看Epic Games启动程序中的数字人类项
目。最近数字人类也迎来了一系列改进，包括改良的光照模型、真实的皮肤着色
和眼部细节等。

毛发模拟也是角色动画的关键环节。虚幻引擎4.24引入了拥有动态支持的实时毛
发渲染预览，并在4.26版本变得更为强大。为了追求最逼真的效果，引擎会按发
束来准确渲染毛发。毛发模拟也深度整合了虚幻引擎的Niagara视觉效果编辑器。
要了解更多关于毛发模拟的信息，请查看此博文，了解该系统的功能，并浏览
Weta Digital的实时毛发短片——《Meerkat》。

布料模拟对于逼真的角色建模和动画也发挥着重要作用。虚幻引擎中的布料模拟
是通过物理粒子模拟实现的，你可以使用布料绘制工具并通过角色的骨骼网格体

“
直接将布料绘制在角色上。要了解更多关于布料模拟的信息，请查看虚幻引擎布
料工具文档。
我们打算构建一个数字人
物理模拟 类会成为社会一部分的
物理模拟运用了游戏引擎技术的优势，能够将可编程的现实物理效果直接导入动 世界，大家会很难看出
画。通过使用物理模拟，场景内的物体可以像在现实世界中那样彼此互动并发生 真实和虚拟的区别。

”
碰撞。复杂的互动可以通过蓝图来程序化实现，无需使用繁琐的关键帧。物理模
拟在虚拟制片和动画中也有诸多用途，尤其是如果你想打造逼真的美术风格。要
了解物理建模的更多信息，请查看Chaos物理文档。 Nathalie Bergeron
运营和业务发展副总裁
Cubic Motion

96
 视觉效果动画

在虚幻引擎中，视觉效果动画通常是指粒子动画的子类，包括水体效果、电流效
果、火焰、爆炸等其它物理现象。虚幻引擎的Niagara视觉效果编辑器可以用于
创建和调整视觉效果动画，要了解更多信息，请查看Niagara文档。

蓝图

虚幻引擎的蓝图可视化脚本系统能够支持场景内的复杂互动。蓝图功能基于节点
并拥有以对象为本的接口，虽然原本是用于游戏设计，但也能用于所有类型的动
画。角色和物体可以通过蓝图获取特定的逻辑，使其可以在场景中实现程序化的
互动并基于用户制定的规则。例如，你可以给角色添加脚本，让他们彼此靠近时
会转身面向对方。

你还可以使用蓝图来创建动态和自适应的视觉效果，或者将实体摄像机和其它追
踪输入连接到虚拟摄像机。蓝图可以用于定义整个场景和/或单个物体或角色。要
了解更多信息，请查看蓝图简介。

Sequencer

Sequencer是一种非线性的编辑器，而它的功能绝不仅限于编辑静态片段的剪辑
点。Sequencer打造了动画工作流程的主心骨，它可以定义整个时间轴上的角色
参数、视觉效果、对象、摄像机甚至是音效。它与外部的非线性编辑器（NLE）
和音频工作站（DAW）具有高度互动性，从而提供了更高的灵活度。

相较于着重处理单个镜头的传统动画流程，Sequencer可以在制作动画时运用更
加整体的方法，因为每个摄像机、角色和物体都可以作为资产或场景中的相对关
系来编辑，你可以在整个场景中实现复杂的精修。因为渲染通常是实时或几乎实
时进行的，所以深度试验和迭代的时间和成本支出微乎其微。要了解更多信息，
请查看Sequencer概述。

97
 第二章：虚拟制片工作流程

图片由Bild Studios提供

收尾/渲染管理

因为虚幻引擎的设计目的就是让用户可以拥有高质量的实时工作环境，所以渲染
管理和收尾的工作压力要远远低于传统动画的流程。虽然虚幻引擎的实时渲染质
量通常能满足大部分应用的要求，但有时也会需要更高的图像保真度。在这种情
况下，Sequencer影片渲染队列功能就可以提供更加传统的、非线性渲染农场导
出流程。你也可以将场景分成自定义的渲染通道以优化外部合成。影片渲染队列
还可以为虚拟制片动画带来一些具体的好处，例如高品质的抗锯齿以及光线追踪
更加自然的动态模糊。要了解更多信息，请查看影片渲染队列概述以及导出自定
义渲染通道文档。

98
 工作流程
虚拟摄像机捕捉

虚拟摄像机（Vcam）捕捉可以将真人实景的动作导入完全由计算机生成的动画
中。通过将真人演员的动作连接到虚拟角色上，就可以提供连接虚拟和真实两个
世界的最佳解决方案。《狮子王》就是最近运用虚拟制片的绝佳示例，经验丰富
的电影摄像技师Caleb Deschanel, ASC将艺术眼光和直觉性的实体摄像机动作都
融入了虚拟的世界。要了解更多关于虚拟制片动画中使用虚拟摄像机的洞察，请
查看我们与导演Jon Favreau的访谈内容。

动画流程中虚拟摄像机的主要组件是连接到虚拟世界的实体摄像机控制设备。在
《狮子王》中，实体摄像机的控制设备包括三脚架、轨道、摇臂、和无人机。从
而为虚拟摄像机提供视角和实际的互动。这里并不需要实体摄像机，因为图像结
果都是由计算机生成的。

除了摄像机控制设备，你还需要一套基于感应器或标记的追踪系统，被追踪的
摄像机的动作可以直接捕捉到Sequencer。要了解更多关于虚拟摄像机捕捉的信
息，请查看我们与Jerome Chen的访谈内容。

表演捕捉

表演捕捉则是将现实世界的动作带入虚拟制片的另一种方法。真人的身体和面部
动作可以让数字角色看起来更加逼真。相较于使用关键帧或程序化动画，通过表
演捕捉来获得想要的角色动作也更加高效。

类似于VCam，表演捕捉需要相应的基础设施来捕捉现实世界的动作并将其
导入虚拟世界。身体动作可以通过穿戴感应器套装来捕捉，或者通过影棚内
的动态捕捉摄像机追踪。面部动作通常由面部标记捕捉，并且通常会搭配头
戴式摄像机或移动设备。要了解更多关于表演捕捉的信息，请查看我们 与
Christopher Sanders的访谈内容。

99
 第二章：虚拟制片工作流程

远程合作动画

在疫情期间，虚拟制片团队使用了远程合作工具来记录动态捕捉会话，并且相关
“
我们的电影制作人和美
术师已经转为居家办
公，而虚拟制片让创意
人员无需处于同一地点。借助虚幻引擎的多用户功能，一个关卡可以在多位用户 合作达到了新的水平。

”
之间轻松共享，每位用户都可以继续履行本来的职责，例如摄像师、导演、演
员、制片设计师、舞台操作员、剪辑师等。
Girish Balakrishnan
通过这种方式，动画完全可以远程制作。虽然多用户流程原本是用于局域网工作 网飞虚拟制片的总监
环境的，但也可以用于网格VPN（点对点虚拟私人网络）。Epic还根据疫情期间
的观察和大家的需求，改进了这套远程工作流程。虚幻引擎也非常适合整合其它
DCC应用，例如Maya和Houdini，以及其它支持Alembic和FBX格式的应用。要了
解关于远程合作和动画流程的更多信息，请查看我们与Edward Quintero的访谈
内容、与Jason Chen的访谈内容，以及这篇关于全新制片流程的入门博文。

传统动画

场景各方面的实时渲染和中心化枢纽使得虚幻引擎也成为了传统动画流程的理想
之选。与DCC动画应用不同，虚幻引擎可以提供高质量图像渲染的优势，并且让
你在整个开发过程中都可以运用实时游戏技术，方便你进行试验和迭代开发。

从传统动画管线转变为实时光线可能并不需要重大的人员或设备变动。总体而
言，虚幻引擎需要相对强大的台式计算机CPU和现代的GPU来提供最佳性能。许
多动画工作室都发现自己其实已经具备了必须的技术基础设施。

虽然你可能已经拥有了相应的设备，但要实现实时工作流程的过渡，通常还需要
对动画师进行培训。不过，基础概念知识和工作流程对大多数3D美术师来说并不
陌生，而且不同之处也比较少。虚幻引擎的美术师不再只聚焦于某一个特定的领
域，例如建模、布局、外观开发、光照或合成，而是成为全方位的专家并更多地
参与到镜头制作的工作中去。现在等待渲染的时间更短，同时有更多的时间处理
充满细节的高分辨率资产，并且可以在更早的阶段处理相关工作。要了解更多关
于传统动画和虚幻引擎的信息系，请查看我们与Mark Osbourne的访谈内容以及
与Dane Winn的访谈内容。

100
 访谈：
实时动画 - Jerome Chen

Jerome Chen目前在索尼影像担任高级视效监制并曾获得奥斯卡奖提名。他参与
的作品包括《极地特快》、《超凡蜘蛛侠》、《X特遣队》、《狂怒》以及《勇敢
者游戏:决战丛林》。Chen还执导了网飞动画剧集《爱、死亡和机器人》的“幸运
13”一集。

101
 访谈：Jerome Chen

你正在使用虚幻引擎制作什么项目？ 在使用虚幻引擎时你需要升级什么大型设备吗？

Jerome Chen：我们正在用它拍摄《爱、死亡和机器人》 Chen：我们与Epic以及工程团队评估了我们的系统，好在只

第二季中的一集，这是由Tim Miller和David Fincher制作的 需要做一些微小的改动。我们把显卡升级成了RTX显卡，并
剧集。我负责的那一集运用了全CG手法，风格是高端游戏的 且添加了更大的固态硬盘。这与系统团队本来就想完成的升
电影级画面，并包含人类角色和生物。我们的前端流程使用 级并没有太大差别。
了Maya、ZBrush和Houdin，但我们还是喜欢尽可能在虚幻
引擎内完成，并完成有意义的突破。这是我们第一次尝试虚 相较于传统的计算机动画，实时技术的思维模式有何区别？
幻引擎，也很期待它带来的可能性。 Chen：这项技术和相应的知识都是完全适用的，不过工作
流程截然不同。所有东西都是并行的，然后再整合到引擎
相较于已经建立的视效管线，是什么使得你开始使用虚幻引 中，这会让制片的每一步都更加成功。在更传统的串行管线
擎呢？ 中，你要先做动画再完成资产，动画得到批准以后再做光照
和效果。
Chen：几十年来我一直对实时技术很感兴趣，并且一直想
要将它引入电影和动画的视效领域。我认识Epic的 David
Morin已经好多年了，我们的交流也越来越多。当我接到
《爱、死亡和机器人》之后，我觉得这是尝试虚幻引擎的绝
佳机会，我想看看它能提供什么。我之前完全没有这方面的
经验，只是看过一些非常棒的演示和视频。

那虚幻引擎达到你的预期了吗？

Chen：肯定是达到预期了，这是一套非常强大、具有深度
的工具。而对虚幻引擎来说，我们在做的项目也算是雄心勃
勃。我们会先完成拍摄，事后再分析并找到虚幻引擎在管线
的切入点。我首先想到的是将Maya的动画导入虚幻引擎以获
得带光照的高质量样片。在我们提交并完成此流程的事后分
析时，确实发现了很多实用的机会。

你需要虚幻引擎的专门人才吗？还是说内部的美术师也可以
使用它？

Chen：鉴于时间有限，我们询问了内部的美术师，看看谁
曾经用过虚幻引擎。结果大概有二十多个人之前在其它游戏
和动画公司用过虚幻引擎。他们现在加入了项目团队，并且
工作过程中也有来自Epic的直接支持和帮助。

图片由索尼影像提供

102
 相较而言，传统管线的每一步都显得有点目光短浅。在虚 在未来的项目中你会继续使用虚幻引擎和实时技术吗？
幻引擎的实时工作流程中，所有工作都可以更早地实现整
Chen：我可不想走回头路。虚幻引擎大幅加快了可视化和
合。你可以看到自己场景中的动画与光照效果。对于创意
决策的速度，这对我来说是天翻地覆的改变。其实采纳这项
的合作与决策而言，这确实带来了很大的不同。
技术很简单，重要的是你可以通过这项技术迸发出怎样别
你认为是什么推动了大家用虚幻引擎制作视效的兴趣？ 出心裁的创意。而且，如果你不使用实时技术，就会落后于
人。
Chen：这肯定与它的不断成熟有关。Epic过去几年所做的
一切（包括《堡垒之夜》），都为大家提供了大量资源， 渲染农场的工作流程并没有被舍弃，但出于各种原因，实时
并且让他们可以重新投入到引擎中，使得大家都可以使用 技术已经成为流程中必不可少的一部分。我们会适应新的习
它，我也看到人们正在努力去了解它。 惯和工作流程。因为目前大家都无法聚在一起工作，不使用
实时技术会拖慢你的决策进度。虚幻引擎的强大之处是不仅
你有什么职业建议要给那些怀有抱负的美术师吗？ 能提供实时工具，还可以提供让我们虚拟工作的合作工具。
Chen：传统的美术和电影理论始终是必要基础。这项技术
可以让你做出很棒的东西，但它依然扎根于对传统核心理 我们的项目还涉及到表演捕捉，并且我们重新创作了部分演
念的理解，比如合成、灯光以及可以追溯到文艺复兴时期 员的形象。在表演捕捉会话上，我会驱动实时角色，为演员
的理论。你在首次开始使用数字工具创作合成图像时，并 实现角色和布景的可视化，这样他们就可以在表演捕捉的影
没有什么捷径可走。这些工具会不断演变，而你的核心美 棚中，看到自己化身为阿富汗隧道里的士兵。
术理解需要基于传统。
这种类型的可视化让他们可以更好地表演，并且想到之前没
对于远程合作的需求是否对你的工作流程造成了影响？ 有的灵感，这真的非常强大，也非常吸引人。它将会对我们
的工作方式造成重大的影响，而我们可能还没有完全意识到
Chen：这是肯定的。我是在疫情隔离期间开始这个项目
这一点。大家可能无法确切地表达它将如何影响自己的工作
的，所以前期制片是通过虚拟手段完成的。我在洛杉矶，
方式。
而我的团队在温哥华，不过我依然能在引擎里和他们每天
工作八小时。无论是建模还是浏览场景，我都是在虚幻引
我觉得实时技术就像是一台精调的改装车，它跑起来很棒，
擎里和美术师们一起做的。如果我需要在引擎里移动某样
看起来很棒，但是当它坏了的时候，你常常搞不清楚到底哪
东西，只要操作对象并调整参数即可。这样的合作几乎是
里出了毛病。相较之下，虚幻引擎制作的图像很棒，不过它
完全透明的，而且也非常高效。
也具有技术性。对我来说，这就需要在它的性能、你得到的
结果和创意过程的捷径之间找到平衡。
你还可以给客户或其他人提供一个执行文件，让对方可以
审核项目，这样他们甚至都不需要安装虚幻引擎，只要启
动执行文件，登录IP地址，就可以和我们处于同一个场景
中。工作室在审核资产时可以获得沉浸式的体验，他们也
非常喜欢这样的工作方式。这种合作方式非常有趣，还可
以远程参与审核工作。

103
 访谈：Edward Quintero

访谈：
表演捕捉动画 - Edward Quintero

Edward Quintero是Mold3D Studios的所有者兼创意总监。Mold3D专注于实时虚

拟制片、动画、VR和电子游戏。Quintero还曾在梦工厂动画和工业光魔效力。
他作为数字美术师参与的作品包括《黑客帝国》续集、《钢铁侠》、《变形金
刚》、《地狱男爵》、《疯狂原始人》以及《阿凡达》。他在疫情隔离前还参与
制作了《Slay》，这是一部为Epic Games制作的内部动画短片项目。

104
 请跟我们说说你的动画项目的开发过程。 最终的成片虽然时长不到一分钟，但我们做完了整个管线，
包括概念美术、故事板、前期预览、光照、效果和动作捕
Edward Quintero：我是在Fox VFX Lab效力的时候参与虚
捉。短片里有两个主要角色，还有一些关键帧和使用了动捕
拟制片的，那时候我担任的是虚拟美术部门的负责人。我们
的细节。我们还讨论了如何使用全新的毛发系统。
使用虚幻引擎来做虚拟制片，从而让角色动起来并且帮助导
演实现场景的可视化。我看到了工作室使用虚幻引擎的愿景
我们正在设计拟声音效、音乐等一系列声音，所以这是一部
和机遇，并使用它打造了从开始到最终画面的动画镜头。
五脏俱全的动画短片。它使用了来自虚幻引擎5 Lumen演示
的角色，当时Mold3D也有协助开发这个角色。我们创建了许
我想要进一步推动相关的学习，做了一个动画短片和相关的
多雕像、建筑和道具，并帮助完成了部分设计工作。这是从
教育培训讲座。要找到经验丰富的虚幻引擎全能专家真的很
那个项目的绝佳过渡，并且用同样的角色继续展开冒险。
难，所以我的主要想法就是启发美术师，让他们开始去体验
虚幻引擎。

105

要为实时性能优化复杂的模型是否充满挑战？
Quintero：方法与当代电子游戏工作流程中为了性能而优
化3D模型的方法差不多。首先，美术师会创建高分辨率的雕
刻资产，之后必须要优化成低分辨率的网格体。其中的细节
会以法线贴图的形式从高分辨率的模型烘焙到低分辨率的模
型上。
这种工作流程很快就会改变。网上正在热烈讨论虚幻引擎5
的演示，以及它会对创建资产的工作带来怎样重大的变化。
大家希望转变为一种更加灵活的工作流程，美术师不用再那
么担心多边形的数量，而可以更加专注于美术本身。
你们是否也在虚幻引擎中建模？
Quintero：我们确实会在虚幻引擎中做一些建模工作，不
过主要是做场景和地形。如果是角色和道具，我们会使用第
三方的应用和摄影测量。我们的摄影测量团队会扫描现实世
界中的物体并经过打磨，使其可以用于虚幻引擎中的场景构
建。像Quixel这样基于摄影测量的资产库也可以帮助我们创
建出逼真的场景。
能和我们说说你的动捕流程吗？
Quintero：首先是做故事板，然后是前期预览，这时我们
会通知动捕团队。不过虚拟制片的美妙之处就是给予导演立
即创建新镜头的自由，并且你在片场还可能获得意外的惊
喜。你在可视化一个镜头的时候还可以做出修改，并且如果
你之前只局限于前期预览，可能还会发现之前没有注意到的
东西。
虚拟美术部门（VAD）通常包含哪些人员？
Quintero：VAD负责创建场景和角色的所有资产，通常由资
产构建师和虚幻引擎专员组成，后者往往拥有电子游戏、视
觉效果以及动画背景制作经验。
访谈：Edward Quintero
现在这个部门还在变化，我们的团队也在不断学习新的工
具。如果美术师想要参与新升级的技术，这里会是个好地
方。我从事3D娱乐行业已经有二十年了，这个部门可以说让
我开启了一段激动人心的新旅程。
你是否感觉到有越来越多的视效工作室正在整合实时管线？
Quintero：如果你上网去看看招聘广告，就会发现大多数
视效工作室都在招实时美术师。他们都在积极探究并参与其
中，至少他们会在短期项目中做研发或试验，帮助自己了解
该怎样将虚幻引擎融入电影视效管线。他们会在不同的情况
下使用它，例如AR或VR游戏，也有许多不同的途径将虚幻
引擎添加到现有的工具集中。
对于远程合作的需求对你的工作流程造成了怎样的影响？
Quintero：我们的动画项目一开始并没打算远程完成，不过
我们开始项目几周之后就发生了新冠疫情，而且我们可能要
在隔离期间完成制片。在虚幻引擎中远程和虚拟地创建内容
是可能的，这个项目就是证明。
虚幻引擎让我们可以使用多年前没尝试过的远程管线。我们
现在推动这项技术也是出于工作需要。远程工作的这种转变
有助于加快合作性3D项目的基础工作，你可以在现实的工作
室场地之外完成相关的工作。所以说发明的动力是需求。
你认为实时动画在未来会如何进化发展？
Quintero：我觉得按照逻辑，下一步就是构建可以用于多个
媒介的资产。以我们的项目为例——我们会为一个动画短片
构建资产，但是理论上来说，你之后还能用这些资产来打造
一款移动端游戏或者互动式的VR体验。我们的目标是巧妙地
运用不同的媒介来构建内容。
106
 访谈：
远程合作动画 - Jason Chen

Jason Chen目前担任BRON Digital的数字化总监，这是一家会运用虚拟制片和远

程合作的动画制作工作室。Chen参与的作品包括《阿凡达》、《乔乔的异想世
界》、《铁甲钢拳》、《星际迷航2：暗黑无界》、《大黄蜂》以及《雷神3：诸神
黄昏》。

107

虚幻引擎是怎样融入你的工作流程的？
Jason Chen：我们正在做一个叫做《Fables》的项目，但
虚拟美术部门主要都在新西兰，而我们的动画实验室和场景
设计团队都在温哥华，所有的创意人员、导演、我自己以及
许多动捕演员都在洛杉矶，所以我们要通过一个虚拟工具紧
密合作。
我们在资产创建、外观开发和角色设计的早期阶段就使用了
虚幻引擎，并且一直贯彻到最终渲染和交付。我们会从真人
虚拟制片和传统动画的工作流程中汲取经验，并融合到这
个绝佳的管线中。我们还请来了Ra Vincent等真人实景拍摄
领域的专家，邀请他们指导虚拟制片团队的准备工作。Ra
Vincent是《乔乔的异想世界》和《雷神3：诸神黄昏》的制
片设计师。
从我进入电影行业，参与《阿凡达》的拍摄开始，虚拟制片
和游戏引擎技术便融入了我的血液。我真的很高兴看到它取
得了如此巨大的进步，我已经等不及要看到它在未来的发展
了。光是看到虚幻引擎5带来的可能性都已经让我惊叹不已
了。
所以所有人都是居家工作，甚至连动捕演员也是？
Chen：我们聘请的都是经验丰富的动作捕捉演员，而且他
们也是了解这个媒介的技术人员。我们会把Xsens动捕套装
装在安全箱里，然后和一台笔记本一起寄给他们。他们会把
套装穿上，然后校准并同步。我会在自己的客厅设置虚拟摄
像机，然后在两个小时内拍完整个场景。
我们还会在Perforce上工作，因为这样可以与世界各地的团
队做到每二十四小时更新一次资产。这比在一个地方的单个
团队要高效多了。工作会持续更新，内容也会构建完毕，你
会看到每天都有更新。
访谈：Jason Chen
是什么导致这个行业转向实时动画？
Chen：我之前在工业光魔工作过一段时间，那时候Kim
Libreri也转到了Epic。他在视觉效果领域拥有丰富的经验，
并能运用相关的技术打造出令人惊叹的视觉效果，他对于引
擎的贡献也使引擎的功能更上一层楼。
我的目标还包括整合动作捕捉技术，并获得基础的表演，因
为它非常宝贵。这些工具正在变得越来越好。现在我们可以
在自己家里做虚拟摄像机，回想十年以前，我们要花上一大
笔钱才能获得这样的系统并让它运行起来。所以这真的是一
个激动人心的时代，我很期待迎来下一波的内容创作热潮。
你如何管理资产的实时性能，同时保有高品质的图像？
Chen：这需要平衡。你可以在一个模型中有数百万个三角
形，但是再加上引擎提供给你的材质、着色、纹理和置换贴
图，情况就不同了。你可以优化它，让它看起来依然很棒，
让人看不出十亿或十万个多边形模型之间的差别。
对此持怀疑态度的人想要找到实时技术的陷阱，而这个引擎
是鲜活的、呼吸的，它正在变化和发展，成为一套最顶尖的
解决方案，不过你也得付出努力。它现在的迭代来自于庞大
的用户基础，其中的所有人都在为它做出贡献、帮助它成
长。
对于不擅长技术领域的创意人员来说，要
参与虚拟制片是否充满了挑战？
Chen：第一次你确实会望而生畏，但当你跨过这条鸿沟以
后，就可以告诉他们“这是地点采景、这是摄像机、这是镜
头。”而且让他们也可以适应这种方法。在拍摄《Fables》
时，我们的一位导演在疫情隔离前的一个月才第一次使用绿
幕，现在他已经可以完全在虚幻引擎中执导剧集了。
108
 “
这是一个开源的社区，
你会发现大家每天都在
突破虚幻引擎的极限。
”
作为监制和制片人，我们需要去引导他们，因为说到底电影
制作的本质并未改变。我们仍然需要中景镜头、特写镜头和
宽镜头。虚幻引擎让我们又回到了电影制作的核心，让创意
人员能够进行更多的探索。
对于远程合作的需求对你的工作流程造成了怎样的影响？
Chen：由于如今世界的局势，人们的思维方式有了极大的
转变。选择远程合作的方式看起来太过美好，甚至好像无法
实现，但现在大家认识到它是可行的，而且“迫于形势”也
必须要去理解它。现在我们可以居家工作，这为我们开辟了
一个全新的思考方式，因为我们可以从世界各地网罗最优
秀的人才来为项目做出贡献。我们的团队现在分布在三个国
家，并且正在推进一个从未有过的管线。
对于视效领域来说，实时技术是一种工作方式的转变，还是
更进一步的发展？
Chen：我觉得二者皆有。在视觉效果领域，这是一次重大
的转变；而对于我们这些专业人士来说，我们的任务就是把
它无缝地过渡给普罗大众。它的未来会变得更好，因为它已
经存在很长一段时间了，但一直默默无闻。
109
当游戏技术和虚拟现实变得更加酷炫之后，大家就会更直观
地感受到这种转变。很长一段时间里，计算机都不被视为是
酷炫的东西，直到iPhone面世。现在所有人都是技术人员
了，无论他们喜欢与否。
你对有意迈入虚拟制片行业的人才有何建议？
Chen：虚幻引擎的美妙之处在于现在所有人都处于同一个
水平，无论你是有二十年经验的视效行业老手，还是刚刚
毕业的大学生，都一样。想要进入这个行业的可以去网上
学习。Epic在这方面做得非常好，他们提供了许多相关的信
息。这是一个开源的社区，你会发现大家每天都在突破虚幻
引擎的极限。所以我的建议是做好功课，因为我们现在都是
这么做的。
你认为虚幻引擎在未来会如何进化发展？
Chen：我觉得虚幻引擎会发展为不仅是技术美术师使用的
工具，而是所有各个年龄段、各个技术领域的创意人员都能
使用的工具，从而帮助他们实现自己独特的愿景。下一步就
是构建世界，而当你构建世界的时候，也不要忘了一百多年
制片历史积累下来的技能和工具，是它们塑造了影视的视觉
语言。我们在迈入数字世界时，保留这些认知也极为重要。
我们乐于整合来自所有类型镜头（变形、球面、微距）的畸
变图像和镜头网格，这是拍摄《宾虚》的那个年代就有的东
西，而且依然用于许多电影，例如Scorsese的《好家伙》和
J.J. Abrams的《星际迷航》。我们需要在引擎中保留它们，
从而复刻这些外观。我扎根于传统视效，所以才能理解这些
畸变图像的重要性，因为每个镜头都是独一无二的，都有自
己的特质。虚幻引擎可以帮我们找到传统制片的最佳实践，
并不断推进它们，迎接新时代。
 访谈：Mark Osborne

访谈：
动画 - Mark Osborne

Mark Osborne曾担任定格动画短片《更多》的编剧、导演、制片人和动画师，并
凭借此片荣获1999年圣丹斯国际电影节特别评审团最佳短片奖。他执导的作品还包
括真人动画《海绵宝宝历险记》、《功夫熊猫》，以及《小王子》。Osborne目前
正在使用虚幻引擎开发一个全新的多功能虚拟制片管线，名为“CoLAB”。

110
 是什么激起了你对实时动画的兴趣？

Mark Osborne：在我爱上定格动画之前，我一直是做真人
影片的。我快速做了许多视频短片就是为了学习，同时也在
“
它的关键就是合作，是让尽可
学习动画。现在我爱上了虚拟制片，它可以将自发性带入动 能多的部门参与进来并交叉合
画影片的制作。
作，并且要尽早开启这种合
我们正在构建一种流程，可以使用传统的动画，并能在虚拟
布景中看到它。我们可以在迭代光照的同时继续制作影片。 作，从而让所有人都可以在低
我想要打造一种富有创意的合作方式，它虽然很难在动画中
实现，却可以在真人制片中轻松应用。
成本、低风险的环境下紧密协
作，帮助我们用最好的方式诉
你的短片《更多》蕴含了丰富的情感，你是如何创作出如此
强烈的情感的？ 说故事。
Osborne：一开始是用故事板，而且音乐也确实发挥了至关
重要的作用。每一件事情都做过规划，但当我发现自己在场
景上做的动画都非常慢的时候，才意识到性能方面的问题。
”
我不得不因为技术限制而重新构思镜头和想法。

我在此过程中学会了许多，并且也可以运用到其他领域，例
如我目前在合作式虚拟环境中所做的工作。制作影片是一个
不断探索的过程。你需要根据自己学到的东西去构建它。
在制作大型项目时，你是否会使用虚拟制片工具，例如前期
预览？
《小王子》则非常复杂，因为我基本上会在早上思考CG的东
西，下午考虑定格动画的内容。这是两种完全不同的流程，
但也促使我更想将它们融合到一起。我想要CG使用关键帧动
画角色，在实体布景中展示虚拟角色，这样就可以通过镜头
看到他们了。

Osborne：在拍摄《功夫熊猫》之前，我从来没做过CG，
后来就发展成为了将关键帧动画导入虚幻引擎，并在开发动
我也不确定它是否符合自己的流程。但后来我发现，在制作
画的同时开发场景和光照。我们的场景风险很低且泛用性很
影片时不必亲自动手使用这个工具，我可以像导演那样思考
强，这也让我们得以深入合作。我自己也是游戏发烧友，我
和工作，这倒是让我松了一口气。
也很乐于看到如今的游戏能够如此惊艳。我想要将所有这些
东西组合起来，推动这个创造性的探索过程。
随着我们不断深入这个流程，我学到的东西也越来越多。我
很喜欢前期预览、故事板以及其他让我们可以探索影片和剪
再来说说建筑布景，我们会使用超高分辨率去扫描建筑，并
辑工作的东西，这样整个影片就更加统一。我们根据演员配
且在虚拟环境中实现模拟。这样我们就可以有更多的自由，
音的即兴发挥重写了影片的剧本，并且不断改进完善。不同
不必受限于底片拍摄。我们会讨论如何使用虚幻引擎来完全
的美术师都发表了自己的看法，新的想法也因此涌现出来，
获得背景底片。我们会基于角色的开发，决定是否可以在引
帮助我们一同解决剧情上的问题。
擎中渲染所有内容，这真的太不可思议了。

111

Lip Comarella（左）和Mark Osborne（R）在虚幻引擎中合作。图片由Rhea Fischer提供
它相较于传统动画开发有何区别？
Osborne：CG动画的传统制作方法是基于2D的流程。我认
为它阻碍了发展，并且形成了一种孤立的困局。虚幻引擎提
供的环境让我们可以用独特的方式迸发创意。这样我们可以
开辟和重新建立传统CG的管线。它的关键就是合作，让尽
可能多的部门参与进来并交叉合作，并且要尽早开启这种合
作，从而让所有人都可以在低成本、低风险的环境下紧密协
作，帮助我们用最好的方式诉说故事。
我们在过程中也学到了许多经验，例如我们在拍摄《功夫熊
猫》时做的最后一组序列动画。一位动画师过来跟我说：
“当我看到整个序列打光后的效果时，我才发现角色表达出
的情感和自己的预期完全不同，那时我也明白了自己想要的
效果。”这一点对我真的非常重要，因为如果动画师能够获
得这种信息，动画序列就可以做到精益求精。
访谈：Mark Osborne
远程合作对你的工作流程造成了怎样的影响？
Osborne：当新冠疫情爆发的时候，我们都为场景构建和
底片拍摄的后勤工作捏了一把汗。后来我们开始讨论虚拟工
作，但是要解决的切实问题是如何实现。一位制模师可以自
己打造出实体模型，而我们可以扫描模型并制作数字化的复
制品。
我们正在使用的这个流程能够让大家安全地完成所有类型影
片的合作计划。如果我们能够在同样的环境中完全执行自己
的规划，那就太好了。以前你做完前期预览之后，在开始制
片时就要把预览里的东西全部扔掉重头开始。我想要能够更
快地做出影片的粗略版本，并随着时间的推移让它更加清
晰明确。这是使用此类工具的良机，因为如果我们要居家工
作，我们就得确保让工作更加行之有效。
112
 传统美术师要转入虚拟制片是否充满挑战？
Osborne：每个人的情况肯定各有不同。我很喜欢戴着头
显，因为它可以让CG非常接近实体的布景，而且我可以有更
多的灵活性，在场景内浏览并更改比例。但不是每个人都必
须深入虚拟空间来使用这种管线。
我之前和Ken Duncan合作过，他是一位传统的2D动画师，
并且CG做得非常棒。我不知道他有没有戴过头显，但其实也
无关紧要，因为我可以把他的作品导入虚幻引擎。我们还让
制模师打造了实体的建筑模型，他们也不用看到虚拟版本的
模型。
你会和更多的视效美术师或游戏引擎开发者合作吗？
Osborne：我和我的制片人Jinko Gotoh一直梦想有这么一
天，我们也和所有可能与我们合作的动画工作室和视效公司
就此展开过讨论。我对《奇幻森林》的印象特别深刻。所以
我们开始直接和Girish Balakrishnan商量，他是这一切背后
的策划者。他是第一个让我们觉得自己没有发疯的人。我当
时说我们可以用一种有趣的方式制作许多像《奇幻森林》里
那样的内容。
然后我们开始与Rhea Fisher合作，《精灵鼠小兵》里的所
有精彩内容都是出自他手。我们当时对动捕领域兴趣不大，
但是对其他所有东西都很感兴趣。Rhea立即动手，开始招
募我们所需的编程人员和沙盒开发者。我们开始和一家名为
Parallux的纽约公司合作，对方也是这一领域的突破者。我
们当时的想法是，最佳的管线开发实践要来自实际的故事创
建。现在我们有很多优秀的创意人才相助，真的太好了。
113
你对有意迈入动画领域的人才有何建议？
Osborne：我觉得最关键的就是，作为美术师你也要敢于
发出自己的声音，毕竟工具会持续变化。我刚起步的时候，
也是因为能够说好故事，才有机会和其他美术师合作，他们
在各自的专业领域都比我更优秀。我在聘用美术师时最看重
的就是这种“声音”。
我会把团队里的所有人都视为影片的制作人，因为我们是一
起合作来打造影片的。如果我在一位美术师的作品里看到了
他的观点，看到他在诉说故事，那我就知道我和他的合作可
以不仅限于技术层面。我想要和所有人讨论我们的故事。
我会让自己变得脆弱，把诉说故事的过程当做是一种自我治
疗，这样我就能够通过自己的作品产生人性的共鸣。我发现
你可以通过具体描述自己的感受来获得大家的同感。你要允
许自己变得脆弱，并找到体验中那些重要的东西。
你认为接下来这项技术会怎样发展？
Osborne：这项技术如果能让创意美术师之间可以更流畅
地沟通想法就更好了。我们之前使用了一个名为“Gravity
Sketch”的神奇工具，你可以用它快速构建场景和角色。
我们还有一位十分优秀的美术师Emanuele Pavarotti，他可
以用那个工具做出非常棒的东西。然后我们还发现可以让十
位用户齐聚同一场会议，我非常期待大家能够进一步深入
合作。
我很期待未来，我感觉随着这个工具变得越来越智能，它会
取得长足的发展。当我看到虚幻引擎5的演示时，我非常激
动。我之前从来没想过可以使用十亿个三角形，所以我很期
待使用这项技术。
 访谈：Dane Winn

访谈：
动画 - Dane Winn

Dane Winn目前担任伦敦Blue Zoo动画工作室的商业动画导演。他参与的作品包括

《狗狗英雄冒险》等商业动画、《树侠汤姆》系列以及《米飞兔的大冒险和小冒
险》。Winn最近还执导了动画短片《Ada》，该短片完全在虚幻引擎内渲染，并运
用了令人怀念的铅笔素描风格。

114

创作《Ada》的契机是什么？
Dane Winn：它来自Blue Zoo的短片计划，主要就是使
用实时游戏引擎来诉说一段真实的故事，我们也想诉说一
段关于生存的故事，可是像动画女主角那样的真实故事屈
指可数，我看到Ada Blackjack的故事之后觉得它真的非常
好。
相较于传统的动画管线，在虚幻引擎中创作的动力是什
么？
Winn：我们非常渴望试验一下实时迭代的速度到底有多
快。它的吸引力在于我们可以控制灯光，而不必花上一晚
上的时间等待渲染。我们的概念美术偏向2D并且采用了
铅笔素描的风格，这也与故事契合。我们实现了合成、光
照和着色器的真正融合。虚幻引擎让我们可以同时涉足所
有不同的区域，使我们能够以一种超乎寻常的方式看到图
像。
115
图片由Blue Zoom Studios提供
你打造这种风格是通过内置的参数还是使用了外部的插
件？
Winn：我们使用蓝图和一些C++编写了许多的工具。这真
的非常有趣，因为我之前也不知道我们可以在摄像机内做
到什么。大多数镜头都是静态的，我们使用了焦距来给动
画增添二维的质感。我们还可以在角色的边缘创建模糊的
遮罩，这些东西都是我们在Maya里做不到的。
你期待在未来的项目中使用虚幻引擎吗？
Winn：是的，我们已经开始在部分客户项目中使用虚幻引
擎了，并且还会尝试广泛使用这项技术。光线追踪等新功
能为行业带来了改变，我们现在可以获得用线下渲染器打
造的相同结果。每次我们接到新的项目，都会考虑虚幻引
擎是否适用。最主要的是先要在管线上做好准备，然后再
大规模投入制作。
 访谈：Dane Winn

实时技术带来的一切是否会改变习惯于传统动画的美术师的
思维方式？

Winn：会的——我们也改变了灯光师、合成师等等的思维
方式，并且开始把他们视为虚幻引擎的美术师。这更像是电
影摄像技师的工作，并且会运用到美术的各个领域。如果是
传统的方式，我们会渲染通道并把它们交给合成师，合成师
可能还不会涉及光照的工作。

而通过实时技术，你可以一次看到所有内容，了解自己的合
成计划，马上对它们进行整合。我们还非常热衷于只用虚幻
引擎去打造最终的画面。我们甚至都没用外部工具去上色，
完全就在虚幻引擎中制作。我们也想借此测试一下我们能用
图片由Blue Zoom Studios提供
这个管线走多远。

我们依然会在Maya中创建动画和资产，但当我们要打磨镜
头时，就会进入虚幻引擎并处理所有的材质，然后打造最终
的画面和效果。大家都觉得这一点给了我们更多的自由，因
为能够看到各个元素对接下来内容的影响。我们可以更改角
色的纹理，同时看到它如何影响合成阶段的后期处理效果。
你会利用多用户工具的优势去处理同一个项目吗？
Winn：我们使用了Perforce，所以可以同时处理同一个虚
幻引擎项目，即便我们并不在同一个场景中。比如你正在制
作光照，而对面房间的同事可能刚刚更新了雪花，那你马上
就能在你的场景中看到它。我对此兴奋不已，而且它们都是
非破坏性的。通常管线中需要大量的沟通，从而了解大家都
做到哪个阶段了。而在虚幻引擎中，举个例子，你可以专注
于创建和打磨纹理。然后你制作的纹理就会出现在光照师面
前——这种工作流程真的非常棒。
虚幻引擎作为游戏引擎，其设计源头来自并行工作的软
件开发理念，这是否能够很好地转换到动画制作中？
Winn：通常我们用线性管线比较多。而在这种方式下，我
们可以同时开始光照和动画工作。在预算方面可能差不多；
但是在时间方面，可能会缩短一半，因为你可以同时开始工
作，这真的是一个很棒的优势。
你会使用现有的硬件吗？
Winn：是的，我们有许多性能还不错的GPU，因为我们一
直用Redshift进行渲染。我们已经购入了一些NVIDIA TITAN
RTX显卡来处理当前项目的光线追踪。而在制作《Ada》
时，我们使用了级联阴影贴图，并且能够通过已经在使用的
这些显卡来获得更好的效果。
还有什么其它的工具可以在虚幻引擎中帮助你？
Winn：主要是绑定工具，但Epic已经开始引入自己的绑定
和动画工具，这一点我非常期待。我觉得绑定很重要，因为
你可以在各种程序中建模，也可以在不同的程序中做动画，
但是创建工具和控制阶段，让动画师可以实现转换是至关重
要的。
你期望Blue Zoo同时拥有实时和传统动画两种管线吗？
Winn：商业短片可能会先接触到实时管线，因为项目周期
相对较短。而对于大制作而言，在整整一年的剧集拍摄中，
所有环节都要无懈可击，所有资产都要完美无缺。在制作商
业短片时，我们有更多的空间去试验，去尝试新的工具，也
不用担心会影响到整个管线。所以我们会尝试在这些项目中
引入这种方法，等到我们觉得“好的，我们已经足够了解这
种流程了，而且我们也知道需要做出哪些改变”，再慢慢地
把它引入到大制作中

116
117
 第三章：更多的应用与机会

第三章

更多的
应用与机会

到目前为止，你应该已经全面
了解了多种不同类型的虚拟制
片，并从许多第一手资料中获
得了相关的洞察。希望你觉
得这些内容是有趣的，能够开
拓自己的眼界，挖掘更多的
机遇。所有这些都是为了说
明：世上无难事只怕有心人。

118
 你的任何想象都可以在游戏引擎中实现。引擎的灵活性可以带来无限的可能性，
你可以把它视作一个创意的枢纽，而不仅是一个渲染通道。因为你可以从一开始
就在共享、开放的环境中看到自己的愿景，你可以亲眼目睹这些画面，而不只是
做规划。

在本章中，我们将了解部分传统的应用以及虚幻引擎虚拟制片生态系统带来的机
遇。其中既包括支持虚拟制片需求的企业，例如系统整合商和现场服务供应商；
还包括提供独立插件和应用的开发商、致力于虚拟外景和资产创建及优化的服务
商。

应用：独立制作人的虚拟制片
我们所说的“独立制作人”指的是独立游戏和应用的开发者以及独立的电影制片
人。他们都拥有相同的创意工作背景，并且没有大型工作室或投资方的资金支
持。作为独立制作人经常会面临诸多挑战，因为你必须自食其力，不过也可以获
得统筹所有镜头的满足感。

许多成功的游戏开发者和电影制片人一开始都是独立制作人。他们最终会因为自
己独立制作的优秀作品而受到游戏公司或制片工作室的支持。如果你想要迈入游
戏或电影行业，成为一名独立制作人将会是一个不错的开始。

组件
虚幻引擎

虚幻引擎本身就非常适合独立开发者和制片人。因为这个软件可以免费下载，学
习和试验起来也很方便。Epic提供了一条时长15个小时的免费线上学习路径，名
为“Virtual Production Primer”。此外，虚幻商城还包含海量高品质资产以及
Quixel Megascans，可以帮助你快速开启项目。这个生态系统成本效益极佳，
并且拥有独立开发者和电影制作人组成的庞大社区，你可以从中了解他们的想法
和创意。

119
 第三章：更多的应用与机会

部门和职责
独立开发者

虚幻引擎独立开发者的世界无比广阔，因为它涵盖了一个独立游戏和应用的开发
社区，并且已然历经二十五年之久。你会发现他们用虚幻引擎打造了许多游戏资
源和示例，以及其它应用。最近，虚拟制片的世界和独立应用开发领域出现了交
集。电影制作人也开发他们自己的应用，使用虚幻引擎来协助部分制片领域的工
作。

开发独立应用的例子包括Matt Workman的Cine Tracer应用，它可以作为电

影摄像技师的故事板和规划工具。最近的一个例子是来自The Third Floor的
Pathfinder，它可以为你提供基于现实地点的虚拟采景功能。第三个例子是
Glassbox的Dragonfly，作为一项独立开发者工具，它可以帮助你在虚拟制片工
作流程中使用虚幻引擎。

独立电影制作人

虚幻引擎这项工具可以让独立电影制作人使用以往只有高端制作人才会用到的技
术，从而有效平衡了竞争环境。这种影响可能要比数码相机和编辑技术的普及还
要深远。虚幻引擎提供了大量可用的创意内容和资产，你可以尽情发挥自己的想
象力。

使用虚幻引擎创作的独立影片包括最近由Sebastian Kuder执导并获得殊荣的
科幻短片《Adam and Eve Mk.II》，还有Han Yang执导的魔幻动作短片《The
Pantheon》。你可以在2020春季学生作品展示查看更多类似的学生作品。独立
电影制作人可以运用所有传统电影技术，包括镜头选择、景深、摄像机移动、光
照、音效、音乐和对话，从而无需步入片场就可以打造自己的独立电影。

120
 访谈：
虚幻引擎开发者 - Matt Workman

Matt Workman是一位电影摄像技师，同时也是Cinematography Database的创

始人。他曾为多位艺人制作音乐视频，包括贾斯汀·比伯、50美分和吹牛老爹；
也曾为多位客户提供商业制片服务，包括谷歌、Facebook和宝马。他开发了Cine
Tracer，这是一款内置于虚幻引擎的计划和可视化工具。Workman还会通过自己的
YouTube频道Cinematography Database探索和教授虚拟制片和虚幻引擎的工作流
程。

121
 访谈：- Matt Workman

在独立开发者社区中，虚幻引擎有哪些关键的发展点？

Matt Workman：我们会从头开始构建，目的是想要确定
迈入虚拟制片的最低门槛。HTC Vive和Valve SteamVR生态
系统都非常有帮助，因为它们可以帮我们做追踪。我们只要
消费者级别的VR设备就可以启动并运行。这是几乎让所有人
都能使用实时摄像机追踪的基础技术，而且无需投入大量资
金。

我觉得Blackmagic Design是推动发展的关键合作伙伴，
它提供了价格亲民的电影摄像机，例如Ursa Mini Pro G2和
12K，还制作了DeckLink 8K Pro等视频I/O卡，这也是将片段
导入虚幻引擎的必要工具；还有Ultimatte 12，它也是行业标
准的实时硬件抠图器。Blackmagic Design还制作了控制面
板，这也很关键，因为我认为虚拟制片就意味着摄影指导和
导演也是不需要碰鼠标或键盘的。

Zeiss eXtended等镜头数据协议也让大家的工作变得更加轻
松。制造商会校准它们，而我们可以获得各种相关的实时数
据，例如焦点、可变光圈、变焦、镜头着色，以及非常重要
的畸变值。

那么在软件方面呢？

Workman：虚幻引擎的渲染品质吸引了我，也让我在这个
生态系统中投入了近三年的时间。引擎在4.20版本更新了圆
形散景后，图像看起来像是用实体镜头拍摄的一样。光线追
踪从4.25版本开始使用了折射和反射光照，使得光线的质感
更加真实。
对于远程合作的需求对你的工作造成了怎样的影响？
Workman：在2020年，电影行业有了更多的时间在家学习
Cine Tracer和虚幻引擎。这两个用户群体的工作质量都有了
大幅提升，这是非常神奇的。
我还和美术指导工会（IA 800）合作，他们已经开始使用虚
幻引擎，并且与视效和摄像机紧密协作。他们制定了自己的
图片由Matt Workman提供
虚幻引擎使用标准，我也与他们进行了交流，确保Cine
Tracer和我的虚幻系统能够保持同步。制定行业标准对远程
合作来说尤为重要，因为这样大家才能在同一个项目上实现
无缝配合。
远程工作流程遭遇了哪些挑战？
Workman：虚幻引擎有一个名为“多用户编辑”的功能，
我们可以用它在多台计算机上制作同一个虚幻项目。它就像
一个大型的《堡垒之夜》游戏，不过是在虚幻引擎里的。我
们会让演员穿着动捕套装做动作，然后电影摄像技师会去找
摄像机的角度，而美术部门可以马上调整布景。

122
 要远程实现这一点就需要VPN，但VPN目前的安装流程还具
有很强的技术性。我相信这会随着时间的推移变得更加简
单，这也是很多虚拟制片正在追求的目标。专业的远程虚拟
制片人员需要有线网络连接，从而让这个流程更加可行。
你作为虚幻引擎开发者遇到的最大的挑战是什么？
Workman：虚幻引擎非常棒，并且它的更新速度非常快，
有时候甚至我都跟不上这些变化。我的一项职责就是确保
Cine Tracer及时更新和改进，也就说要配合最新的更新，例
如光线追踪和全新的天空系统。这是一项很棒的工作，因为
我要在自己的系统中实现这些新功能并且学习它们。
我在学习虚幻引擎并制作软件时学到的一点就是要有开放的
心态。我在YouTube上分享了自己在做的工作以及我遇到的
问题。我有一个Facebook小组，那里面的成员比我更了解虚
幻引擎的方方面面。例如最近可以使用一个插件开启DMX光
照，让我们可以通过虚幻引擎控制现实的灯光。我可能对此
一无所知，但那个小组里有人知道。
你对有意迈入虚拟制片行业的人才有何建议？
Workman：虚拟现实是入门虚拟制片的一种很有趣的方
法。买一台游戏电脑，买一个HTC Vive，然后你就可以开始
使用Cine Tracer设计3D场景并制作虚拟摄像机了。如果你没
有3D背景，这会是你入门虚拟制片的一个不错的方法。
如果你有3D背景，第一步可以学习如何将Maya/3ds Max/
Blender里的资产导入虚幻引擎，然后学习如何通过实时渲
染获得好看的图像。
在这个过程中，你会想要进入虚幻引擎并开始学习更专业和
进阶的工作流程，用于前期预览和混合现实。我当时就使用
了虚幻商城里的部分免费内容，并且加入了虚幻引擎虚拟制
片Facebook小组。
123
“
在2020年，电影行业开始
真正拥抱虚拟制片，因为它
可以用相对较少的实景来制
作内容，这也是如今美国的
规定。
”
你如何看待虚拟制片在未来几年的发展？
Workman：我个人有意将Cine Tracer做成一个产消者的虚
拟制片平台，面向想要做前期预览、混合现实的电影制作人
和创作者。Cine Tracer已经用于世界各地的电影学校，而我
相信它会让更多“非3D”创作者加入虚拟制片。
我相信以后Cine Tracer的用户会开始学习虚幻引擎，从而
了解可以用于专业电影片场的自定义高级功能。一个现成
的绝佳例子就是一部名为《Nemosyne》的作品，你可以在
YouTube上看到。这是一部非常惊艳的虚幻引擎影片，由电
影摄像技师Kevin Stewart和Luc Delamare联合制作。Kevin
是Cine Tracer的早期版本测试员，也是我早期Cinema 4D插
件Cine Designer的用户。
在2020年，电影行业开始真正拥抱虚拟制片，因为它可以用
相对较小的实景来制作内容，这也是如今美国的规定。制片
人和视效公司也在寻找虚拟化的方法并开启远程合作，而虚
拟制片便满足了这个要求。无论是绿幕的虚拟布景还是LED
幕墙，我们将会在未来几年里看到虚拟制片在电影行业的飞
速发展。
 第三章：更多的应用与机会

应用：虚拟制片服务提供商
虽然虚拟制片的核心仍然需要传统电影人员，但它还给片场增加了新的职责，开
辟了新的机会。虚拟制片服务提供商的服务将包括片场技术和创意支持、虚拟美
术部门、虚拟外景、虚拟资产开发以及管理服务等。

组件
资产管理

许多虚拟制片服务提供商的服务都包括数字资产的制作和分发。例如角色和环境
的模型，用以开启他们的美术开发生涯。他们可能会以多种可视化格式反复被
利用，然后这些资产可能呈现在LED幕墙上并且由摄像机拍摄，或者用于现场合
成。最后资产可能被再次用于最终动画格式，并且通过修改用于辅助用途，例如
基于地点的娱乐活动、主题公园、社交频道、互动体验以及电子游戏。

此外，制片数据的管理也十分重要。因为虚拟制片通常会在不同的时间点回到之
前的场景或环境中，所以谨慎地组织和追踪资产、环境和布景至关重要。召回并
重新激活这些资产和参数可以赋予虚拟制片一定的敏捷性和灵活度，而传统制片
由于会涉及到所有后勤工作，因此无法实现这一点。只要你跟踪制片数据便可以
准确复制任何场景，补拍或重拍任何镜头。

因为每项资产都可能有很长的使用寿命，所以服务提供商也迎来了诸多机遇。例
如，虚拟外景服务可以像实体外景一样，场景和资产可以反复用于不同的制片工
作提供场景和资产的复用。制片设计师还可以提供数字支持服务，将传统的布景
设计专业知识投入到虚拟领域。除了现场和支持工作，还可以直接将资产出售给
终端用户。例如Epic Games的虚幻商城和Turbosquid等线上商城。

124
 部门和职责
虚拟艺术部门

虚拟美术部门（VAD）是虚拟制片流程中的一个重要部分。VAD的主要职责是开
发实时资产，包括初始的外观开发和可用于制片的模型及场景。VAD还要确保所
有实时模型的一致性和高品质，他们充当了创意人员和美术师之间的联络人，确
保所有利益相关者的反馈都能完全整合到资产中。

传统美术部门的工作通常聚焦于视效开发和前期制作。VAD的重点也没有太大的
差别，主要的区别是VAD有时候会负责交付可用于摄像机拍摄的完整资产，而不
是移交给布景搭建或视觉效果部门。因此VAD的工作相较于传统工作流程参与度
可能更广、工作也更密集，并且最终处理的最终图像比重也更高。

VAD通常是虚拟制片中最早开始工作的部门之一。它不仅要负责每项资产的视觉
品质，还要负责优化资产从而使其可以在现场流程中呈现出来。由于资产的开发
和利用贯穿整个项目过程，所以VAD还会参与虚拟采景、制片和后期制作。

资产的准备通常会涉及不同学科领域。资产可能来自于激光雷达扫描或者照片级
的纹理，也可能完全是从零开始用虚拟的方式建模的。另一种很受欢迎的建模技
巧是拼接和组合已有的模型来创建新的模型，这是传统建模师使用实体微缩模型
推广的方法。Epic最近收购了Quixel及其Megascans库，又开辟了新的起点，可
以帮助你创建自然逼真的场景和资产。

“
摄影指导会说，‘有人会
通过这里，然后出于剧情
你可以查看我们与Andrew Jones的访谈内容，深入了解VAR如何在虚拟制片环境
下与其它部门合作。

虚拟制片监制
需要给他打一下光，你们
可以做到吗？’然后我 虚拟制片监制是实体和虚拟制片团队之间的主要桥梁。他们要协调制片工作中所
们马上就可以行动。 用的内容和技术。在镜头内视效流程中，虚拟制片监制负责协调和交付制片团队

”
所需的高品质、可用于拍摄的资产。

Andrew Jones
美术指导

125
 第三章：更多的应用与机会

虚拟制片监制还要负责监管所有虚拟制片的技术，例如追踪、表演捕捉、虚拟采
景或其它为打造出具体镜头或外观而定制的技术。在主要拍摄工作开始之前，虚
拟制片监制要协调多个团队来确保在舞台上可以高效运用电影制作者的时间，并
满足他们的创意需求。

到片场以后，虚拟制片监制要管理镜头内视效的虚拟资产部署，以及让制片团队
可以与LED幕墙上显示的内容互动并提供美术指导。在制片过程中，虚拟制片监
制要负责协调与视效团队的交接。

开发者

虚幻引擎开箱即用，并且包含了诸多功能，可用于各种模式的虚拟制片工作。有
时额外的自定义或特制工具还可以增强虚幻引擎已经提供的功能。开发者服务提
供商的职责便满足了这些要求。

开发者可以与虚幻引擎直接互动，创建插件并使用基于节点的蓝图可视化脚本。
他们可以直接编辑虚幻引擎的C++源代码，从而完成修改或开启新功能。工作流程
自动化可以通过Python或蓝图实现。开发者也能通过REST API向正在运行的虚幻
引擎实例发送后端要求。

例如，摄影指导可能想要控制LED幕墙环境的视觉效果，例如天空的位置或色
调。这些都可以在虚幻引擎中手动控制。或者开发者可以打造一个简单易用的
iPad应用，让电影摄像技师可以直接掌控。

你可以查看与Matt Workman的访谈内容，了解虚拟制片中开发者的作用。

现场服务提供商

详细的虚拟制片工作包括现场合成、镜头内视效、表演捕捉、动态场景控制等
等，这些通常都需要现场服务提供商来操作设备并监督舞台的运转。这些支持服
务可能包括系统整合、IT服务、视频协助、项目管理和表演追踪。

126
 其工作涵盖配置舞台显示器、视频I/O、网络、存储、场景控制、摄像机支持以及
回放需求等。还可能涉及每日的人员配置和技术支持，从而确保舞台以最佳表现
运转，提供创意团队所需的所有屏幕内内容。这些支持服务的人员配置取决于各
制片方的具体需求。

你可以查看我们与Philip Galler的访谈内容，深入了解虚拟制片中现场服务提供商
的作用。

虚拟外景

虚拟资产可以在制片的多个阶段重复使用，也可以跨项目使用，这也催生出了虚
拟外景服务。我们已经谈论过现有的此类服务商，例如虚幻商城和TurboSquid。

视觉效果工作室也可以为特定的数字外景需求提供额外的定制服务。例如
Stargate Studios有来自世界各地的360度影片资产，并且资产库还在不断拓展，
你可以将资产重新修改成用于虚拟制片的逼真背景。网飞和卢卡斯影业等制片工
作室也开始整合资产，在制片有需要的时候实现重复利用和共享。

就好像道具店会不断增加库存一样，虚拟资产团队也一直在构建资产。资产库在
不断扩展，而存放虚拟资产的支出要远低于实体资产。随着这一趋势的持续，虚
拟外景服务的机会也将更加广阔。

除了虚拟布景和资产库，资产管理和优化的需求也不断提高。虽然可以通过编程
来实现一定程度的资产优化，但要让复杂的资产符合实时运行所需的特定性能参
数，又要保持其丰富的视觉细节，其中颇有门道。不同DCC应用之间的互用性是
资产优化的又一个关键环节，而通用场景描述（USD）等可拓展交互的新格式则
为这一点提供了助力。

要了解更多关于虚拟外景和资产库的前景，请查看我们与Sam Nicholson, ASC的

访谈内容以及与Girish Balakrishnan的访谈内容。

127
 访谈：Andrew Jones

访谈：
虚拟美术部门 - Andrew Jones

Andrew Jones作为一位建模师和美术导演，在虚拟制片领域拥有丰富的经验。他参
与的作品包括《最后的武士》、《极地特快》、《贝奥武夫》、《阿凡达》以及《奇
幻森林》。Jone还曾凭借在《曼达洛人》第一季中担任制片设计师而荣获艾美奖。

128
 请和我们聊一聊《曼达洛人》中制片设计师的职责。 早在《极地特快》的时候，我们就有了虚拟美术部门，之前
我们不是这么叫它的，但正是因为有这么一批创意人才，我
Andrew Jones：《星球大战》是家喻户晓的IP，它有自己
们才得以构建出虚拟的世界。现在我们使用虚幻引擎，我们
独特的视觉语言、美学和历史。我们想要把它带到新的地
的目标变成了最终画面，所以我们可以快速看到影片的样
方，但并不想动到它的根本。我们的任务是打造出新的世界
子。我认为VAD就像是实体搭建部门，我们会让两边同时工
和环境，并且还能返回这些地方。我们重新构建了莫斯艾斯
作。我们的实体搭建部门里有绘画师、雕刻师、石膏师、木
利小酒馆，并且在拍摄前二十分钟依然对它信心满满，这时
工师、特效师和道具师。在VAD中，我们有Substance绘画
候美术导演跑过来，在我们忘掉的一面墙上开了一个大洞。
师、ZBrush美术师和几何体整合师，而工作流程完全是一样
这种方法让设计师可以自信地修改已有的资产，真的非常有
的。
趣。

你如何决定哪些东西要做成实体的，哪些东西要虚拟投射到
LED影棚？
Jones： 我与卢卡斯影业的首席设计师Doug Chiang一起合
作，他负责美术创作。他曾与George Lucas合作多年，并
且参与了整个故事的制作。只要是他经手的地方，就充满了
《星球大战》的神韵，这一点真的很棒。
我想要让设计师们尽情发挥自己的想法。而有了我们目前使
用的技术，这一点也变得容易了。它让我想起了早期的动作
捕捉项目，我们会想象未来会发生什么，然后提前解决所有
问题。
这两个领域有很多交叉之处。例如绘画师将创建出匹配VAD
的样本，或者Substance绘画师会制作出非常棒的纹理，而
实体绘画师会尝试去匹配它们；石膏师可以帮助你实现从石
头到沙子的完美过渡。这两支团队将通过有趣的方式一同进
步，同时紧密合作。
虚幻引擎对你的工作造成了怎样的影响？
Jones：它给我的感觉非常自然。我之前在爱尔兰做过一个
制片项目，故事发生在约两万前。你要进入荒野，然后做布
景，再开始拍摄剧集。《曼达洛人》差不多就是这样。你可
以很快获得非常逼真的图像，然后快速进入到故事叙述和后
期环节。

你如何决定什么时候通过程序化来生成纹理资产，什么时候
使用摄影测量？
Jones：如果你拍摄的内容清楚干净、可以解决问题，那么
摄影测量的效果就非常好。它还能捕捉到你不必构建到定制
模型中的细节，毕竟在计算机中从零开始制作的资产仍然要
仰赖摄影来获得好看的纹理。
传统的设计工具是否顺利地融入了实时工作流程中？还是需
要使用不同的方法？
整个场景的修改也很方便，你可以给它重新打光，你可以挪
动群山。这一点也很有趣，我们之前可没有这么奢侈，也就
不会去考虑这些问题。
在实体布景中，你要搭建场景，并且要在拍摄之前交付，还
要祈祷它不会出错。不过现在我们可以提前几个月采景，然
后说“你知道吗？我们这么做真是太好了，不是吗？”你可
以克服那些困难，真是太酷了。

Jones：在拍摄这个剧集的时候，用铅笔画草图可谓困难重
重，因为我们会在不同的设计环节和制片阶段反复切换。所
以它必须要是一个快速而流畅的过程。我们尝试使用与视效
团队一样的工具，这样可以轻松切换，期间也不会有任何损
失。

129
 访谈：Andrew Jones

对于有意加入虚拟制片设计或美术指导的人才来说，现在应
该学习什么呢？

Jones：我在念大学的时候，一台胶片摄像机对我来说是无
比复杂、极为昂贵的不可企及之物，而你又必须要处理胶
片。所以你能触及到的东西非常有限。现在大家的手机上就
有很强大的电影工具，还有很多处理软件。

这时候就要拼想法了，这应该也是虚拟制片最擅长的地方。
它能够提供各种可能，只要你有想法，它就能够做出来。

能够熟练使用这种工具是很有必要的。所有刚入行的新人都
应该马上去学习它，了解适合自己的方法。你只要学习这些
程序，并且学好这些程序。只要你自己做过几次，也许就会
发现其中的难点，经历一段艰难的学习时光，而你要做的就
图片由工业光魔/卢卡斯影业有限公司提供 是克服这些困难。

《曼达洛人》带来了许多的突破，你们是否遇到了始料未及
你的工作与电影摄像技师的职责是如何发生重叠的？ 的挑战？

Jones：我觉得这种方式的合作性非常强。机会不断涌现，
Jones：是的，整个项目其实面临很大的风险。不过Jon
你可以带来巨大的改变，即便是细节的变化，在舞台上也是
Favreau一直在鼓励我们不断前进，积极寻找解决问题的方
很棒的。相较于其他方法，这种方式可以让我们更早地与摄
法。我们有过很多大胆的尝试，也有很多优秀人才相助。工
影指导合作，也就是在设计布景的早期准备阶段。
业光魔、卢卡斯影业、Epic和其它合作伙伴也给了我们很强
的信心。
摄影指导会说：“有人会通过这里，然后出于剧情需要给他
打一下光，你们可以做到吗？”然后我们马上就可以行动。
这项技术仍在发展，这也是我觉得它迷人的地方，它会开辟
许多新的领域。你只需要准备好进入这个未知的世界，看它
Rick Carter和我说过Steven Spielberg的事情。Rick之前给
会走向哪里。
他设计过许多项目，然后会在布景里放很多东西，让Steven
可以进入布景并与之互动。他会看到衣柜上的镜子，而这偶
从美术师的角度来看，你觉得这项技术在未来会有怎样的发
然的一瞥可能就让他构想了一连串的镜头。
展？

这在虚拟采景中也会发生，只要你能正确搭建并使用合适的
Jones：分辨率肯定会非常高，虚幻引擎5也会掀起巨大的
工具。你会看到这些机会，然后不断重复。它发生的时间也
变革。保真度将不断提高，所有可以让这项技术更加神奇的
提前了许多，所以在实际制片的过程中能带来诸多裨益。
东西都将不断发展和改进，成本更低且速度也更快。动画内
容——无论是关键帧、动作捕捉或体积捕捉驱动的——将会
是下一个关键领域。

130
 访谈：
虚拟制片监制 - Clint Spillers

Clint Spillers曾在维塔、Digital Domain、梦工厂和工业光魔担任制片经理、制片

监制和虚拟制片监制，参与的作品包括：《阿凡达》、《丁丁历险记》、《沉睡魔
咒》、《吹梦巨人》以及《头号玩家》。Spillers还曾担任虚拟制片监制，负责管
理《曼达洛人》第一、二季的虚拟美术部门。

131
 访谈：Clint Spillers

能介绍一下你在拍摄《曼达洛人》时的职责吗？ 虚拟美术部门的前期制作是什么样的？

Clint Spillers：我们的目标是建立一个虚拟美术部门，它的 Spillers：通常我和制片设计师会在拍摄前30周就开始合

职责其实就是一个数字搭建部门。我们会遵循制片设计师在
设计和美学上的指导，有人会负责构建舞台上的布景，并确
定应该如何装饰布景。
接着我们会和所有部门一起做虚拟采景，包括摄影指导、视
效监制、布景装饰师、构建部门、美术部门和主创等。我们
会根据各种变化并运用Epic与我们的虚拟制片合作伙伴一同
开发的最新技术，在草图、光照、舞台和布景装饰等方面做
出明智的决定。
我们不仅会对之后在LED环境中的内容做出决策；我们还会
决定实际的布景。制片设计师、摄影指导和视效监制会合作
决定方法，每个人都会参与到影棚的工作中。
作。我们会尝试确定组成VAD的关键人才。接着我会制定虚
拟美术部门和前期预览部门的工作安排，我也会叫上我们的
虚拟草图部门。我们会在拍摄开始前26到28周确定好前端人
员，然后在拍摄前大约15周开始把东西交给工业光魔。
在设计具体的场景时你们是否会考虑摄像机光学？
Spillers：我们使用了Perforce服务器来连接管线中的所有
人，并在各个部门之间共享资产。前期预览团队知道影棚或
实体布景的布局，同时我们在VAD内采景时，也会和虚拟草
图部门一同确定草图。

组成虚拟美术部门的美术师是什么样的？

Spillers：大多数人都有视效行业背景的，他们是建模师，
了解Substance以及许多可以构建资产的3D应用。还有很多
来自游戏行业的人才，他们很熟悉如何构建和设计游戏，了
解如何优化开销巨大的资产并使其可以在引擎内用高帧率实
时运行，方便我们完成采景。

这个部门还有专门的助理美术指导。数字构建和实体构建的
交叉点需要一一对应，因为你要将实体的内容拓展到虚拟的
LED环境中。这个部门里还有擅长摄影测量的人才。

我们非常仰赖布景装饰师来布局需要不断虚拟化的实体空
间。所以我们需要用摄影测量法捕捉，然后做成虚拟资产并
放入我们的场景，再交给视效部门。我们有来自工业光魔的
优秀美术师，他们会使用代理VAD模型作为构建草图，并将
其用作最终内容的参考，以便为LED屏幕创建内容。他们还
要精修场景，使其具备《星球大战》的美学风格。

图片由工业光魔/卢卡斯影业有限公司提供

132

接着我们会和摄影指导一对一检查，如果他们在VAD拍摄
了什么，我们要确保它可以配合草图。这个过程多少会涉
及到技术预览。我们就像是身处同一个大房间，还有一条
一直在运作的通讯线。
你们是如何处理屏幕和实体布景之间的缝隙的？
Spillers：我们搭建的所有东西都是用英寸或毫米为单位
的，所以实体部件要和虚拟拓展严丝合缝。需要使用什么
板材和原材料？那个台阶要多大？如果有通道，它要如何
连接到虚拟通道上？我们越早让大家参与进来，越早
133
图片由工业光魔/卢卡斯影业有限公司提供
和视效监制、工业光魔的场景监制、摄影指导合作做出决
定，这样我们提供给工业光魔的指引就越成功，他们会负责
创建最终的资产，并确保现实和虚拟一一对应。
你们是如何为LED幕墙优化场景性能的？
Spillers：在剧集的前端工作中，我们会尝试确保所有东西
都经过优化。这样当你在采景的时候，内容才能以较高的帧
率实时运行。打包交给工业光魔之后，他们的团队会在自己
的引擎里优化这些资产，这也是最终画面场景在布景中实时
渲染的方法。
 访谈：Clint Spillers

这些工具是否适合当前远程合作的时代？ 使用虚拟制片。所有人都可以尝试虚幻引擎。我们可以不用
派20个人去实地采景，而是能够在引擎中让他们远程采景，
Spillers：当然合适，而且用虚幻引擎组建团队给了我们
并且实时做出决策。
很大的帮助。我们这类工作非常仰赖Perforce服务器，不
过也可以做远程采景。如果我们的主创有工作站和头显，
当我们拍摄《头号玩家》时，我们会准备在布景里实体搭建
那就完全可以举行线上会话，大家都能远程参加。
的场景。我们要了解需要多少隔间，有多少拓展空间。我们
可以对一个地点做虚拟采景并做出关键决策。如果我们不会
对于想要在虚拟美术部门开启自己职业生涯的新人，你有
拍到布景的某个部分，就不需要搭建它，从而可以把资金用
什么建议吗？
到别的地方。
Spillers：我鼓励大家都开始使用虚幻引擎并观看相应的
越来越多的传统部门将迈入虚拟美术部门的世界，制片行业
教程。去熟悉Maya和Substance Painter，并且将资产导
也会继续仰赖于它。其他电影制作人也在联系我，他们也不
入到虚幻引擎中。我推荐有兴趣的人才去Epic Games的
一定是要做LED幕墙，而是想要建立VAD来帮助自己提前做
网站看看，了解一下《虚拟制片实践指南》。此外也可以
出决策，他们想要使用引擎实现这一点。我看到有越来越多
学习过去的虚拟制片项目，例如《头号玩家》、《丁丁历
的人参与其中，这也将带来更多的想法。
险记》、《阿凡达》以及《吹梦巨人》，从而了解这些工
作流程是如何发展的。除了教学和教程，你还可以阅读所
有的资料，进入虚幻引擎，尝试一些基础的东西。

你认为虚拟制片接下来的发展方向是什么？

Spillers：《曼达洛人》是一部非常有技术野心的剧集，
不过如果是独立影片或者短片，规模和预算有限，也可以

图片由工业光魔/卢卡斯影业有限公司提供

134
 访谈：
可视化 - Alasdair Coull

Alasdair Coull长期以来一直对VR和VR充满期待，并在苹果2017 WWDC的主旨演讲

上展示了虚幻引擎和苹果ARKit的首次整合。他此前曾担任维塔数码特别项目副总
裁。Coull已从事电影视效工作多年，参与作品包括《猩球崛起》、《阿凡达》、
《复仇者联盟》、《钢铁侠3》、《超人：钢铁之躯》以及《速度与激情7》。

135

能跟我们说说你在维塔的职责吗？
Alasdair Coull：我的正式职称叫做特别项目副总裁，这意
味着我会参与很多的工作，从主题公园的过山车到虚拟制
片，而且许多工作都会涉及虚幻引擎。维塔数码已经积极从
事虚拟制片多年，最早可以追溯到原版的《阿凡达》。它是
虚拟制片的里程碑式电影，而维塔为此构建了许多工具、流
程以及技术，从而实现James Cameron的想法。维塔自那之
后也在不断发展和改进。
过去几年变得更加有趣了，我们看到了虚幻引擎的发展，看
到了它在前期预览和现场舞台的可能性。之前我们会使用绿
幕布景，你只能想象它的大概样子。现在你可以通过LED幕
墙在摄像机中直接看到它。
实际上，维塔还在最近和Avalon Studios及Streamliner
Productions合作，在新西兰搭建了一个实时LED舞台。我们
看到大家都对它很感兴趣，显然这些工作流程对大制作电影
和低成本、小市场的项目都大有好处，尤其是既想要维持预
算，又希望能够在屏幕上呈现出特别内容的小项目。
我对实时技术非常感兴趣，因为我喜欢快速的反馈，并且我
觉得这也是许多电影制作人开始使用这种流程的原因之一。
它为创意流程开辟了新的方式。你做的迭代越多，结果也就
越好。随着工作流程变得更加简单快速，这可以帮助大家实
现更多创意、改善最终品质。
你能想一个例子，说明一下可视化工具是如何改变项目创意
流程的吗？
Coull：好的，在我们制作《霍比特人VR体验：暗影神偷》
时，我们用了《霍比特人》电影里巨龙史矛革的对话，并把
它导入虚幻引擎，快速构建出体验。我们尝试各种了内容，
为的是找到合适的节奏和叙事流程。我们能够快速拖入动
画、在时间轴上滑动调整，可视化不同的资产和角色动作，
所有这些都可以实时配合对话，这对我们塑造故事至关重
要。
访谈：Alasdair Coull
“
……这些工作流程对大制
作电影和低成本、小市场
的项目都大有好处，尤其
是既想要维持预算，又希
望能够在屏幕上呈现出特
别内容的小项目。
”
其中有许多有趣的过程，而最终的结果与纸面上的大有不
同。我们在尝试不同想法时会在VR里看到效果，并且身处场
景之中，能从各个角度看到不同的动作和视效，这意味着我
们可以快速迭代，因为我们能够真正沉浸在观众的体验中。
我们确切知道如何打造观众的体验，因为我们自己亲身体验
过。
VR和AR可视化工具现在已经普及到电影制片的流程中，从
VR虚拟地点采景到拍摄时可以在地点上准确呈现CG内容的
增强现实，我们已经构建了各种工具来协助创意流程。
相较于传统的视效管线，现在能够看到接近最终渲染保真
度的临时图像，这是否对整体的工作思路造成了影响？
Coull：我觉得相较于思路的改变，它更像是管线中不同的
部分。通常底片给相关部门以后就可以开始做视效了。现在
它则移到了流程中不同的节点。不过要实现LED拍摄依然需
要做很多资产准备工作，比如你要投入大量时间去制作预建
资产，你要确定自己在制作正确的东西。
136

传统视效工作流程中还是会有这种构建过程，只不过放到了
流程的后段。这自然会影响到导演的整体工作思路，因为有
些创意选项可以放到前面来，这无疑会对后续的工作带来诸
多益处。实时技术开启了一种全新的工作方式，并且大多数
创意人员都对此感到非常期待，因为他们拥有了最新的工
具，而且可以在流程的早期就探索许多不同的创意方向。
对于远程合作的需求对你们的管线造成了怎样的影响？
Coull：多年以来，我们都会聘请来自其他国家的人士来指
导动捕拍摄，并且效果也很好。也许是因为维塔位于新西
兰，所以我们在这方面很有经验，而如果是在洛杉矶，他们
可能已经习惯说“来我们办事处，我们要看一下。”我们制
作了许多工具和技术来和身处不同时区的人员合作。
137
图片由二十世纪影业及维塔数码提供
虚幻引擎的多用户合作工作流程就非常适合远程合作。使用
LED幕墙也可以帮助你遵守健康与安全的规定，不用让所有
人都同处一室。即便大家在不同的地方，依然可以看到相同
的场景，同时还能实时移动场景。我们在许多国际合作中都
使用了这些技术，并且它还在飞速地发展。
你对想要进入虚拟制片行业的人才有何建议？
Coull：现在虚幻引擎能够带来各种令人惊叹的可能性。很
有趣的一点是，我看到很多经验丰富的业内人士都开始尝试
虚幻引擎，并做出了非常棒的内容。所以你尽管去下载和尝
试创作，还可以使用虚幻商城和Quixel的资产制作自己的短
片。
 访谈：Alasdair Coull

图片由二十世纪影业及维塔数码提供

你也可以使用HTC Vive追踪自己的摄像机甚至是你的 我们也看到了相应的发展，例如虚幻引擎5。它将带来更具

iPhone。所有这些都可以让你在家完成创作。这在之前需要
非常高端的设备和复杂的工作流程，而如今这些工具几乎唾
手可得，同时依然好用。现在居家工作的人也能带来令人印
象深刻的作品，只要你展现出自己的热情和积极性，努力学
习这些工具，这一点是非常重要的。
细节的实时资产，并且开辟激动人心的新机会。当你能使用
同样的核心资产做前期预览和最终渲染时，就会改变我们的
工作方式。它可以赋能创意人员，帮助他们更快做出决策，
并大胆尝试自己的想法。

你认为虚拟制片接下来的发展方向是什么？

Coull：我希望这些工具在电影制作流程中变得更加普遍和
精简，这样可以开辟许多的机会并赋能更多人，让他们可以
深入探索并使用这些工具。随着流程和界面的发展，我们将
会看到更多制片工具集的发展。对于我们来说，我们很高兴
能运用二十五年来积累的专业知识，让我们的工具结合虚幻
引擎的强大之处，打造出突破性的图像。

138
139
 第四章：总结

第四章

总结

140
 虚拟制片的下一步是什么？
在2019年，我们发布了首册《虚拟制片实践指南》，了解了许多使用这种管线的
优秀项目——其中有很多项目我们当时还无法讨论，这次也是如此。虚拟制片不
变的一点就是会不断创新和创造，如果你采用这种方式，就可以享受成功。

全球遭遇了始料未及的疫情，这也改变了电影制作行业及其与虚拟制片的关系。
虽然疫情给世界造成了损失，但也为我们互动和合作的方式带来了巨大的变化，
其中有许多变化似乎会永久保留在电影制作行业。远程合作从一个“锦上添花”
的选项变成了所有电影制作人和大部分人“不可或缺”的工具。幸运的是，虚拟
制片技术完美契合远程工作流程。

图片由MELS Studios提供

不过当疫情过去，当这种必要性和挑战性不复存在之后，我们还想深入探究它，
思考它的未来。我们在本指南中采访了许多富有远见的专业人士，他们都对未来
有自己的真知灼见，大家可以设想体积摄像机、混合游戏以及剧场体验。

141
 第四章：总结

回想一下如今使用互联网的合作体验，你可以使用电子邮件、短信、社交媒体、
视频电话以及线上会议，但这只是冰山一角，而提炼并融合了混合现实以及所有
这些体验的“元宇宙”即将问世。

作为人类，我们都喜欢听故事，并希望将故事的意义应用于自己的体验之中。元
宇宙将带来现实与虚拟世界的混合，给我们共享、重叠的体验。它会通过视觉计
算让我们从潜意识的层面参与其中。

而面对所有这些可能性，非常棒的一点是像虚幻引擎这样的工具可以完成转换，
满足我们人类的任何想象。如果你已经看过虚幻引擎5的演示，应该可以感受到我
们正在不断突破想象力，而这一切才刚刚开始。

142
 抢先预览下一册《虚拟制片实践指南》
我们希望你喜欢《虚拟制片实践指南》第二册。在这两册的指南中，我们聚焦于电
影和电视制片，但如果你只熟悉这些领域中的虚拟制片，可能会惊讶于虚幻引擎还
能用于许多其它的娱乐形式，并且同属于虚拟制片的范畴。所以在之后的指南中，
我们将拓展到其他形式。

虚幻引擎首先是一款聚焦于游戏开发的引擎。我们会学习一些特定游戏和交叉领域
的案例研究，然后了解引擎内和游戏内体育和活动市场的快速发展。在过去的几年
里，《堡垒之夜》中举办了许多先锋级的特殊活动，这款家喻户晓的游戏本身也是
由虚幻引擎打造的。

最近的例子包括 Travis Scott 的虚拟演唱会，它吸引了超过1200万观众同时观看，

还有一个是 Marshmello音乐会，当时也吸引了超过1000万名粉丝围观。除了音
乐活动， 《堡垒之夜》 还曾举办了电影制作人活动，包括 《信条》的预告以及
Christopher Nolan精选系列，我们精选了他的影片并在《堡垒之夜》中直接播
放。导演J.J. Abrams 还以虚拟形象现身《堡垒之夜》，在千年隼中介绍《星球大
战：天行者崛起》的预告片。这些特别活动都使用了影视虚拟制片中的工具，让真
人可以进入游戏引擎并参加现场虚拟活动。

我们还将了解虚幻引擎如何使用实时虚拟制片技术来增强现场活动，例如Andy
Serkis就为虚拟角色打造了表演捕捉，使用的是皇家莎士比亚剧团为《暴风雨》打
造的舞台。音乐人Childish Gambino也曾广泛应用虚幻引擎来营造出奇幻的实时环
境，为现场活动“灯塔” 音乐会的体验锦上添花。

我们期望深入了解这些工作流程，并向创意人员了解他们是如何实现那些独一无二
的项目的。根据我们收到的第一册指南的反馈，这样既可以作为参考，也可以作为
新虚拟制片计划的推广工具。

虚拟制片的社区还在不断扩大，我们期待你也能加入其中。你可以在虚幻引擎论坛
上告诉我们你接下来想要了解哪些内容，在未来的指南中想要听到谁的真知灼见，
再次感谢你花费宝贵的时间阅读本指南。

143
 第四章：总结

图片由Bild Studios提供

图片由Media Apparat提供

144
145
 深入学习的资源

深入学习的
资源

146
 虚拟制片资源
虚拟制片是一个不断发展的生态系统。以下是我们向你推荐一些由Epic Games提
供的资源以及其它学习资源。

Epic Games资源
• 《虚拟制片实践指南：第一册》

• 虚拟制片中心

• 虚幻引擎博客

• Unreal Build: 2020虚拟制片大会

• nDisplay 技术

• 选择实时表演捕捉系统

其它资源
• 视觉效果社会

• 视效之声

• 虚拟制片Facebook小组

• 前世今生

• 视效指南

• Deloitte: 内容创作的未来

• 现场工作博客

147
虚拟制片工作流程示例

概念或纸上设计 推销预览

互动式体验

辅助资产
前期制作

最终交付
虚拟美术部门

资产创建
虚拟采景

后期
特技预览
可视化

前期预览

技术预览

编辑

前期预览编辑

主要拍摄工作
虚拟摄像机

后期预览

动捕

绿幕 协同摄像机
LED幕墙
ICVFX

148
 游戏引擎

智能舞台

149
 术语表

术语表
HMD

OSC

色彩技术

150
 动作设计 分布式渲染 延迟
视效预览的一种特殊形式，使用3D资源来规划和 让引擎的多个实例并行处理同一场景，以提高总 信号从发送地到目的地之间的延迟。专家认
设计真人特技。也称作特技预览。 分辨率和质量。 为，10毫秒以下的延迟对于实时摄像机的操作
至关重要。
屏幕比例 扩展现实（XR）
图像或屏幕的宽度与高度之比。影视制作资源的 虚拟现实、增强现实和混合现实的统称，以及这 细节等级（LOD）
常见比率有：1.85:1、2.35:1、16:9。 类技术可能带来的所有前景。 以较低分辨率显示对象，可用于在资源距离摄像
机较远时提高性能。通常会生成几个不同级别的
大气 眼球追踪 细节等级，每个细节等级的分辨率都不同。LOD
雾、烟、火或其它基于物理的实时渲染的视觉特 面部捕捉的一个组成部分，能够记录眼球的运 通过消除高分辨率对象的顶点而产生。
效，由游戏引擎提供。 动/凝视。
查找表（LUT）
增强现实（AR） 视场（FOV） 一种数学修改表，用于转换原始摄像机图像和
一种将CG元素整合到现实环境中的技术。 某个人或某台摄像机在特定时刻所能看到的可观 所需显示图像。
察世界的范围。
位深度 地图关卡
一种用于存储数值的二进制数值，例如存储像 视锥 虚幻引擎中的“地图关卡”相当于电影制作人
素的颜色。位深越高，精确度就越高。在8位图 虚拟世界中显示为摄像机视口的区域。 所说的“布景”或“片场”。
像中，红、绿、蓝通道分别可以显示256种颜色
值，总计1670万种颜色。16位图像能将这个数值 最终画面 混合现实（MR）
提高到约4.3万亿种颜色。 具备足够高质量的图像，能够作为电影或电视的 将虚拟对象锚定到现实世界并允许用户与之交
最终输出画面。 互的过程。
蓝图
借助UE4中的蓝图可视化脚本语言创建的脚本， 游戏引擎 摩尔纹
能够定义资源的交互方式。 一种为创建实时交互内容而设计的软件开发环 让摄像机直接聚焦LED屏幕时会出现的干扰图
境，最初用于视频游戏，但现在用于许多其他 案。
思维中枢 用途。
虚拟制片的神经中枢，负责控制实时硬件和软 动作捕捉（动捕）
件。 图形处理器（GPU） 记录人类演员动作并利用这些信息为数字角色
一种特殊类型的微处理器，经过优化后用于显示 模型制作动画的过程。
中央处理器（CPU） 图形并执行非常特定的计算任务。现代实时引擎
包含了数百万晶体管的集成电路，可以用来执行 的性能严重依赖于GPU。 动作匹配
各种计算。 通过将动作与所需的姿势匹配，在动作捕捉动
触觉反馈 画中营造更高真实感的过程。
电影动画 通过向用户施加压力、振动或温度变化来重现触
交互体验中预先渲染好的非交互类片段。也称 觉的技术。 尼特
作“过场动画”。 一种用于测量显示器荧幕在给定面积内向人眼
头部追踪 发出的光量的方法。
色彩技术 头戴式显示器通过陀螺仪、传感器、摄像机等设
摄像机传感器捕捉部分光谱的能力。 备跟踪用户头部运动并投射正确图像的方法。 OpenColorIO（OCIO）
一种能够在多个图形应用之间以一致方式处理
过场动画 头戴式显示器（HMD） 颜色转换和图像显示的系统。
交互体验中预先渲染好的非交互类片段。 一种为VR、AR或MR显示CG内容的设备。
OSC
数据捕捉 高动态范围（HDR） 通过平板电脑等设备控制实时游戏引擎属性的
在主要摄影期间捕捉的重要细节，例如摄影参 比使用标准数字成像技术的图像拥有更大动态亮 屏幕控件。
考、灯光参考、激光雷达扫描、摄像机元数据 度范围的图像。HDR图像能在更大的明暗范围内
等。 保留细节。 表演捕捉
一种先进的动作捕捉形式，包括脸部和/或手指
顶点消除 沉浸感 动作，能够捕捉表情细节。
减少细节以优化资源的实时性能。为实时动画和 沉浸在数字环境中的感觉。
后期制作动画创建的资源之间的一个关键区别。 摄影测量
震颤 通过多张2D照片自动构建3D模型。
景深 在虚拟现实头显内感受到的图像抖动或颤动。
摄像机中焦距最近和最远的物体之间的距离。

151
 术语表

推销预览 通用场景描述（USD）
在制作前将剧本或片段视觉化，通过演示概念来 皮克斯的开源场景交换和组装格式，广泛应用于
吸引投资者和工作室。 电影行业。

后期预览 虚拟美术部门（VAD）
在实景元素拍摄完成后，对电影的视觉特效进 为传统的视效预览、特效后期制作和虚拟制片提
行视觉化和设计的过程，目的是在投入最终特 供所有的低分辨率资源材料——例如角色、道
效的制作前，对电影进行临时的图像制作、剪 具和布景。
辑和试映。
虚拟摄像机（Vcam）
预可视化（前期预览） 游戏引擎中的一种摄像机，可以通过iPad等设
前期制作中的一段流程，指在主要拍摄前以视觉 备驱动。
方式筹划电影、商业或音乐视频中的场景。
虚拟绿幕
道具 直接在LED幕墙上创建的绿幕，用于合成。
在虚拟世界和真实世界都一样的东西。
虚拟灯光
光线追踪 使用LED屏幕直接照亮场景或者将其作为互动/
一种用于生成图像的渲染技术，通过在图像平面 反射灯光。
上以像素形式追踪光线路径并模拟光线与虚拟物
体接触效果的技术。 虚拟制片（VP）
真实世界和数字世界的交叉部分。虚拟制片允许
实时渲染 导演使用真实的摄影棚拍摄，但可使用实时技术
以足够快的速度将场景转换为显示像素，以便产 来查看虚拟环境和角色并与之产生互动。
生实时播放效果。相比之下，传统的离线渲染可
能需要几分钟甚至几个小时才能生成一帧画面， 虚拟现实（VR）
而显示一秒钟的动画需要24帧画面。 一种沉浸式体验，通过头显营造逼真的图像、声
音和其他感觉，用于复制一个真实场景或创造一
刷新率 个想象中的世界。
电子显示器的刷新频率，通常用赫兹（Hz）表
示。较高的刷新率可以使运动看起来更流畅。 虚拟采景
使用VR技术来分享布景模型，从而规划镜头及
重定位 设计拍摄目标。
将动作捕捉数据应用于具有不同身体几何形状的
CG角色。 监控摄像机
放置在布景中的摄像机，用于提供镜头的不同视
布景装饰 角。它可以帮助我们全面了解场景中的动作。
电影行业中片场工作的一部分，游戏中并不使
用。

智能舞台
一个专门为虚拟制片搭建的舞台，包括LED幕
墙、追踪系统和实时功能。

特技预览
视效预览的一种特殊形式，使用3D资源来规划
和设计真人特技。亦称作动作设计。

技术预览
使用3D资源对场景进行技术分析，包括：摄像
机类型、镜头、距离、片场要求、特技以及在进
入场景前拍摄故事所需的其它任何信息。

152
虚拟制片实践指南
诸如George Lucas（《星球大战：第一集》）、Steven
Spielberg（《人工智能》）、Peter Jackson（《指环
王》）、Robert Zemeckis （《极地快车》）和ames
Cameron （《阿凡达》）等导演最初都采用了借由实时渲
染增强的虚拟制片。

2009年，来自ASC、ADG、PGA、ICG和VES的成员成立
了虚拟制片委员会。该委员会分享了有关在影视项目中
利用虚拟制片的案例研究，并率先制定出许多该领域内的
相关定义。

本 实 践 指 南 建 立 在 委 员 会 的 工 作
以及实时计算机图形学最新发展的基础上。
这些最新发展令现在的电影人更容易接触到虚拟制片。

© 2021 Epic Games版权所有