镜头内视效概述

介绍了在沉浸式LED摄影棚中拍摄电影时,如何运用"镜头内视效"来拍摄实时视效

Windows
MacOS
Linux

镜头内视效(In-Camera VFX)是一种令人激动的全新理念,用于在实时拍摄中直接拍摄实时视效。此技术依靠LED光照、实时摄像机追踪和实时渲染离轴投影这三者的结合,实现前台演员和虚拟后台之间的无缝整合。其主目标是消除对绿幕合成的需求,以便让摄像机直接拍摄最终成像。对于制作高品质实时视效来说,其中一个最大的挑战就是如何同步所有技术,以便同时推进所有内容。

虚幻引擎(Unreal Engine) 通过多种系统(如nDisplay、Live Link、Multi-User Editing和Web Remote Control)支持此技术。此文档涵盖了该工作流程所需的功能,以及在为镜头内视效创建拍摄场景时需要考虑的事情。

在LED摄影棚中使用镜头内视效的场地

一个在LED摄影棚内、采用镜头内视效的拍摄场地。箭头标记了摄像机的内视锥,并从摄像机视角进行渲染。

上图显示了在沉浸式 LED摄影棚(LED volume) 中采用in-camera VFX的场景。主LED墙上所示的画中画将显示摄像机视图,其被称为摄像机的 内视锥(inner frustum) 渲染。此内视锥代表从摄像机视角的视场(FOV)(基于当前镜头焦距)。内视锥中所示的图像随摄像机在场景内的移动,而通过实体摄像机进行追踪,并始终显示摄像机的虚拟对等物在虚幻引擎环境中看到的内容。当通过真实世界的摄像机进行查看时,系统会形成一个视差效应,并利用完整的虚拟3D世界而非扁平的背景板形成在真实世界位置中拍摄出来的感觉。

在摄像机视场外的LED摄影棚中显示的内容被称为 外视锥(outer frustum)。此外视锥可将LED面板转变为物理组的动态光源和反射光源,因为这些面板以虚拟世界包围组集,并还原光线照射在真实世界位置上的效果。摄像机移动时,外视锥保持静态。这模仿了光照和反射在真实世界中不随摄像机移动的原理。 每个拍摄点可架设于虚幻引擎环境中的预期位置,并指示用哪种外视锥渲染照亮当前场景。

LED面板

LED舞台设计及其预期用途是in-camera VFX设置不可或缺的部分。所需的LED摄影棚内面板数量,及其布局方式推动实现剩余的硬件设置。LED面板可置于环绕actor的弧形图案中,以提供更好的环境光照和反射。它也有利于提供LED天花板,为整个场景的环境光照和反射做贡献。旨在创建完全虚拟的环境的制片过程可能需要至少270度的封闭体积,以实现精确的组集光照和反射。如果组集的主体部分为实体构建,且该组集仅一部分需要虚拟世界,如组集窗口,那么可以考虑单面或曲面墙。其他因素,包括制片预算、实体空间限制以及某些情况下,生产商面板的可用性,都会影响LED舞台的设计。

LED摄影棚后方柜体视图

LED摄影棚由箱体数组组成,这些箱体能够以任何配置排列。此图像显示了LED摄影棚的背面。

LED摄影棚由 箱体(cabinets) 群集构成。每个箱体都有一个固定的分辨率,范围可低至92x92像素(作为户外标识),也可达到400x450像素的超高分辨率(用于室内显示器)。每个箱体的实体尺寸随制造商的不同而异。

LED处理器(LED processor) 是将多个箱体组合成数组,以显示单一图像的硬件及软件。你可以在LED处理器驱动的画布内,以任意配置排列箱体。在大型LED舞台上,可能会有十个或更多的LED处理器为无缝LED墙提供驱动力。

像素间距(Pixel pitch) 描述了箱体内的像素密度,以及与整体分辨率的关系。像素间距通常以毫米为单位表示,代表各LED灯之间的距离。LED距离越近,间距越小,像素密度也就越高。更高的像素密度意味着更高的分辨率和图像质量,也意味着每个箱体的成本更高。

低像素间距的箱体并不一定适合你制片,因为还必须考虑其他许多因素,如视角、颜色偏移、颜色一致性,以及散热情况等。你可以咨询专业的LED系统整合商,以确定最适合你的产品。

LED墙上的云纹图

你可以看到光学瑕疵、云纹图出现在此图像左侧的LED墙上。

页面、像素间距和摄像机传感器尺寸距离的组合有助于你确定应该距离LED墙多远,以在拍摄墙上物体时不会看到任何视觉瑕疵。在LED上进行拍摄时的一个视觉瑕疵是 云纹图(moiré pattern)。云纹图是一种常见的光学瑕疵,当显示系统和摄像机传感器像素发生轻微偏移时出现。当摄像机对焦平面与LED面板在3D空间中对齐时,可能出现云纹图。建议将摄像机焦点置于LED正面或背面,以便让图像略微失焦。当与LED表面呈现出严重倾角时,也经常出现云纹图。尽量让摄像机与LED表面呈直角。

硬件

带有三个渲染节点的硬件布局示例。点击查看大图。

In-Camera VFX可能要求在影片现场准备有带各种功能的连接设备网络。图中所示为带有三个LED面板的组集硬件布局示例。下表解释了设置中各种机器设备的作用。有关镜头内视效相关的具体硬件信息,请查阅镜头内视效推荐的硬件

设备

说明

主时钟

主时钟是系统的讯号核心。其确保所有接收或记录数据的设备在拍摄过程中保持同步。

网络

强烈建议为所有设备配备带有高吞吐量的受保护LAN网络。

nDisplay渲染节点

每个渲染节点驱动LED摄影棚的一部分。这表示每个节点都需要一个 NVIDIA GPU以及一张 NVIDIA Quadro II Sync 卡。

虚幻引擎主站

这是通常用于配置舞台布景的主要运算工作站。其还运行其他应用程序,用于启动nDisplay群集、远程控制网页应用程序以及多用户服务器。

虚幻引擎编辑器—(Tech Art)

此工作站位于多用户会话中,供艺术家进行实时场景调整,更多以舞台表演为中心的运算符则保持主设备上内容的正常运行。

虚幻引擎记录

此工作站通过Take Recorder,记录拍摄期间摄像机、光源和道具的更改。

虚幻引擎合成

此工作站在Composure中渲染实时合成。这是设置中的可选项。

虚幻引擎VR探查

此工作站带有VR头戴设备,可在拍摄过程中探查环境。这在拍摄影片和单独使用时都作用明显。

Perforce代理

Perforce代理是一种现场快速连接外部Perforce服务器的选项。

远程控制网页应用程序

这是一种使用HTML、CSS和JavaScript框架编写的网页应用程序,可通过带有网页浏览器的平板电脑或设备远程控制场景。

摄像机追踪

摄像机追踪可能涉及光学、功能或机械追踪,以派生出摄像机的3D位置。此设置可能包括由追踪公司提供的小型PC或服务器。

摄像机

这是现场的数字电影摄像机,并可以与摄像机追踪系统配对。

Video Village

这是视频播放和回看中心。

摄像机追踪

in-camera VFX制片所用摄像机的现场拍摄

需要通过摄像机追踪,将摄像机的位置和移动从真实世界转发到虚拟世界。通过此技术,可将摄像机的正确视角渲染至相对的虚拟环境中。有若干种通过in-camera VFX进行摄像机追踪的不同方法。

摄像机追踪的最常见方法包括:

  • 光学追踪(Optical Tracking):光学追踪系统利用专门的红外感应摄像机来追踪反射或主动红外标记,以确定拍摄摄像机的位置。

  • 功能追踪(Feature Tracking):与追踪光学追踪系统所使用的自定义标记不同,功能追踪涉及对真实世界对象特定图形的识别,并将其作为追踪源。

  • 惯性追踪(Inertial Tracking): 惯性测量单元(IMU)包含陀螺仪和加速度计,以确定摄像机的位置和方向。IMU通常配合光学和功能追踪系统使用。

建议为in-camera VFX使用测量摄像机位置和方向的多个源头,如集合了惯性追踪的光学追踪。多源头与任何单一技术相比,可获得更好的整体摄像机追踪数据。

Live Link是虚幻引擎内摄取实时数据的框架,这些实时数据包括摄像机、光源、变形和基本属性。对于in-camera VFX,Live Link在分发被追踪的摄像机信息方便具有至关重要的作用,并可将其启用以配合nDisplay将追踪信息送至每个群集节点。虚幻引擎通过Live Link实现了对多种摄像机追踪合作伙伴的支持,其中包括Vicon、Stype、Mo-Sys和Ncam,以及多种其他专业追踪解决方案。请参阅Live Link Plugin 了解更多信息。

镜头内视效的时间码和同步锁定

在in-camera VFX影片现场,务必保证所有设备之间的高精度同步。每台设备,如摄像机、计算机和追踪系统都带有一个内部时钟。即便两台设备完全一致,其内部时钟仍可能互不同步。如果未统一,会导致出现显示方面的问题,如画面撕裂。通过nDisplay进行Genlock以防止出现此类问题。请参阅nDisplay中的同步 ,获取关于nDisplay中同步和同步锁定的更多信息。

除了同步显示外,引擎的时间码和帧生成需要匹配来自摄像机的输入。如何在所有设备之间同步时间码以及genlock引擎的步骤,请参见时间码和同步锁定

当为in-camera VFX搭建环境时,务必注意nDisplay带有一些需要考虑的特定限制。应避免如SSGI、SSAO、SSR、晕映、眼部适应和泛光之类在页面上间隔排列的效果。由于这些效果的性质在页面上间隔排列,在nDisplay系统内的两个集群节点之间会出现边框问题。

In-Camera VFX多用户编辑

展示VR探查中某人视角的两张图,来自多用户会话内的摄像机

左图是多用户会话中VR探查专用设备的视图。右图表示显示摄像机视角和用户VR探查表现形式的LED墙。

多用户编辑 系统实现了可靠的协作,以支持任何类型的更改。主运算符设备负责场景修改,和对nDisplay渲染设备的实时更新。你可以在相同的多用户会话中拥有多个运算符设备,实时执行不同的任务并修改场景。示例中的设备专用于VR探查,并可通过Composure进行实时合成。由一台设备运行多用户服务器,然后其他所有设备均连接至该服务器。来自这些设备的任何场景变更,都将在之后以操作的形式从服务器发送至所有其他设备。从概念上讲,引擎内任何可被 撤销(undone) 的操作都可以被处理,并通过多用户服务器发送。

如需了解如何在项目中添加多用户编辑,请参阅多用户编辑入门 。当无法在你的网络中进行服务器自动发现时,请执行高级多用户网络 中的步骤。

实时合成

一个采用镜头内视效的场景,展示摄像机视图内的绿幕,但仍使用LED墙制作光照和反射

带有绿幕的组集仅在摄像机视图内可见。外视锥仍将显示来自虚幻引擎环境的渲染,以便制作光照和反射。

对于无法在in-camera最终步骤中实现的拍摄部分,系统提供了回退选项。内视锥可通过可调的追踪标记轻松更改为绿幕。外视锥可继续显示来自虚幻引擎环境的渲染。

通过绿幕拍摄和后期合成的两张图

由于此组集在外视锥中使用了LED墙制作环境光照和反射,你可以看到摩托和actor眼镜的真实世界反射,即使最终拍摄中的背景已经被合成。

仅在摄像机视场内使用绿幕可最小化特定拍摄中所需的绿幕数量。更少的绿幕意味着更少的绿幕溢出到actor和场景上。继续显示来自外视锥上虚幻引擎环境的渲染,可以让制片过程仍利用到真实世界光照和in-camera VFX的反射能力。 二者都对合成用绿幕元素的改良做了贡献。

绿幕拍摄也从实时合成中获益,其允许电影拍摄人员和执行人员更全面地了解在经典的绿幕环境下,最终拍摄效果将如何。 这些合成在编辑预览镜头时也非常有价值。

Composure 是用于实时合成的虚幻引擎框架。通过这一组功能,你可以将实时视频源、AR合成、绿幕镶迭、垃圾遮罩、颜色校正和镜头失真加入你的镜头中。Composure是一种灵活的系统,你可以在其中扩展和创建你自己的材料效果。请参见Composure 了解更多。

In-Camera VFX的远程控制

由于在in-camera VFX拍摄中涉及如此多的设备,通过网页应用程序实时控制场景会非常有用。例如,你可以从网页应用程序更改颜色校正、光照和虚拟actor位置。在In-Camera VFX示例项目中包含的,是一个通过Node.js、Vue和虚幻引擎网页远程控制制作的样本网页应用程序。其展示了你如何将此技术整合到你的制片工作流程中。请参见Web Remote Control ,了解关于虚幻引擎中网页远程控制的更多信息。

拍摄过程中通过网页应用程序远程控制场景以更改背景

网页应用程序在为拍摄调整场景时,非常有用。在此组集中,网页应用程序被用于在拍摄过程中变换天空效果。

颜色校正

in-camera VFX拍摄过程中,确保拍摄的几组镜头之间颜色一致至关重要。通过查看实时动作摄像机来确认最终画面是一种很好的做法,还可通过(将外视锥显示为光源的)LED面板进行测试。

执行以下最佳实践确保几组镜头之间的一致性:

  • 所有摄像机输出的效果不一致。如果几组镜头的拍摄使用不同的摄像机,可能让截取的颜色也不一致。在使用LED摄影棚拍摄影片时,使用同一部摄像机可以避免这种情况的发生。

  • 使用LED摄影棚上的视觉效果测试作为光源的现场实时操作资产。来自LED面板的光源在与其他光源的作用下,对舞台元素会产生不同的效果。

  • 确保色调映射器已禁用,从而让来自引擎的内容不带有色调曲线,并位于线性sRGB色彩空间中,作为LED面板的输入。可通过控制台命令 ShowFlag.Tonemapper 0 禁用色调映射器。

镜头内视效示例项目

此页面提供了in-camera VFX所需的技术和硬件概览。想要更熟悉此工作流程,镜头内视效示例 配有示例场景和基本关卡,以供你开始搭建镜头内视效项目。请参见镜头内视效快速入门 ,了解如何为不同的LED摄影棚修改示例项目,并在所有设备上运行必要的程序。

Select Skin
Light
Dark

Welcome to the new Unreal Engine 4 Documentation site!

We're working on lots of new features including a feedback system so you can tell us how we are doing. It's not quite ready for use in the wild yet, so head over to the Documentation Feedback forum to tell us about this page or call out any issues you are encountering in the meantime.

We'll be sure to let you know when the new system is up and running.

Post Feedback