虚幻引擎5文档已被迁移至 Epic开发者社区

Apple最新型号的iPhone都提供了强大的的面部识别和运动追踪功能，可区分用户面部50多种特定肌肉的位置、拓扑结构和运动变化。如果你的iPhone搭载了深度摄像头和ARKit功能， 你就能使用Epic Games提供的免费的 Live Link Face 应用程序，以便在虚幻引擎中控制复杂的3D角色面部动画，并在手机和引擎中进行实时录制。

本页将介绍如何使用Live Link Face应用程序让3D角色的面部作出实时表演动作，以及如何将基于此方案实现的面部捕捉系统用于成熟的制作拍摄环境中。

入门指南

请按照本部分中的说明设置虚幻引擎项目、连接Live Link Face应用程序，并将该应用程序记录的数据应用于3D角色。

1. 请为项目启用以下插件：

   • Live Link

   • ARKit

   • ARKit Face Support

2. 你需要准备一个已经设置好一组混合变形的角色，且这组混合变形需要与ARKit面部识别生成的面部混合变形相吻合。通常你需要在第三方绑定和动画工具（例如Autodesk Maya）中执行此操作，然后将角色导入虚幻引擎。

   欲知角色需要支持的混合变形列表，请参见 Apple ARKit文档 。

   若你没有现成的角色可用，你可以在Epic Games启动器的 学习（Learn） 选项卡中找到 脸部AR示例（Face AR Sample） ，然后使用该示例中提供的男孩。

   角色的混合变形不必使用与ARKit混合变形完全相同的名称。可在 LiveLinkRemap 资产中创建自定义蓝图函数，将ARKit混合变形名称转译为角色使用的名称。欲知说明，请参见

   [面部AR样本文档](SharingAndReleasing/XRDevelopment/AR/HandheldAR/FaceARSample)

   。但为了获得最佳效果，角色的面部混合变形须与ARKit混合变形覆盖相同的面部区域。

3. 在虚幻引擎中使用一个包含 Live Link姿势（Live Link Pose） 节点的动画蓝图来设置角色。举例而言，在面部AR示例中，男孩所用的动画蓝图中：

   之后，在收到手机发送的动画数据后，你将通过此节点将数据应用到角色上。

4. 获取计算机的IP地址。需要IP地址才能连接Live Link Face应用程序。

   你通常可以在电脑的控制面板或设置中找到IP地址。或者，在多数Windows平台上，你也可以使用 ipconfig 命令行工具来确定IP地址。

   • 假如你的计算机已连接到因特网，并且拥有一个仅在你的网络中可见的本地IP地址和一个在因特网上公开的公共IP地址。如果是这样，则请你选择本地IP地址。本地IP地址通常以 10. 或 192.168. 开头。

   • 你的计算机也可能为不同的适配器配置了多个IP地址。例如，你可能有一个有线以太网适配器和一个无线适配器，每个适配器都有自己的地址。请确保无论你的计算机使用哪个适配器，该适配器所用的IP地址都能让它与你的iPhone处于相同的网络中。

5. 在Apple App Store上找到Epic Games发布的免费 Live Link Face 应用程序，然后安装在手机上。

6. 将手机和计算机连接到同一无线网络；或使用以太网网线，通过Lightning以太网适配器将手机直接连接到计算机。

   Live Link需要网络数据源，因此仅通过USB将手机连接到计算机并不够。

7. 在iPhone上运行Live Link Face应用程序。你将进入主画面，并能开始新的录制。

   
   点击查看大图。

   预览网格体（Preview Mesh） 设置，禁用覆盖层，只查看你的面部（如上图所示）。请参阅下文内容 LiveLinkFace应用程序控制选项

8. 点击左上方的图标，打开应用程序设置。至少需要进入 LiveLink 设置才能连接到计算机。

   
   点击查看大图。

   在LiveLink设置页面中点击 添加目标（Add Target） ，然后输入计算机的IP地址。

   如果你希望将动画广播到多台虚幻编辑器实例上，你可以在此处输入多个IP地址。更多信息，请参阅下文内容 多用户设置 section below.

   有关Live Link Face应用程序可用的所有其他设置的细节，请参见以下部分。

9. 在虚幻编辑器中，在主菜单中选择 窗口（Window） > Live Link ，打开 Live Link 面板。现在，你可以看到iPhone被列为主题。

10. 在角色的动画图表中找到 Live Link Pose 节点，将其主题设置为代表iPhone的主题。

11. 编译（Compile） 并 保存（Save） 动画蓝图。

12. 选择角色。在 细节（Details） 面板中，须启用 骨架网格体（Skeletal Mesh） 类别中的 在编辑器中更新动画（Update Animation in Editor） 设置。

13. 返回Live Link Face，将手机摄像头对准你的脸部，直到应用程序识别出人脸并开始追踪你的脸部动作。

    此时，你会看到虚幻编辑器中的角色开始移动面部，以实时匹配你的面部动作。

14. 当你准备要录制表演时，请点击Live Link Face应用程序中的红色 录制（Record） 按钮。这将开始在iPhone上录制表演，并在虚幻编辑器中启动镜头试拍录制器，开始在引擎中的角色上记录动画数据。

    再次点击 录制（Record） 按钮停止录制。

    设置头部旋转

    假如要用Live Link Face中的数据将头部旋转应用到Actor身上，你首先要设置蓝图的事件图表和动画图表，以便控制头部的关节。

    头部旋转蓝图 - 事件图表

    此蓝图位于你的角色的动画蓝图的事件图表中。它会读取Live Link中表演数据的偏转、滚动和俯仰数据，然后将其应用到角色身上合适的骨骼位置。

1. 右键点击蓝图并添加 事件蓝图更新动画（Event Blueprint Update Animation） 节点。这能确保动作发生变化时，头部位置能每帧更新。

2. 接着，在我的蓝图面板中创建三个浮点变量，分别命名为 HeadRoll ， HeadYaw 和 HeadPitch 。将它们全部拖进蓝图并选择 设置 变量。

3. 拖动"事件蓝图更新动画"（Event Blueprint Update Animation）节点，创建一个 Evaluate Live Link Frame 节点。这样就能提供来自Live Link源的数据，该数据会被保存在你的浮点变量中。

4. 使用 主题（Subject） 下拉菜单，选择代表你iPhone的主题。

5. 打开 角色（Role） 下拉菜单，然后选择 LiveLinkBasicRole 。

6. 在"Evaluate Live Link Frame"附近点击右键，然后创建三个 获取属性值（Get Property Value） 节点。它们将被用于从Live Link应用获取偏转、滚动和俯仰信息。使用各个节点上的 属性名称（Property Name） 方框，分别设置成 headYaw 、 headRoll**以及**headPitch 。

7. 将"Evaluate Live Link Frame"的 Valid Frame 输出连到上图中的 Set 变量。

8. 最后，将各个 "Get Property Value"节点的 变量（Value） 输出连到其对应设置变量节点的浮点输入上。

头部旋转蓝图 - 动画图表

从App获取头部和颈部旋转数据后，就可以在动画图表中将它们应用到角色的骨骼上了：

上述部分添加在动画图表的末尾位置，正好位于"输出姿势（Output Pose）"节点的前面。

1. 在 输出姿势（Output Pose） 的后面，拖动 Result 并创建一个 Component To Local 节点。

2. 接着，你需要为角色骨架中所有会受到旋转数据影响的头部和颈部骨骼准备一个 Transform (Modify) Bone 节点。如果你用的是Face AR示例中的风筝男孩，你就需要两个（该节点）。

3. 在蓝图中分别点击各个节点，将细节面板中的"Bone to Modify"设置成正确的骨骼名称。如果是风筝男孩，就应该是 neckRoot 和 head 。

4. 如上图所示，将第一个节点的输出连接到下个节点的 组件姿势 输入。

5. 在每个"Transform (Modify) Bone"节点中，点击 Translation Space 选项所在的下拉菜单，将它改为 Bone Space 。

6. 在 "Transform (Modify) Bone" 节点的细节面板中，找到 旋转（Rotation） 分段然后将 旋转模式（Rotation Mode） 改为 添加到已有（Add to Existing） ，然后将 旋转空间（Rotation Space） 改为 骨骼空间（Bone Space） 。

7. 现在找到你在事件图表中准备好的偏转、俯仰和滚动数据，创建一个旋转度（Rotator）来更新头部和颈部的骨骼。将你之前创建的浮点变量拖进来，然后选择 获取 变量。

8. 分别拖动这几个变量的输出引脚并创建 浮点 x 浮点 节点。将"Pitch"乘以15，将"Yaw"和"Roll"乘以 -15。你可能需要调整这几个参数才能获得合适的效果。你可能需要尝试正值和负值才能获得合适的旋转角度。

9. 设置完乘数后，你可以创建旋转度。右键点击蓝图面板，创建一个 创建旋转度（Make Rotator） 节点。

10. 将偏转乘数连到 "Make Rotator" 的 X (Roll) 输入。

11. 将俯仰乘数连到 Z (Yaw) 。

12. 最后，将滚动乘数连到"Y (Pitch)"。

13. 将"Make Rotator"的输出连到各个"Transform (Modify) Bone"节点的旋转输入。

14. 最后，创建一个 Live Link Pose 节点并将 Live Link Subject Name 设置为你的iPhone。拖动输出并创建 Local to Component 节点。

15. 将它的输出连接到第一个"Transform (Modify) Bone"节点的"Component Pose"输入。

点击"在编辑器中运行"，测试头部的旋转效果。你的角色现在应该会根据Live Link录制到的内容，同步旋转头部。

LiveLinkFace应用程序控制选项

Live Link Face应用程序的主画面中有以下功能按钮。

Live Link Face应用程序设置

点击主画面左上方的图标进入设置页面，可在其中配置应用程序的行为。

原始面部录制

每当你从Live Link Face启动新录制时，捕捉信息都会在iPhone上被记录为两个文件：

• 一个 .mov 文件，包含摄像头录制的参考视频。

  视频画面使用JPEG编码器压缩，但保留了帧精度，未采用时序压缩。该文件包含音频和时间码，可作用参考，帮助动画师在录制后处理动画表演。

• 一个 .csv 文件，其中包含ARKit在录制过程中捕捉到的原始动画数据。

  虚幻引擎或Live Link Face应用目前还未用到该数据文件。但对于希望围绕面部捕捉开发其他工具的开发者而言，该原始数据会十分有用。

校准

为了提高面部追踪质量，你可以校准Live Link Face应用；通过捕捉你在自然状态下的"休息"面部姿势，更好地应对你的面部变化。

如需启用校准，请在打开Live Link Face应用后，点击左上方的 设置 图标，然后点击 校准 。你现在应该能看到校准菜单，点击 启用 使用该功能。

现在，当你回到Live Link Face主屏幕时，屏幕的右下方会出现一个新的 校准（+） 按钮。点击它将启用一个特殊的 "校准模式"，它会将 录制（Record） 按钮的功能变为校准捕捉。

如需校准面部，请点击 校准 按钮。然后看向你的设备摄像头，确保你的脸处于自然无表情状态，然后按下 录制 按钮。校准图像会被立即拍摄，或者在拍摄图像前会有三秒钟的倒计时（前提是设置了 倒计时 ）。

校准图像被捕获后，你可以选择 保存 或 放弃 ，以便再次尝试校准。如果保存了图像，再次点击 校准 按钮后将显示 重新校准 以及捕获新图像等选项，或者 删除 校准。

录制模式和结果

每当通过iPhone上的Live Link Face应用程序或通过Unreal Face应用程序的OSC界面启动录制时，表演都会记录到手机中，正如上一部分中所介绍的那样。你不必连接虚幻引擎实例就能以此方式录制。

当你使用Live Link Face应用程序或通过OSC界面开始录制时，假如iPhone已经通过Live Link与虚幻引擎的实例相连接，则 还 将在所有连接上的虚幻引擎实例中启动镜头试拍录制器。动画表演将同时记录在iPhone和计算机上的镜头试拍录制器中。

若通过Live Link连接到虚幻引擎的一个或多个实例，并且在虚幻编辑器界面中从镜头试拍录制器启动录制， 而不是 从iPhone或OSC界面启动录制，则表演 不会 保存到iPhone上。它只会记录在计算机的镜头试拍录制器中。

多用户协作

在一些更为复杂的现实场景制作中，可能会有多个操作员同时在虚幻引擎中工作，需使用多用户编辑 多用户编辑 在同一虚拟场景中实时协作。在这种情况下，建议将Live Link Face应用程序配置到连接至所有操作员运行的 所有 虚幻引擎实例。该应用程序会将表演捕捉组播到所有引擎实例，以便所有操作员都能以最小延迟在情境中看到传入的动画数据。

时间码源

在现实制作中，Live Link Face很可能只是充当大型表演捕捉制作中的一个环节。你可能需要同时记录其他内容：音频、实时视频、其他人体捕捉数据、摄像机追踪数据等等。为了能以最佳精度同步这些单独记录，所有录制须嵌入一致的时间码值。

针对时间码源，Live Link Face提供了三个选项，可在设置面板中进行配置。

• 系统定时器

  默认情况下，Live Link Face的时间码值基于iPhone的系统定时器。此定时器基于自上次系统重启以来的实际耗时。此选项能提供一种相对自身十分精确的时间码，但很难将此时间码与其他设备上的录制关联起来。

• NTP服务器

  有一种方法能让你获得与一天中的时间始终同步的时间码，那就是通过网络时间协议（NTP）从服务器获取时间值。若选择此选项，则默认服务器为 time.apple.com ，即Apple用于同步iPhone时间的服务器。但是，假如你希望像许多制片商那样使用自定义NTP服务器为舞台设备同步时间码，则你可以自行输入服务器名称和IP地址。

• Tentacle同步

  Tentacle同步是一种第三方硬件设备，它允许设备通过蓝牙与拍摄现场的主时钟同步。这可能是最专业的时间码同步方式；高端制片通常会在拍摄过程中依赖主时钟同步时间码。欲知详情，请参见 Tentacle同步 。

通过OSC控制LiveLinkFace

Live Link Face应用程序支持通过 开放声音控制（OSC） 协议进行双向通信。

• 可使用OSC设备远程控制Live Link Face。例如可以使用外部设备远程启动应用程序录制。

• 还可配置Live Link Face，将活动通知发送到其他OSC设备。举例而言，只要该应用程序开始新的录制，就可以在其他设备上触发操作。

要设置OSC，请打开应用程序设置：

• 在 侦听器（Listener） 部分中，可看到iPhone的当前IP地址以及Live Link Face应用程序正在监听的、用于传入OSC消息的端口。需OSC远程控制设备将命令发送到此IP地址和端口。

• 若要Live Link Face发送OSC命令控制另一台设备，请在 目标（Target） 部分中输入该设备的IP地址和端口。

Live Link Face应用程序支持以下OSC命令：