Unreal Engine 5 ドキュメントは Epic Developer Community に移動しました

Aruco を使用してカメラ トラッキングを LED ウォールに合わせる

LED ウォールに表示された Aruco マーカーを使用して、LED ウォールにオプティカル トラッキング システムを合わせる方法を説明します。

Choose your operating system:

Windows

macOS

Linux

目標

このクイック スタート ガイドでは、Aruco マーカーを使用して LED ウォールをカメラ トラッキングに合わせる手順について説明します。

目的

  • LED ウォール用の Aruco マーカーを生成する。

  • エディタのビューポートおよびステージ LED スクリーンで Aruco マーカーをプレビューする。

  • Aruco マーカーを使用して、LED ウォールをキャリブレーションする。

1 - 必要な設定

このガイドでは、ソース ビデオ入力にプロダクション カメラ、オプティカル カメラのトラッキング システム、AJA Kona 5 を使用します。さらに、既存の LED ウォール構成と、ステージ LED ウォール構成に一致する nDisplay ブループリントが必要です。nDisplay ブループリントの作成方法については、「 nDisplay を使用した複数のディスプレイへのレンダリング 」の手順を実行してください。

作業を進める前に、「 プロダクション向けのカメラ キャリブレーション 」ガイドに従って、カメラのレンズの歪みおよび節点オフセットがキャリブレーションされていることを確認します。これにより Lens File アセットが作成されます。このアセットは、カメラ トラッキングを使用した LED ウォールのアライメントの一部として使用されます。

このガイドの例は、Epic LA RnD ステージの LED ウォールのセットアップに基づいています。

The Epic LA RnD stage

拡大表示するには、画像をクリック。

2 - Aruco マーカーを生成する

  1. [Settings (設定)] > [Plugins (プラグイン)] の順にクリックして [Plugins] メニュー を開きます。

    Open the Plugins Menu

  2. LED Wall Calibration プラグインおよび Live Link Over nDisplay プラグインを検索して、有効にします。エディタを再起動します。

    Enable the LED Wall Calibration plugin

    Enable the Live Link Over nDisplay plugin

  3. コンテンツ ブラウザ で、 nDisplay stage アクタ ブループリントを見つけて、ダブルクリックで開きます。

    Double-click the nDisplay stage actor Blueprint

    Open the nDisplay Blueprint

    拡大表示するには、画像をクリック。

  4. [Components (コンポーネント)] パネルから最初の ウォールのメッシュ を選択し、 [Cluster (クラスタ)] パネルで該当する クラスタ をダブルクリックします。これで、選択したディスプレイの解像度が表示されます。

    Double-click the corresponding cluster from the Cluster** **panel

  5. ウォールのメッシュを選択した状態で [+ Add Component (コンポーネントを追加)] をクリックし、 Calibration Point を検索して選択します。これにより、Calibration Point コンポーネントがウォールのメッシュの子として追加されます。

    Click + Add Component and search for and select Calibration Point

  6. このキャリブレーション ポイントの名前を「 ArucoW1 」に変更します。

    Rename the Calibration point to ArucoW1

  7. キャリブレーション ポイントを選択した状態で、 [Details] パネルに移動し、 [Calibration (キャリブレーション)] セクションまで下にスクロールします。 [Create Arucos (Aruco を作成)] をクリックします。

    Add a Calibration Point component

  8. [Aruco Generation Options (Aruco 生成オプション)] ウィンドウが開きます。

    1. Aruco が適用されるウォールのビューポートに一致する [Texture Width (テクスチャの幅)] の値および [Texture Height (テクスチャの高さ)] の値を入力します。

    2. リストから適切な [Aruco Dictionary (Aruco 辞書)] を選択します。この例では、1000 個の一意の Aruco シンボルを含む DICT_6x6_1000 辞書を選択しています。

    3. 生成される Aruco マーカーの開始 ID として使用される マーカー ID を入力します。

    4. [Place Modulus (配置係数)] の値を入力します。この値は、Aruco マーカーを配置する際にスキップする LED パネルの数を表します。この値は、すべての LED パネルに Aruco シンボルを配置すると 1000 個以上の一意の Aruco シンボルを使用する大規模な LED ウォールで役立ちます。デフォルト値は「2」です。小規模の LED ウォールでは、この値を「1」に変更します。1 に設定すると、すべてのパネルに Aruco が 1 つ表示されます。デフォルト値の 2 を使用すると、1 LED パネルおきに 1 つ Aruco のシンボルが配置されます。

    5. [OK] をクリックして Aruco マーカーを生成します。

      Enter the Aruco generation options

  9. テクスチャを保存する場所を選択して、 [OK] をクリックします。どの マーカー ID から次のビューポートを開始するかを示す確認ウィンドウが表示されます。これは UE に記憶されますが、順序を変更する必要がある場合は調整できます。 [OK] をクリックして確定します。

    Select a save destination for the texture

    Confirmation message after saving the texture

  10. [Cluster] タブで、キャリブレーション ポイントの適用先の ビューポート を選択します。

    Select the Viewport where the calibration point was applied to in the Cluster tab

  11. 右側の [Details] パネルに移動します。 [Texture Replacement (テクスチャの置き換え)] セクションまで下にスクロールして、生成されたテクスチャを [Source Texture (ソース テクスチャ)] として選択します。 [Viewport Texture Replacement (ビューポートのテクスチャの置き換えを有効にする)] チェックボックスをオンにします。

    Add the generated texture as the Source Texture

  12. 手順 5 ～ 10 を繰り返して、残りの LED ビューポートに Aruco マーカーを追加します。

  13. コンテンツ ブラウザ で、 nDisplay ブループリント をダブルクリックして開きます。

    Double-click the nDisplay stage actor Blueprint

  14. [+Variable (+変数)] をクリックして新規 ブール 変数を作成し、 Replace_Viewport_Textures という名前を付けます。 [Details] パネルに移動して [Instance Editable (インスタンス編集可能)] チェックボックスをオンにします。

    Create a new variable and call it Replace_Viewport_Textures

    Enable the Instance Editable checkbox

  15. Replace_Viewport_Textures を イベント グラフ にドラッグして、 Get Replace_Viewport_Textures を選択してノードを作成します。

  16. イベント グラフ で右クリックして、 Set Replace Texture Flag for All Viewports を検索して、選択します。

  17. Event Tick ノードを Set Replace Texture Flag for All Viewports ノードに接続します。 Replace Viewport Textures ノードを Set Replace Texture Flag for All Viewports ノードの Replace ピンに接続します。

    Connect the Event Tick node to the Set Replace Texture Flag for All Viewports node

  18. ブループリントを コンパイル して、 保存 します。

  19. nDisplay ブループリントの プレビュー ペイン で変更を確認するには、nDisplay ブループリントを選択して [Details] パネルに移動します。 [Editor Preview (エディタのプレビュー)] セクションまで下にスクロールして、 [Replace Viewport Textures (ビューポート テクスチャを置き換える)] チェックボックスと [Enable Editor Preview (エディタのプレビューを有効化)] チェックボックスをオンにします。これで、Aruco マーカーが表示されます。

    Select the nDisplay Blueprint

    Enable the Replace Viewport Textures and Enable Editor Preview checkboxes

    You can see the Aruco markers on all display viewports

    拡大表示するには、画像をクリック。

  20. 複数のレンダリング ノードを使用している場合は、この時点でプロジェクトを他のコンピュータに同期させます。

  21. [World Outliner (アウトライナ)] で、 nDisplay ブループリント を選択して、 [Details] パネルに移動します。 [Default (デフォルト)] タブまで下にスクロールして、 [Replace Viewport Textures] チェックボックスをオンにします。Aruco マーカーが LED ウォールに表示されます。

    Enable the Replace Viewport Textures checkbox

    The Aruco markers now appear on the LED wall

    拡大表示するには、画像をクリック。

  22. [Editor Preview] で Aruco マーカーを確認するには、 [Editor Preview] セクションまで下にスクロールして、 [Enable Editor Preview] チェックボックスをオンにします。

    Enable Editor Preview checkbox

    You can now see the Aruco markers in the Editor Viewport

    拡大表示するには、画像をクリック。

  23. LED ウォールのアライメントを確認するには、Aruco マーカーのコーナーのポイントを確認すると役立ちます。

    1. Aruco が追加されたときに作成された キャリブレーション ポイント を選択します。

    2. [Details] パネルに移動し、 [Calibration (キャリブレーション)] セクションまで下にスクロールします。 [Visualize Points in Editor (エディタでポイントを表示する)] チェックボックスをオンにします。

    3. [Point Visualization Scale (ポイント ビジュアライゼーション スケール)] で、メッシュ上のマーカーのスケールを調整します。 [Visualization Shape (ビジュアライゼーション形状)] ドロップダウンでは、マーカーの形状を [Cubes (キューブ)] と [Pyramids (ピラミッド)] の間で切り替えます。これらの値は必要に応じて調整します。

      Enable the Visualize Points in Editor checkbox

  24. ブループリントを コンパイル して、 保存 します。

    You can now see the corner markers for each Aruco Marker

  25. [World Outliner] ウィンドウで、 nDisplay ブループリント を選択して、 [Details] パネルに移動します。 [Editor Preview] セクションまで下にスクロールして、 [Enable Editor Preview] チェックボックスをオンにします。

    これで、CG Aruco をレンズ ファイルのビューポート メッシュ上に表示できます。LED キャリブレーションが適用されると、LED ウォール上に Aruco を表示するカメラのライブ ビデオ フィードに CG Aruco が重ねて表示されます。

    Enable Editor Preview checkbox

  26. トラッキングされたプロダクション カメラとその他のトラッキング オブジェクトを Tracking ノード の下に配置します。 Tracking ノード を nDisplay ブループリント の親にします。この例では、 TrackingOrigin が NDC_LARD nDisplay ブループリント の子になっています。LED ウォールのキャリブレーションを行ったら、算出したオフセットを TrackingOrigin に適用します。

    Place the tracked production camera and any other tracked objects under a Tracking Node

このセクションの結果

これで Aruco マーカーが生成されたので、生成されたマーカーをレンズ ファイルの一部として LED ウォールのキャリブレーションに使用することができます。

3 - Aruco マーカーを使用して LED ウォールをキャリブレーションする

  1. コンテンツ ブラウザ で、 プロダクション向けのカメラのキャリブレーション ガイドで作成された レンズ ファイル をダブルクリックして開きます。レンズ ファイルは、FIZ データをストリーミングする LiveLinkController 配下のカメラにアタッチされています。

    1. [Nodal Offset (節点オフセット)] タブをクリックします。

      Open the Lens File and click the Nodal Offset tab

      拡大表示するには、画像をクリック。

    2. [Viewport Settings (ビューポート設定)] および [Transparency (透明性)] を「 0 」に設定します。これで、エディタで表示されている Aruco マーカーの CG オーバーレイがオフになります。

      Set the Transparency to 0

    3. [Nodal Offset] セクションに移動して、 [Nodal Offset Algo (節点オフセット アルゴリズム)] を [Nodal Offset Aruco markers (節点オフセット Aruco マーカー)] に設定します。

    4. [Calibrator (キャリブレーター)] を nDisplay ブループリント に設定します。この例では、nDisplay ブループリントは NDC_LARD_2 という名称です。

    5. [Show Detection (検出を表示)] チェックボックス をオンにします。 これにより、 ビューポート がクリックされるたびに画像がキャプチャされ、Aruco マーカーのキャリブレーション ポイントを収集するために使用されます。

      Adjust the Nodal Offset settings

  2. Aruco マーカーを表示している LED ウォールにプロダクション カメラを向けます。これで、LED ウォール全体の Aruco マーカーの画像が収集できるようになりました。ビューポート内でマウスをクリックすると、画像がキャプチャされます。キャプチャした画像のプレビューが表示されます。 [OK] ボタンをクリックします。

    A preview of the captured image will be displayed

    拡大表示するには、画像をクリック。

  3. この手順を何度か繰り返して、LED ウォール全体の複数の画像をキャプチャします。キャプチャした画像が [Nodal Offset] セクションに表示されます。

    The captured images will be displayed on a list

  4. LED ウォール全体で十分なサンプルをキャプチャしたら、 [Apply to Camera Parent (カメラの親に適用)] ボタンをクリックします。これで、先程作成した TrackingOrigin とその下のトラッキングされたプロダクション カメラがオフセットされます。

    The Location and Rotation values are now adjusted with the correct offset values

  5. LED ウォールのアライメントを確認するために、 [Transparency] を「 0.5 」に設定します。これで、LED ウォールのメッシュに適用された CG Aruco が、実際の LED ウォールの Aruco と重なって表示されます。この時点では、両方の Aruco マーカーが互いに重なり合っています。重なり合っていない場合、バーチャル LED メッシュと実際の LED メッシュが一致していません。

    Check the alignment of the Aruco markers

このセクションの結果

Aruco マーカーを使用してステージ LED ウォールをキャリブレーションしました。

Unreal Engine のドキュメントを改善するために協力をお願いします！どのような改善を望んでいるかご意見をお聞かせください。
調査に参加する
キャンセル