機械学習デフォーマを使用する

キャラクター用の正確な非線形デフォーマ システムの作成は、特にリアルタイム ゲーム エンジンでは、複雑で負荷の高いプロセスになる可能性があります。代わりに、Unreal Engine の 機械学習 (ML) デフォーマ を使用すると、外部からキャプチャできるあらゆる複雑な変形モデルを近似することで、インゲーム キャラクターの品質を大幅に向上させることができます。

ML デフォーマは、Unreal のニューラル ネットワーク推論 (NNI) システムとデフォーマ グラフ システムを内部で活用し、すべてを GPU で処理することができます。また、このシステムには、トレーニング データの生成に活用できる Maya 用のプラグインを備えています。このデータは、ML Deformer アセットをトレーニングするために、FBX ファイルや Alembic ファイルとしてエクスポートされます。

このドキュメントでは、ML デフォーマ プロセスの概要について説明します。

前提条件

• ML デフォーマは プラグイン であるため、使用する前に有効にしておく必要があります。Unreal Engine メニューで [Edit (編集)] > [Plugins (プラグイン)] に移動し、[Animation (アニメーション)] セクションで [MLDeformer] を見つけて有効にします。この変更を有効にするためには、エディタを再起動する必要があります。

• ML デフォーマは、ワークフローの一部で、Autodesk Maya を使用する必要がある。

• Unreal Engine と Autodesk Maya の両方にスキン キャラクターがあること。

Autodesk Maya プラグインの設定

ML Deformer Data Generation Maya プラグイン をダウンロードして、インストールする必要があります。そのためには、まずマーケットプレイスの「ML Deformer」ページに移動して、このプラグインをダウンロードします。

プラグインがインストールされると、Unreal Engine のインストール ディレクトリの 「Plugins」 フォルダ内に格納されます。デフォルトでは、このプラグインは次のパスのフォルダにインストールされます。

  …\Engine\Plugins\Marketplace\MayaMLDeformer\Content\MayaMLDeformer.zip

「MLDeformer.mod and the MLDeformer」フォルダの内容を「C:\Users\YourUserName\Documents\maya\modules」にコピーします。modules フォルダがない場合は、作成することができます。

これで、Autodesk Maya を開くと、メインメニュー バーに UE MLDeformer が表示されます。

Maya でのトレーニング データの生成

ML Deformer プラグインは、機械学習アルゴリズムに役立つデータ セットを生成するボーンにプロシージャルなキーフレームを設定することで、キャラクターのトレーニング データを作成します。トレーニング データ生成プロセスを開始するには、まずツールを開く必要があります。

Maya のメインメニュー バーから、[UE ML Deformer] > [Data Generator (データ ジェネレーター)] をクリックすると、[Training Data Generation Setup (トレーニング データ生成セットアップ)] ウィンドウが表示されます。

また、Maya シーンにスキン キャラクターをインポートするか、開きます。この例では、基本的な上腕二頭筋モデルを使用しています。

ボーン パラメータを追加する

ジョイントをトレーニングするには、修正するノードと属性のリストおよびこれらの属性が受け入れることのできる値の範囲を追加する必要があります。

追加したい Maya のジョイントを選択し、[Training Data Generation Setup] ウィンドウの [Parameters (パラメータ)] セクションにある 追加 (+) ボタンをクリックします。

この操作により、[Add Parameters (パラメータを追加)] ウィンドウが開きます。このウィンドウで、トレーニングに使用するジョイント属性をさらに絞り込むことができます。また、更新 ボタンをクリックすると、現在の選択内容でパラメータ リストが更新されます。

パラメータとして追加したいジョイント属性を選択して、[Add Selected Parameters (選択したパラメータを追加)] をクリックし、[Training Data Generation Setup] に追加します。ほとんどの場合、ジョイントで必要なのは回転属性だけです。

ボーン パラメータを設定する

属性が追加されたら、今度は各軸の可動範囲を設定する必要があります。これには、各属性を選択して、[Parameter Properties (パラメータ プロパティ)] でその軸の可動範囲の [Minimum (最小)] と [Maximum (最大)] を指定します。これらの値は、キャラクターの複雑度やタイプに応じて、できるだけ現実的な値にする必要があります。このデータの定義は、ML デフォーマのトレーニング プロセスの正確性と品質を確保するために必要です。このプラグインでは、値がそのジョイントに対して設定されている場合、Maya で設定されているジョイント制限に合わせて値を自動的に初期化します。また、特定のパラメータ タイプにデフォルトを指定することもできます。

メッシュを設定する

トレーニング データを確定するには、[Base Mesh (ベース メッシュ)] と、オプションで [Target Mesh (ターゲット メッシュ)] を指定する必要があります。

ベース メッシュ はスケルトンにバインドされているメッシュで、Unreal Engineで使用されているメッシュと同じです。

ターゲット メッシュ は、ベース メッシュと同じ頂点とトポロジを含む別のメッシュであるものの、変形に使用されます。たとえば、ターゲット メッシュは、リアルな変形を作成するために、ボリューム保存手法や筋肉シミュレーションを使用する場合があります。ターゲット メッシュは Maya のものを使用したり、Houdini などの外部プログラムで作成することもできます。ターゲット メッシュは alembic キャッシュ .abc としてエクスポートされます。

ベース メッシュとターゲット メッシュを指定するには、[Mesh Settings (メッシュ設定)] 領域の 追加 (+) ボタンをクリックします。ウィンドウが表示されるので、[Select (選択)] ボタンをクリックし、各メッシュを指定します。ターゲット メッシュはシーンに含まれていない限りオプションです。

メッシュを選択して、[OK] をクリックすると、[Mesh Settings (メッシュ設定)] リストに追加します。

ポーズ生成を開始する

最後に、[Generator Settings (ジェネレーター設定)] を指定して、トレーニングの長さと構成を決定します。キーフレームは、パラメータ リストの各属性に対して、[Num Poses (ポーズ数)] ごとに作成されます。

[Generate (生成)] をクリックして、Maya でのトレーニング データ生成プロセスを開始します。[Target Mesh] と [Target Alembic File (ターゲット Alembic ファイル)] を使用している場合、このプロセスに非常に長い時間がかかることがあります。また、Alembic ファイルは頂点数とポーズ数の設定によっては非常に大きくなる (約 50 ～ 100 GB) ため、十分な空きディスク容量を確保してください。

トレーニング データの生成が終了すると、[Target Alembic File] を指定した場合は、エクスポートされた .fbx ファイルおよび .abc ファイルが得られます。

Unreal Engine でのデフォーマのトレーニング

これで、完成したトレーニング ファイルを Unreal Engine に取り込むことができます。

Alembic ファイルをインポートする

まず、トレーニング プロセスで作成した .abc ファイル、または別の外部デフォーマ ツールで作成したファイルをインポートします。コンテンツ ブラウザ**で、[Import (インポート)] をクリックし、.abc ファイルを選択して [Open (開く)]** をクリックします。

インポート設定ダイアログ ウィンドウで、インポートに関する次のパラメータを設定します。

• [Import Type (インポート タイプ)] を [Geometry Cache (ジオメトリ キャッシュ)] に設定します。

• [Flatten Tracks (平坦化されたトラック)] を無効にします。これは、FBX メッシュを Alembic Geometry Cache トラックと一致させるために必要です。メッシュが 1 つのみの場合は、[Flatten Tracks] を有効にしておくことができますが、必須ではありません。Alembic Track の名前の先頭は、Maya のアウトライナで表示される名前と同じである必要があります。

• より高い精度を確保するために、[Compressed Position Precision (圧縮された位置の精度)] を 「0.001」 に設定します。デフォルトを維持すると、ML デフォーマが圧縮によって生じた誤差を学習することがあります。

• [Store Imported Vertex Numbers (インポート済み頂点数の格納)] を有効にします。これは、スケルタル メッシュとジオメトリ キャッシュの間で頂点を一致させるために必要です。これを怠ると、ML デフォーマ エディタが警告を表示し、ジオメトリ キャッシュを再度インポートする必要があります。

これらのパラメータを設定したら、[Import] をクリックして、ジオメトリ キャッシュをインポートします。このプロセスは、alembic ファイルのサイズにより非常に長い時間がかかる場合があります。

トレーニングした FBX をインポートする

次に、Maya のトレーニング データから作成した FBX ファイルをインポートする必要があります。[FBX Import Options (FBX インポート オプション)] で、インポートに関する次のパラメータを設定します。

• すでに Unreal Engine に FBX ファイルをインポートしている場合は、キャラクターのスケルトンを使用するように [Skeleton (スケルトン)] フィールドを設定します。

• [Import Animations (アニメーションをインポート)] を有効にします。

• [Animation Length (アニメーションの長さ)] を [Exported Time (エクスポート時間)] に設定します。

これらのパラメータを設定したら、[Import (インポート)] をクリックして FBX をインポートします。このプロセスは、FBX ファイルのサイズにより非常に長い時間がかかる場合があります。

ML Deformer アセットを作成する

次に、Alembic と FBX の両方のシーケンスを格納し、関連付けるために、ML Deformer アセット**を作成する必要があります。コンテンツ ブラウザで、追加 (+) ボタンをクリックして、[Animation (アニメーション)] > [ML Deformer (ML デフォーマ)]** を選択します。作成されたら、アセットを開きます。

ML デフォーマ エディタ の [Details (詳細)] パネルで、キャラクターのスケルタル メッシュとインポートされたトレーニング済みの FBX アニメーション シーケンスの両方を、それぞれのプロパティに割り当てます。これで、メッシュがビューポートの Training Base というラベルの下に表示されるようになります。

また、インポートされた Alembic ファイルを Geometry Cache プロパティに割り当てます。これで、Alembic メッシュがビューポートの Training Target というラベルの下に表示されるようになります。

トレーニング ベース モデルの上にレンダリングされた緑色の線が表示されているのがわかります。これらはベース メッシュとターゲット メッシュの差分 (デルタ) を表しています。デフォーマ モデルはトレーニング中にこれらを学習しますので、これらが正しく表示されていることを確認してください。ターゲット メッシュの回転がトレーニング ベースと異なる場合、[Alignment Transform (アライメント トランスフォーム)] を使用して、両者を一致させることができます。両者を重ねる必要はありません。回転だけ一致させる必要があります。

タイムラインの再生ヘッドをドラッグすると、両方のシーケンスが一緒にスクラブされ、アニメーションが一致していることを確認することができます。緑色の線 (デルタ) が各フレームで適切に表示されることを確認してください。

ML デフォーマ エディタ ツールバーの [Train Model (モデルをトレーニング)] をクリックし、トレーニングを開始します。このプロセスには、時間かかる場合があります。

デフォーマ ブループリントの設定

レベルのキャラクターで ML デフォーマを使用し始めるには、ブループリントの ML Deformer コンポーネント を使用して、キャラクターを設定する必要があります。

まず、アクタ ブループリント を作成します。コンテンツ ブラウザ で、追加 (+) > [Blueprint Class (ブループリント クラス)] をクリックして、[Actor (アクタ)] を選択します。作成されたら、ブループリントを開きます。

スケルタル メッシュをコンテンツ ブラウザから [Components (コンポーネント)] パネルにドラッグし、ブループリントに追加します。

次に、[Components] パネルの 追加 (+) をクリックし、[MLDeformer] を選択して、MLDeformer コンポーネント を追加します。

MLDeformer コンポーネント を選択して、[Details (詳細)] パネルで ML Deformer アセット を指定します。

最後に、Skeletal Mesh コンポーネント を選択して、Mesh Deformer プロパティで デフォーマ グラフ を指定します。