メディア フレームワークの技術リファレンス

Unreal Engine 4 のメディア フレームワークに関する技術情報

Windows
MacOS
Linux

現在サポート対象のファイル拡張子、URL、キャプチャ デバイスの概要に加えて、各種プラットフォームで メディア フレームワークを有効にした際に起きる問題のトラブルシューティングのヒントについて説明します。 よく知られているプラットフォーム特有の問題や制約事項については、未解決で調査中の『トラブルシューティング プラットフォーム』セクションで説明しています。

4.18 より前のバージョンのプロジェクトからメディア フレームワークのコンテンツをアップグレードする場合は、Upgrading Media Framework Content to 4.18 ページを参照して、正しく行ってください。

サポート対象のファイル、URL、キャプチャ デバイス

こちらは、各メディア プレイヤー プラットフォームとサポートしているファイル拡張子の対応表です。

サポート対象のファイルおよび URL をまとめた表 (.xlsx 形式) をダウンロードするには画像をクリックしてください。

こちらは、各メディア プレイヤー プラットフォームとサポートしている URL の対応表です。

URLSheet.png

上記のサポート対象ファイル形式一覧は作成中であり、サポート対象ファイル拡張子が追加された場合は今後エンジンのアップデート時にオンラインで公開します。

互換性とパフォーマンスを最善にするためには、H.264 にコード化した .mp4 コンテナ ファイルの使用をお勧めします。

キャプチャ デバイス

4.18 では、メディア フレームワークがオーディオ / ビデオキャプチャ ハードウェアをサポートしているプラットフォームは Windows (WmfMedia) および Android (AndroidCamera) のみです。

キャプチャ デバイスを使ったサンプル ガイドは ライブ ビデオ キャプチャを再生する をご覧ください。

WMF コンフィギュレーション

このセクションでは、プロジェクト設定の WMF Media Plugin に設定可能なコンフィギュレーション オプションを説明します。

カスタム コード

Windows Media Foundation (WMF) は Windows プラットフォーム上で標準のオーディオ / ビデオ / 再生および録画を行いますが、拡張も可能です。 WMF はデフォルトで様々なフォーマット、エンコード、ファイル コンテナをサポートしていますが、ネットからダウンロードおよびインストールが可能なコーデック パックをオプションで使用すれば、さらに幅が広がります。 特定のコーデックなしにメディア ファイルのデコードおよび再生が可能な場合もあります。

これまで Unreal Engine は、誰もがを同じようにメディア処理加工するように WMF に入っているデフォルト コーデックのみをサポートしてきました。 ただ、ゲームと一緒に出荷するメディアや専用のメディア エンコーダに別のエンコード メソッドを使いたいことも多々あると思います (例えば、必要なエンコーダーを提供するインストーラーを付けてゲームを出荷する)。

そこで、[Project Settings (プロジェクト設定)][Plugins] セクションから WMF Media 用に標準外のコーデックを有効にできるようになりました。

Project Settings - WMF Media Plugin

デフォルトで、プレイヤー プラグインはオペレーション システム (OS) によるサポート対象外のオーディオ コードとビデオ コードを探知し、ユーザーに追加でコーデック パックのインストールを要求します。 メディアへのアクセス時にプレイヤー プラグインがサポート対象外のフォーマットを探知すると、[Output Log (出力ログ)] に警告メッセージが表示されます。

UnsupportedLog.png

さらに、[Info] パネルで Media Player アセット内のメディア アセット情報を見ることができます。

MediaInfo.png

Allow non-supported codecs を有効にすると、プラグイン プレイヤーがチェックをスキップし、標準外のコーデックの使用が認められます。

再生の最適化

WMF Media Plugin はデコード方法をカスタマイズするためのオプションを提供し、メディアを再生します。メディアが反応よく、なめらかに再生しない、もしくは必要とするパフォーマンスを満たさない場合は、以下のオプションを有効にします。

Playback optimization settings

設定

説明

Low Latency

メディア再生における遅延やレイテンシーを最小限にする設定です。映像の再生が遅くなりがちの時にこの設定を使うと、WMF Media プラグインからの応答が速くなります。ただし、この設定を有効にすると、映像や音声の品質は逆に悪くなります。
Windows 8 以上のみで利用できます。

Hardware Accelerated Video Decoding (実験的機能)

CPU ではなく GPU を使用してビデオ ストリームをデコードします。CPU が映像パフォーマンスのボトルネックの場合にこの設定を使うと、映像を再生する滑らかさが改善します。また、同時に複数のメディアを高解像度で使用することができます。
Windows で DirectX 11 でのレンダリングのみ使用できます。

このオプションは 実験的機能 です。実験的機能を使ったプロジェクトをシッピングすることは推奨しません。

HAP コーデックの再生をサポート

HAP Codec での再生により、高品質メディアの制作が可能になります。

UE4 では 1x 4K 60 FPS 動画または 2x 4K 30 FPS 動画の再生をサポートしています。これらは 2x 4K 60 FPS 動画に拡張できます。

仕様

サポートされた設定

形式

HAP、HAP Alpha、HAP Q、HAP Q Alpha

フレームレート

10, 15, 23.976, 24, 25, 29.97, 30, 50, 59.94, 60

解像度

Up to 4K 3840x2160

ビット深度

8bit (4:4:4:)

ピクセルアスペクト比

アスペクト比非依存

4.23 では、HAP 再生は埋め込み型オーディオやタイムコードをサポートしていません。

ベンチマーク テストケース

UE4 チームは、以下のベンチマーク テストケースを使用してこれらの設定を決定しています。このテストケースを使用して、自分のプロジェクトと比較することができます。

現在のベンチマーク プロセスは、大まかなシステム パフォーマンスの把握を目的としています。同じ動画ファイルに対して 3 つの異なるソフトウェア (Unreal Engine、Ventuz、VLC.) を使って再生テストを行います。 それぞれのテストにおいて、Windows タスクマネージャーを使って CPU、GPU、ディスクの使用状況の監視およびログの記録を行います。

動画ファイルは、8K 60 FPS ソースを HAP を使って4K, 8K, and 16K に再圧縮した 11 秒の 4K 60 FPS 動画 です。WMF の問題によって、3 つのソフトウェア上で 4K 60 FPS が失敗する問題が分かりました。 SSD を 2 つ使用すると、1 つの場合よりも大幅に速くなることが分かりました。

以下はその他の注記です。

  • Unreal と Ventuz に対してはディスク使用量を正確に評価することができませんでした。

  • 60 FPS 動画をデコードすると 30 FPS 動画の 2 つ分に相当します。

  • 現時点では、これは PRO Video Playback ソリューションではないので、ファイルまたは端末間での同期再生の保証はありません。

テストシステムの説明

  • Xeon 3.39 Ghz

  • 96 GB

  • Samsung MZVKW512HMJP-000L7 (C:)

  • ATA Samsung SSD 860 SCSI Disk (D:)

system1.png system2.png

トラブルシューティング

Unreal Engine 4.18 時点では、ほとんどのプレイヤー プラグインに詳細なロギングを追加し、潜在的な問題の詳細なロギングを可能にしました。

ロギングを有効にするには、プロジェクトの Engine.ini ファイルに以下を追加してください。

[Core.Log]
LogMedia=VeryVerbose
LogMediaAssets=VeryVerbose
LogAndroidMedia=VeryVerbose
LogAvfMedia=VeryVerbose
LogMfMedia=VeryVerbose
LogPS4Media=VeryVerbose
LogWmfMedia=VeryVerbose

メディア ソース ファイルが開かない場合は、デベロッパー ツール[Output Log (出力ログ)] で詳細を確認してください。

Media Player アセット内のおよび [Info (情報)] タブでも、メディアソースの情報を確認できます。

InfoWindow.png

ここにはメディア ソールに対して使用可能なオプション、各種オーディオおよびビデオ ストリーム、各ストリームの情報が表示されます。

ウィンドウ

Windows Media Foundation (WMF) のプレイヤー プラグイン WmfMedia には、MP4 コンテナに対して様々な制約事項があります。

詳細は、Microsoft の MPEG-4 File Source をご覧ください。

周知の問題と制約事項

メディア フレームワーク はまだ開発途中のため、次の問題点と制約事項があります。

  • Android

    • 現在、オーディオのプレイは OS 経由です。UE4 のサウンド システムを使用することはできません。

  • エディタ

    • メディア プレイヤー内の Playlist UI は内部にプレイリストを作成します。

    • プレイリストはメディア プレイヤーから保存することが可能ですが、メディア プレイヤーでプレイリストを編集する手段は現段階では提供されていません。

      回避策:メディア プレイヤーからプレイリストを保存し、Media Playlist アセットを開いて編集します。

  • シーケンサー

    • Media Playback は、シーケンサーからのシネマティックスを録画時に正しくレンダリングを行いません。

      • 重大な問題のため、リリースを見送りました。

    • ImgMedia プラグインがシーケンサーと同期します。

  • Windows

    • QuickTime movie (.mov) が Windows 7 以降でサポートされていますが、現在は信頼できません。

      回避策:この形式の使用は、現在お勧めしておりません。

Select Skin
Light
Dark

Welcome to the new Unreal Engine 4 Documentation site!

We're working on lots of new features including a feedback system so you can tell us how we are doing. It's not quite ready for use in the wild yet, so head over to the Documentation Feedback forum to tell us about this page or call out any issues you are encountering in the meantime.

We'll be sure to let you know when the new system is up and running.

Post Feedback