［GDC 2024］Epic Gamesのキーマンに聞く「Unreal Engine 5.4」の新機能の見どころはこれだ！

　GDC 2024会期中の米国時間2024年3月20日に行われたEpic Gamesの開発者向けイベント「State of Unreal 2024」において，同社のゲームエンジン「Unreal Engine」の2024年最新版「Unreal Engine 5.4」（以下，UE 5.4）に実装される新しいグラフィックス機能についての説明が行われた（関連記事）。

　本稿では，Epic GamesのCTO（最高技術責任者）であるKim Libreri氏への単独インタビューで得た情報と合わせて，これら新機能のポイントについて紹介したい。

Epic GamesのCTOを務めるKim Libreri氏（右，Chief Technology Officer，Epic Games）が登壇。例年ならスピーチを務めるCEOのTim Sweeney氏が不在なことについて，「オーストラリアで行われているEpic Games対Apple，Googleの裁判で証言するために，ここに来られなかった」というSweeney氏のポストを紹介して笑いを取った

「Marvel 1943」と並行して開発されたUE 5.4の新機能

　UE 5.4の新機能を紹介する前に，Libreri氏は，Skydance New Mediaが開発中の新作ゲーム「Marvel 1943: Rise of Hydra」（以下，Marvel 1943）の予告編を披露した。


　MCUシリーズでお馴染みのスーパーヒーロー，「キャプテン・アメリカ」や「ブラックパンサー」が，第二次世界大戦の時代を舞台に，悪の組織「ヒドラ」の野望に対して共闘，あるいは対決していく物語を描いた完全新作アクションアドベンチャーゲームである。
　披露された予告編は，基本的にイベントシーンのみで，ゲームメカニクスなどについてはまったく不明なままだが，実機（おそらくPC）で，リアルタイムレンダリングしたグラフィックスであることを，Skydance New MediaのCreative DirectorであるAmy Henning氏は強調していた。

　Marvel 1943に採用された表現のうち，いくつかは「UE 5.4で導入された新機能」とのこと。本作では，それらがUE 5.4に搭載されることを前提に，機能自体の安定性向上や，性能面のチューニングを行ったそうだ。
　それら新機能の技術的な注目点を見ていくとしよう。

イベント終了後，詳細な技術的な質問に超えてくれたEpic Gameのキーマンたち。左からKim Libreri氏，Vladimir Mastilovic氏（VP，Digital Human Technology，Epic Games），Patrick Tubach氏（VFX Supervisor，Epic Games）

Naniteがディスプレースメントマッピングに対応

　UE 5.4における新機能のひとつは，UE5シリーズの目玉機能であった無段階LOD（Level Of detail）搭載ジオメトリエンジン「Nanite」（ナナイト）の拡張である。


　まずは，Naniteの基本的な特徴を，軽くおさらいしておこう。
　リアリティの高い今どきのゲームグラフィックスでも，ゲームファンがいまだ「残念なところ」と感じることがあるのは，「情景のポッピング現象」だ。オープンワールドタイプのゲームで移動していると，遠方の地形や樹木といった背景や，遠方にいたNPCたちがこちらに近づいてく過程で，突然，少ポリゴンモデルから多ポリゴンモデルに切り替わる瞬間に気がつくことがあるだろう。この現象は，ポリゴンモデルの輪郭や形状が変わることで，体積が変化したように見えて，ポンと膨らんだように見えることから，「ポッピング」（Popping）現象と呼ばれる。

　映画におけるCGのように，常に多ポリゴンモデルでシーンを構成すれば，こうした現象は回避できるはずだ。だが，遠景まで表示すればするほど，シーン内に配置すべき3Dモデルの数は増える。多ポリゴンモデルだけでシーンを構成すると，描画しなければならないポリゴン数が「兆」を超えた，それこそ天文学的な数値になってしまう。
　ポリゴン数の増大を少しでも抑えるために，視点からの遠近に応じて精細度の異なる3Dモデルを入れ替えながら配置，表示するジオメトリ技術であるLODは，それこそ一般的なゲームに3Dグラフィックスが採用された1990年代から導入されてきた。21世紀になっても，人類はいまだにLOD問題にまつわるポッピング現象と戦っているわけだが，この問題に挑んだジオメトリサブシステムが，UE5のNaniteである。

　Naniteとは，多ポリゴンで構築された背景3Dモデルセットを，画面解像度に必要十分な小さなポリゴン（マイクロポリゴン）にリアルタイムで分解するCompute Shaderで実装したロジックによって，無段階のLOD描画を実現する技術だ。
　Epic Gamesでは，「Naniteの無段階LODシステムは，3Dモデルを最小で1ピクセル単位のマイクロポリゴンにまで分解できる」と説明していることから，そのコアシステムは，「Compute Shaderで実装したLOD付きラスタライザ」のようなものと思われる。
　なおNaniteでは，DirectX 11で導入されたジオメトリ機能である「テッセレーションステージ」は使っていない。

　先進的な技術であるNaniteだが，実際にUE5で作られたゲームで積極的に活用されるに至っていないのは，扱えるジオメトリ構造が，ソリッドな3Dモデルに限定されているためだ。
　あくまでもたとえ話だが，古典的な2Dグラフィックスのレトロゲーム風RPGを例に考えよう。こうしたゲームの場合，たとえば，煉瓦柄のマスを並べて城壁を表現したり，茶色い泥柄のマスを並べて沼地を表現したりする。しかしNaniteは，そうした部品となる3Dパーツを並べて3Dシーンを構築することに対応していないのだ。つまり，データとしては完成した3Dシーンにしか，Naniteは無段階LOD描画が行えなかったのである。

　一部，開発力の高いゲームデベロッパの中は，この制限を独自技術で超える試みに挑んだところもある。今回，Epic Gamesは，方針を転換して「そのあたりも，うちが拡張して面倒見ます」と乗り出したわけだ。

　新たに導入する拡張では，Nanite用に用意したジオメトリから，任意の領域に対してマルチレイヤーのハイトマップテクスチャ（Height map texture）を適用して，ディスプレースメントマッピング（Displacement Mapping）を行えるようにした。これをEpic Gamesは，「Nanite Dynamic Tessellation」（Nanite動的テッセレーション）と呼んでいる。

　ピンとこない人もいるかと思うので，まずは下の動画を見てほしい。


　映像を見ると，下地になっている地面から石畳を浮き上がらせたり，積もった雪を増やしたりしているのが確認できるだろう。下地部分は，これまでどおりのNaniteのソリッドな地形ジオメトリだが，石畳と雪の追加部分は，Nanite動的テッセレーションで描画したものである。

ベースとなる下地

ディスプレースメントマッピングを適用する対象の下地モデルは，粗めのジオメトリ構造になっている

左は，下地にディスプレースメントマッピングで石畳を，右は雪を追加した状態だ

　ゲーム開発においては，ゲームの展開やバランス調整にともなって，背景グラフィックスをちょこちょこと調整することは，高頻度であることだ。だが，そのたびにNanite専用の固定的（ソリッド）なジオメトリに仕上げ直すのは，手間がかかる。であれば，大まかな地形だけをNanite専用ジオメトリとして作っておき，細かい部分，たとえば移動ルートとしての道などは，ゲーム展開に応じて高頻度で調整していけるようなレイヤー構造になっていると，開発者にはありがたい。

　先述したレトロゲーム風RPGでたとえると，陸地と水域からなる大まかな地形は，Nanite用のソリッドなジオメトリで制作しておき，城壁や道，水たまりのような細かなマップの要素は，別レイヤーで作り込めるようになったと言ったところか。そのうえで，別レイヤーのディテールを作り込むときに，ディスプレースメントマッピングを利用できるようになった，というのが今回のアップデートにおける重要な点だ。

　ディスプレースメントマッピングとは，高さ情報を記録したテクスチャで，自由にジオメトリを盛ったり削ったりするのに使う技術である。大雑把な形を作った粘土細工に対して，指でつまみ上げたり，へらで押し込んだりして細部を作り込んでいく作業イメージに近い，動的なジオメトリ加工技術だ。

ディスプレースメントマッピングのイメージ。同じ素体モデルを，異なるハイトマップで変形させれば，ディテールの異なる多彩なキャラクターや地形を表現できる

　ところで，画像テクスチャをポリゴンに適用したときに，テクスチャを実際に画面上で表示するときの解像度は，画面解像度に左右されるのは想像できるだろう。同様に，ハイトマップで表現する微細な凹凸表現の精細さは，対象とする3Dモデルのポリゴン数に左右されることも想像できるはずだ。そこで，ディスプレースメントマッピングを適用するポリゴンを，プログラム的に分割する「テッセレーション」（Tessellation）技術が必須となる。そのため，この機能は「Nanite動的テッセレーション」という名前になっているわけである。

ディスプレースメントマッピングの適用前に，テッセレーション技術でポリゴンを分割する（※赤いワイヤーフレームが密になった部分）

　前掲のデモ動画では，地面に対して石畳と雪をディスプレースメントマッピングで追加しているが，Libreri氏は，「道を走った車の轍（わだち）を表現したり，キャラクターの足跡をスタンプのように刻んだりすることもできるだろう」と述べていた。

さらに轍などそのほか微細な凹凸表現を追加した状態

　ディスプレースメントマッピング自体は，目新しい技術ではなく，ずいぶんと昔から存在するものだ。今回の機能拡張における重要なポイントは，この技術をNaniteに統合したことにある。
　Naniteは，ソリッドに作った地形ジオメトリを無段階LODで描画するシステムなので，ここにディスプレースメントマッピングを統合するのは画期的だ。しかし，なぜ単純に，Naniteへ入力できるジオメトリに対して，直接ハイトマップを適用してディスプレースメントマッピングを行う設計にしなかったのだろうか。Naniteに入力する専用の3D地形モデルを，事前に多ポリゴン状態にしておけば，テッセレーションを導入する必要はなくなるように思える。

　この疑問を，イベント後のLibreri氏へぶつけてみた。すると氏は，「Naniteに入力するソリッドな地形ジオメトリは，そもそも多ポリゴンな必要があるので，グラフィックスメモリの使用量が半端じゃない。あらかじめ，何から何まで多ポリゴン状態にしておくと，グラフィックスメモリは足りなくなる。そこでUE 5.4では，Naniteに入力する地形ジオメトリを，粗くモデリングした部分と，細かくモデリングした部分が混在する状態であることを許容したうえで，視点の距離などに応じた適度なディテールを，ハイトマップテクスチャで付与していくシステムを組み込んだ」と述べている。

　テッセレーション技術が，リアルタイムで必要になった理由は分かった。しかし筆者は，「GPU側のテッセレーションステージを活用すると，描画性能が著しく落ちそうに思えるが」と質問してみた。するとLibreri氏は，「詳しい実装部分についての言及は避けるが，Nanite動的テッセレーションの統合によっても，Naniteの性能はほとんど落ちていないと聞いている。PlayStation 5でも実用になるレベルだ。問題ない」との返答が得られた。

テッセレーションでは，Naniteに統合された「Compute Shaderで実装したLOD付きラスタライザ」（マイクロポリゴン化エンジン）を流用する

　このコメントを聞いた筆者の推測になるが，今回のNanite動的テッセレーションは，GPU側のテッセレーションステージを活用していないと思われる。つまり，ディスプレースメントマッピングに必要なテッセレーション処理は，Naniteが元々実装しているCompute Shaderベースの無段階LODシステムで代行しているのだろう。

Simon Tourangeau氏（VP，Engineering Unreal Engine，Epic Games）

　補足すると，あとで登壇したEpic GamesのSimon Tourangeau氏によれば，「UE 5.4のNaniteは，『Variable Rate Shading』（VRS）の活用とカリングシステムの最適化によって，以前のバージョンよりも，さらに高速化された」とアピールしていた。その性能向上率は，以前公開されたMatrix風のデモ「City」において，描画スレッドの負荷が50％，GPU負荷は25％低減したほどと，Tourangeau氏は述べていた。

リアルな煙を実現する「Heterogeneous Volumes」

　続いては，ドラム缶から上がる煙を例にとり，煙の表現に使ったUE 5.4の新しいパーティクルシステム機能「Heterogeneous Volumes」の説明が行われた。


　このデモにおける注目すべき点は，空に浮かぶ月明かり（＝平行光源）によって，立ち上がる煙に対して正確なライティングが行われていること。そして煙の影が，地面や煙自身に投影されている（≒セルフシャドウを行っている）という点だ。

　一般的なパーティクル表現は，板ポリゴンに煙の模様を描いたテクスチャを貼り付けて，スプライト的に常時，視点に相対するように表示するという，いわゆる「ビルボード手法」が今でも主流だ。
　今どきのゲームグラフィックスでは，ビルボードに対して凹凸情報を持たせて疑似的な立体物として扱い，法線マッピング（バンプマッピング）的な陰影処理を適用したり，あるいはスプライトを形作る板ポリゴンの各頂点にライティングを行って，その陰影結果を反映させたりといった「疑似ライティング」テクニックを組み合わせるケースが多い。いずれにせよ，カメラが煙に近づくと，ビルボード法のウソは露呈する。

　それに対して，UE 5.4のHeterogeneous Volumesを活用した煙表現では，グリッドベースの流体シミュレーションを行ったうえで，シミュレーション結果に対してレイマーチング法で描画しているという。つまり，煙が物に衝突，分岐して流れたり，あるいは煙の密度が低いところは半透明のように光が透過して見えるような表現も可能だということである。

　Libreri氏によると，シミュレーションの処理単位となるグリッド（ボクセル）のサイズは，大小さまざまで，だからこの機能に「Heterogeneous」（異種混合）と言うキーワードを与えたそうだ。
　「グリッド構成は，階層構造なのか」とLibreri氏に訊ねたが，詳細は分からず。おそらく，煙発生源から遠ざかれば遠ざかるほど，気体の密度や流速ベクトルの情報の入ったシミュレーショングリッドサイズは粗くなるのだろう。

　Libreri氏によると，シミュレーションやパーティクルへのライティングは，複数フレームにまたがって行う（分散する）方式で，若干の遅延をともなうとのことであった。また，描画に用いるレイマーチング手法とグリッドベースの流体シミュレーションは，前フレームの情報などを反映させるテンポラル手法を採用しているそうである。
　処理は時間方向に分散するものの，正確性の高い結果が得られるため，月の光やドラム缶の炎が煙の中に広がるような陰影や，煙自体の陰影，影も比較的説得力の高いものとなるようだ。


　Libreri氏は，描画に関しては「レイマーチング手法ではなく，軽量なビルボード的なスプライト手法の混在も可能だ」と述べていた。パーティクル群がその場にある物やキャラクターに衝突して，乱流を起こすような表現をしたい場合は，レイマーチング法で描画。一方で，遠方にあって風になびく程度のパーティクル群表現なら，より軽量な手法でといった具合に，使い分けも可能とのことである。

機械学習で衣服のシワをシミュレーション「ML Deformer」

　次の新機能は，衣服のシワのシミュレーションを実現する「ML Deformer」だ。


　上の動画を見ても，ゲームグラフィックスに従事したことのある人でないと，なにがすごいのかピンとこないかもしれない。あまりにも見た目が自然だから，普通の映像に見えてしまうのだ。

　今どきのゲームグラフィックスでは，スカートやマントのようにひらひらした布の動きは，キャラクターの動きに合わせて動く布（Cloth）シミュレーションを適用することも多い。シミュレーション自体は，身体の部位と布の表面との衝突を取った剛体物理と，布自体のテンションにバネ物理を組み合わせた実装が主流だが，長年，ないがしろにされてきたのは，もう少し身体にピチっと貼り付いたタイプの衣服のシワである。
　そもそも，かなり多くのゲームにおいて，このタイプの衣服のシワは，ポリゴンレベルでの凹凸表現ではなく，法線マッピング（バンプマッピング）系の技術による疑似凹凸表現で済ませている。つまり，本来は立体的なシワにもかかわらず，キャラクターの動きに合わせて動く衣服に「貼り付けたステッカー」のような奇妙な見た目になってしまっているゲームグラフィックスは，今でも多い。

　Marvel 1943では，キャプテン・アメリカとブラックパンサーというぴっちりコスチューム系のヒーロー2人が主役ということで，衣服のシワ表現について，見て見ぬ振りができなかったようだ。
　ということで，UE 5.4では，シミュレーション機能に優れた3DCGソフトとして知られる「Houdini」で，キャラクターの部位の動きに対する「衣服のシワ」のシミュレーションを行い，その衣服のジオメトリ変化を機械学習させる仕組みを構築した。その学習データから，キャラクターの動きに応じて動く衣服の変移をAIに推論させるアニメーションシステムを実装したそうだ。

　ここまでを踏まえたうえで，前掲の動画でキャプテン・アメリカの股間周辺を見てほしい。なんとも説得力のあるシワの動きをしているではないか。こうした「たわんだ布が織りなすシワ」は，先述したような布シミュレーションでの実現は難しかった。


　Libreri氏によると，UE 5.4では，後述する「Motion Matching」も含め，「MetaHuman」や「Mannequin」にも適用可能な，機械学習ベースのアニメーションを行うためのAI学習プロジェクトを提供する予定とのことである。

ハリウッド俳優の演技をMetaHumanアニメーションデータへ

　Marvel 1943の映像で，キャプテン・アメリカとブラックパンサーが口論となるシーンでは，まるでプリレンダームービーと見まごうような，かなり自然で，それでいて情熱を感じる演技が描かれている。


　これは，UE 5.4の最新版のMetaHuman（関連リンク）を活用したものだ。Marvel 1943で表情の演技を実装するために，2019年にEpic Gamesに買収されてMetaHumanの基礎技術を開発した旧「3Lateral」のスタッフが，チューニングに参加しているという。

　Marvel 1943で用いられている表情の演技（フェイシャルパフォーマンス）は，本作に出演しているハリウッド俳優の表情をキャプチャした表皮のモーションデータだ。ただ，顔面の各頂点を直接動かしているように見えるが，実際には違う。映画では「OK」なその手法も，ゲームでは，あまりにもデータ量が大きくなってしまうからだ。
　俳優のフェイシャルパフォーマンスをキャプチャするところまでは，映画制作と変わらないが，表情の演技データをMetaHumanで作ったモデルの顔面に設定されたボーン（リグ）を動かすデータ，すなわち「MetaHuman Animator」（関連リンク）用のデータへ変換しているのだ。
　毎秒数十コマくらいの精度で取得した表情の演技を，MetaHuman Animatorを駆動する時間方向のパラメータに変換しているわけである。イメージ的には，時間方向の表情の演技を，MetaHuman Animator用のツマミやスライダーの設定に変換するようなものだ。


　「声優による情緒豊かな台詞の音声」と「クチパク（リップシンク）主体の人形劇的な演技」によるアンバランスな表情表現に留まっているゲームが多いなかで，このレベルに到達したのは衝撃である。

UE 5.4には新アニメーションシステム「Motion Matching」が搭載へ

　今どきのゲームグラフィックスにおいて，キャラクターを歩かせたり走らせたり，止まったり曲がったりといったロコモーション表現では，ステートマシン型の状態遷移システムを採用するタイトルが多い。現在のゲームグラフィックスにロコモーションシステムの多くでは，たとえば，走っているキャラクターの動きから，あらかじめ状態遷移として定義した「止まる」「歩く」「○○方向に曲がる」といった選択肢のどれかに推移していくような，フローチャート的なメカニズムを採用することが多いわけだ。

　これは，ノウハウが必要なプログラミングに通じるところがある。状態遷移が自然に見えるようなフロー図にするためのノウハウは必要だし，歩くや止まる，曲がるといった，各アニメーションパーツ同士がうまくつながるようなロコモーションデータセットの構築や，動きをつなぐ補間アニメーション処理にも，手間とコツがいる。
　そこで最新のゲームエンジンで採用が進んでいる新しいアニメーションシステムが，「Motion Matching」（モーションマッチング）と呼ばれる技術だ。


　技術の方向性としては，とても「力ずく」なアプローチで，現在フレームにおけるキャラクターの移動方向や速度，腕や脚といった関節の角度，角速度，向き，場合によってはゲームパッドの操作状態といった多彩なデータから「次に再生すべきモーションをデータベースから探索する」（モーションマッチングを行う）のが，この技術の基本概念になる。
　先述したとおり，探索に用いる多種多様なデータは，モーションマッチング精度を上げるためには，複数の過去フレームから引っ張ってくる場合もある。それらや膨大なアニメーションデータから正しいモーションマッチングを行うには，それなりに演算負荷とメモリアクセス負荷が高くなってしまう。

　多彩なデータ入力から「次の状態を推論させる」という演算パラダイムは，機械学習に適したテーマであることに気が付く人もいるだろう。実際，ニューラルネットワーク系技術とモーションマッチング技術を組み合わせた研究は多い。たとえば，Ubisoft Entertainmentも，「SIGGRAPH 2020」でモーションマッチング技術と機械学習技術を組み合わせた論文を発表したことがあった。


　UE 5.4では，このモーションマッチング技術をベースにした，キャラクターの移動アニメーションシステム「Motion Matching Locomotion」が導入される。
　UE 5.4リリース時には，二足歩行キャラクター向けに500パターン以上のモーションマッチング用データセットが提供される予定で，ゲームに合わせて粗めのデータセットか，高精度なデータセットが選択できるとのこと。また，Libreri氏によれば，データセットから不要なアニメーションパーツを削除したり，別途作り込んだアニメーションパーツと入れ替えたりできるそうだ。
　さらに，独自のアニメーションデータ群から，モーションマッチング技術を利用するための開発パッケージもリリースしていくとのことであった。

　ただ，最近のゲームグラフィックスでは，人間のロコモーションよりも，四足歩行する動物の動きに違和感や不自然さを感じることも増えているので，このシステムでそのあたりも改善されることを期待したい。

Epic GamesはDirectXの新機能「Work Graph」への対応を表明

　そのほかにもState of Unreal 2024では，Fortniteを改造できるコンテンツ制作ツール「Unreal Editor for Fortnite」（UEFN）に，リアル系人間キャラクターを登場させることが可能になる「MetaHuman to UEFN」（関連リンク）も発表となった。


　もともとUEFNでは，リアル系の世界観にもとづいたステージを構築できたが，キャラクター表現に関してのリアリティ向上には，あまり手が入っていなかった。しかし，MetaHuman to UEFNのリリースによって，UEFNを使ってリアルタッチに統一したユニークなFortnite MOD的なゲームを開発できるようになりそうだ。

　ちなみに，Libreri氏らとのインタビューの最後に，DirectXの新機能となる予定のGPUによる自律駆動描画システム「Work Graph」に対応する計画があるかと聞いてみたところ，「対応することに，完全にポジティブだよ」と前向きな答えが得られた。
　対応時期は未定とのことだが，Microsoftからのリリースもまだなので当然だ。楽しみに待ちたい。

Epic GamesのState of Unrealに関するニュース