［SIGGRAPH］リアルタイムレンダリングの最先端が集結するイベント「Real-time Live!」レポート（前編）

　SIGGRAPH会期中の人気イベントとしては，CG映画祭的な「Computer Animation Festival」が最も有名だが，それとは別に，SIGGRAPH 2010から始まり，人気を集める比較的新しいイベントがある。それが「Real-Time Live!」だ。

　Real-Time Live!とは，グラフィックスとそれに関わるインラクティブ技術を，実際にPCやゲーム機上でデモを動かして“リアルタイムで披露する”ことがコンセプトのイベントである。その場で実際に動かさなくてはならないので，ときにはマシンのハングアップやらネットワークトラブルがあったりして，うまく動作しない場合もあったりする。そうしたトラブルも含めて楽しむのが，Real-Time Live!なのだ。

Real-Time Live!は写真撮影が厳しく制限されるなど，独特のルールで運営されている

　2012年は，スクウェア・エニックスのゲームエンジン「Luminous Studio」による技術デモ「Agni's Philosophy」が入選していたが，今年もゲーム関連のデモが，いくつか入選していた。今回のレポートでは，23日に公開されたデモの中から，印象的なものをいくつかピックアップして，前後編に分けて紹介したい。

　なお，昨年同様このイベントは，写真撮影が厳しく制限されているため，提供された画像とオンライン上で公開されているビデオによる紹介となっていることを，あらかじめお断りしておく。

Spontaneous Fantasia

J-Walt氏

　Real-Time Live!のオープニングを飾ったのは，作曲家でグラフィックスデザイナー，演奏家にしてインタラクティブシステムデザイナーでもあるJ-Walt氏の作品「Spontaneous Fantasia」だ。

　3Dグラフィックスで描画される幻想的な異世界を突き進んでいくなかで，J-Walt氏は手元にあるタブレットや，RazerのPC用モーションコントローラ「Razer Hydra」を駆使して，リアルタイムに地形を上下に変形させたり，不思議な生き物を登場させたりして，世界に変化を与えていく。いうなれば，「リアルタイム・プロシージャル・アート」とでも言うべき作品だ。

Spontaneous Fantasiaを実演中のJ-Walt氏（中央下の背を向けている人物）

　グラフィックスプログラムや使用されている楽曲など，すべてをJ-Walt氏が1人で作り上げているだけでなく，一部のコントローラまでもが彼の自作というのには驚かされた。この作品の心髄は，ソフトウェアとハードウェアの総合芸術的な側面にあると言っても過言ではない。

　見ていて面白く飽きないのは，シーンを構成しているオブジェクトが基本的にシンプルな形状ばかりなのに，J-Walt氏のインタラクションによって，それらが複雑な形状に変化することで，展開もまた変化していくためだろう。デモ中には著しくフレームレートが下がってしまう場面もあったが，それもまたReal-time Live!ならではのご愛敬である。

　ちなみにJ-Walt氏は，ロックバンド「ピンク・フロイド」のコンサートを始めとして，世界各地の音楽/映像イベントに招待されて実演しているそうで，毎回，その内容が異なるところも人気の秘訣だとか。氏が最近披露した実演の様子と，インタビュー映像を掲載しておこう。




　J-Walt氏のオフィシャルサイトには，最近の活動内容と今後の活動内容がまとめられている。興味を持った人はチェックしてみるといい。

Shadertoy

Pol Jeremias氏/Inigo Quilez氏，Beautypi

　Webブラウザ上でプログラマブルシェーダを駆使したシェーダプログラムを開発し，プログラムの実験をするのに止まらず，世界中の開発者やオーディエンスと共有できるというツールが「Shadertoy」である。開発したのは，Beautypiというグループだ。

見ているだけでも面白いWebアプリ「Shadertoy」

　必要なのは，それなりの性能を持ったGPUを搭載するPCと，WebGLが動作するWebブラウザだけ。動作確認が取れているWebブラウザのはFirefox 17，Chrome 23，Internet Explorer 10（別途「IEWebGL」インストール必須），Safari 6など。Beautypiによれば，Andorid 2.2以上でOpenGL ES 2.0に対応するGPUを搭載していれば，スマートフォンやタブレットでも動くという。

　シェーダプログラムをWebブラウザで開発できると聞いたところで，いちゲーマーとしては「それが私になんの関係があるの？」と思う人が大半だろう。
それがそうでもないのが，Shadertoyの面白いところ。公式Webサイトには，無数のオリジナルシェーダプログラムが公開されているが，それらは「メガデモ」（Megademo）的な映像作品として楽しめるのだ。

　デザイナーやアーティストなら，「これはスゴイ！」と思ったシェーダプログラムがあれば，それをダブルクリックしてエディット画面を開き，ソースコードを見てみるといい。投稿されたシェーダプログラムには，二次利用に関するルールが記述されており，著作権フリーを宣言しているものならば，それを自分の作品に利用しても構わないのだ。

Shadertoyに投稿されているプログラムは，見て楽しむのもよし，作って楽しむのもよし。CGのプロは流用して楽しむのもよし？

　シェーダの入力パラメータには，音楽や映像，マウスポインターの座標，さらにWebカメラからのリアルタイム映像なども入力できるため，かなり高度なメガデモ的作品も作れてしまう。Real-time Live!での実演では，サーフェースの変位量として音楽の波形を入力することで，楽曲のビートに合わせてグラフィックスが刻々と変化していくシェーダプログラムを披露してみせた。

　以下に，注目に値するシェーダ作品のビデオを掲載した。これらは後加工はしておらず，すべてShadertoyだけで作られた映像を，そのままビデオファイルとしてYouTubeに投稿したものだ。Shadertoyはプログラマブルシェーダを軸としたSNS，と呼べる存在かもしれない。

Digital Ira: High-Resolution Facial Performance Playback

Paul Debevec氏ほか，USC Institute for Creative Technologies

　今，CGの世界で最も有名な「顔」といえば，なんと言っても「Ira」（アイラ）さんだろう。NVIDIAの次世代Tegraこと，開発コードネーム「Logan」のデモで一躍有名になったこのおじさんは，実は南カリフォルニア大学（University of Southern California，以下，USC）のPaul Debevec氏の研究室で進行している「Digital Ira」プロジェクトの産物なのだ。
　Real-time Live!では，Digital Iraプロジェクトの最新状況報告として，DirectX 11世代GPUでリアルタイムレンダリングを行うデモが披露された。ただし，このDigital Iraプロジェクトは本来，映画などのノンリアルタイムCGに向けたキャラクタレンダリング技術向上を目的として進められているもので，リアルタイムのゲームグラフィックスや，NVIDIA GPUの開発支援を目的としたものではない。

Jorge Jimenez氏（Activision Blizzard）。写真はSIGGRAPH 2012のReal-Time Live!登場時のもの

　だが，ゲームとまったく関わりがないわけではない。ゲームグラフィックス向けへの応用に関して，USCはActivisionと協業しており，Real-Time Live!でプレゼンテーションを担当したのも，Activision BlizzardのJorge Jimenez氏であった。

　ちなみにJimenez氏は，「IRYOKU」というハンドル名で活動している，リアルタイムレンダリングの世界ではちょっとした有名人だ。氏はスペインのサラゴサ大学を経て，Activision Blizzardに勤務しており，彼が発明した，画面座標系で人肌の皮下散乱を実現する技術「Screen-Space Subsurface Scattering」（以下，SSSS）は，世界中のゲーム開発シーンに瞬く間に広まったほどだ。このSSSSは，スクウェア・エニックスのAgni's Philosophyにも採用されていることを，知る人も少なくないだろう。
　Jimenz氏はSIGGRAPH 2012のReal-Time Live!にも登場しているが，今回のデモは，2012年に氏が発表した一連のリアルタイムフェイスレンダリング向けシェーダ技術を，Digital Iraに応用したものだった。

モデルの男性をデジタルスキャンしている様子

　Digital Iraプロジェクトは，まずモデルとなる男性の顔を高精度3Dスキャナでスキャンして3Dモデル化し，その後，8つの感情表現を演技した顔を，12の領域に分けて，30fpsにてビデオ撮影している。この演技をCGにて，いかに本物そっくりに近づけられるかというのが，プロジェクトの目的である。Activisionが協力したリアルタイムレンダリング版のIraでは，顔のポリゴン数を4000にまで削減して実現したそうだ。

スキャンで得られた高品位モデルデータ（左）とテクスチャデータ（右）

リアルタイムレンダリングされたIraの例

　顔面にある表皮や筋肉の動きは，12の領域別に撮影されたビデオに記録されているわけだが，これをすべて，法線を再計算しながら頂点アニメーションにするのは，処理負荷を考えるとリアルタイムレンダリングには向かない。
　そこで，まず4000ポリゴンの顔に，ゲームグラフィックスで実現可能な程度のボーン（骨）とリグ（ボーンを動かすための制御点）を設定する。そして，“8つの感情表現の前後”における顔の状態を，ゲームグラフィックス向けの法線マップや変移マップ（ディスプレースメントマップ）として，スキャンした多ポリゴン状態の頂点アニメーションから取得したという。
　この，取得した感情表現前と表現後の法線マップや変移マップを，4000ポリゴンの顔面アニメーションに対して徐々にブレンドさせながら適用させることで，見た目の品質とリアルタイムレンダリングに適した処理負荷を，両立させることに成功したそうだ。

　Real-time Live!では，下の動画にあるデモの実演に加えて，本邦初公開となる髪毛生成の様子も披露された。

本物のIraさんと記念撮影。彼はハゲではなかった！　ステージにはサイン用色紙も用意されていて，直筆で「I wasn't paid for doing this!」（オレはこんなことやらされるって聞いてないゾ！）というメッセージを書いてくれた

　一通りのデモが終わったあとでJimenez氏は，「皆さんは知らないかもしれないが，現実世界のIraさんはハゲではないんだ」と述べたので，会場は大爆笑に包まれた。そんなところに，架空の人物かと思われていたIraさん本人が登場したものだから，会場は大騒ぎに。そう，Iraは実在する男性だったのだ。芸能人でもない普通の中年のおじさんの登場で，ここまで観衆が沸くことも珍しいだろう。
　Real-Time Live!終幕後は，ステージ前でIraさんのサイン会が行われたことは言うまでもない。

Real-Time Live!｜SIGGRAPH 2013

SIGGRAPH 2013 公式Webサイト