［SIGGRAPH］製品化前の次世代バーチャルリアリティ技術が盛りだくさん。「Emerging Technologies」展示セクションレポート（2）

　2010年8月4日に掲載したレポート第1弾に続いて，SIGGRAPH会場において，もっぱら製品化前の最先端研究が展示されることで知られる，「Emerging Technologies」（通称E-TECH）セクションのレポートを行っていきたい。

製品化前の次世代技術が目白押し。「Emerging Technologies」展示セクションレポート（1）

空中タイピング可能なバーチャルキーボード

「In-Air Typing Interface」〜東京大学

　東京大学の研究グループは，空中で指を動かすことでキー入力ができるPDA向けのインタフェースシステム「In-Air Typing Interface」（以下，IATI）を展示していた。


　今やPCに迫る高機能を誇る，iPhoneなどのスマートフォンだが，決定的にPCと異なるのは入力インタフェースだ。普通に使っている限り，画面を指で操作することにストレスは感じないが，問題は文字入力だ。小さな画面内で細かくポインティングするのは難しく，ソフトウェアキーボードの使い勝手はイマイチ。そのため，携帯電話ライクな文字入力システムが採用される場合が多い。

　基本的に，携帯機器の画面サイズに対して人間の指が大きすぎるのが問題なのだが，かといって画面を大きくしすぎると携帯性を損なってしまうし，もちろん，今さら指を小さくすることもできない。そこで考案されたのが，IATIだ。

「In-Air Typing Interface」の使用風景

原理を解説したパネル

　携帯機器に表示されたIATIの画面を見ると，指で直接入力するのは不可能なほど小さなソフトウェアキーボードが描かれ，そこに指の位置を示すマーカーが示されている。この状態のまま画面の“上空”で左右に2cmほど手を動かしてみると，画面上のマーカーが数mmだけ移動する。つまりユーザーは，画面上の小さいフルキーボードが，空中に拡大されているイメージで入力することになる。

画面上のソフトウェアキーボードは小さくても，空中の広いスペースを駆使してタイピングできる

　実物のスイッチがない状況で，どうやってキーを押すのかといえば，空中でキーを押し下げる動き――押下ジェスチャーを入力の合図としている。一般的なソフトウェアキーボードでは，それぞれのキーに触れただけで入力されてしまうが，IATIは“指を押し下げる”ことで入力になるため，現実のキーボードのようにホームポジションに指を置き，そこから必要なキーに指を移動して押下できるようになっているところが特徴だ。もっとも，片手で操作することになるので，現実のキーボードとは微妙に使用感は異なっている。

　とはいえ，中空で指を動かしたところで，実際にスイッチを押した感覚はない。そこでIATIは，本体に内蔵した振動機能でフィードバックを行うことにした。具体的には，打鍵のたびに携帯機器本体側のIATIがビクン，ビクンと振動するので，キー入力が行われたことを，まさに“手ごたえ”として感じ取れるのである。これはなかなか分かりやすい。

ジェスチャー入力により，拡大縮小回転を駆使しながら大きな写真を閲覧することも

3D空間での立体お絵描きも可能だ。ゲームのインタフェースとしても使えるかもしれない

　ハードウェアとしてのIATIは意外にシンプルで，用いられているデバイスは赤外線フィルタを組み合わせたCMOSカメラと赤外線（IR）発光素子，そしてそれらを制御するチップだけ。CMOSカメラで撮影された「IR光オフ時とオン時との映像差分」から，指のトラッキングと指の押し下げを認識する仕組みである。認識範囲はセンサーから15cm上空で横20cm×縦10cm程度になるとのこと。

　今回のデモでは一度にワンアクションしか認識しないシングルタッチのみだったが，原理的/技術的に複数キーの同時押しの認識は十分に可能だという。タッチパネルやペン入力に代わる，次世代の入力インタフェースになるか，今後の進化が楽しみだ。

IATIのデバイス部分。試作品のため外付けだが，本体への内蔵はもちろん可能だ

中央の矩形部分にCMOSセンサーがある。四隅の電球のようなものが赤外線LED光源

世界で最もファンシーな情報表示手段

「シャボン玉ディスプレイ」〜慶應義塾大学

シャボン玉ディスプレイの構造

　平面ディスプレイを構成する画素には，自ら発光するLEDやプラズマ，有機ELのほか，分子配列を制御してシャッターとして使う液晶などがある。しかし，慶應義塾大学の研究グループがSIGGRAPH 2010に展示していた「シャボン玉ディスプレイ」の画素は，なんとシャボン玉。
　これは「実体ある（Substantial）ディスプレイの可能性」における，一つの成果物として発表されたもので，ブースにあった試作機には，10×10個のシャボン玉発生器がマトリクス配置されており，これで10×10のドットパターンを表示できる。

　シャボン玉がふくらんでいくのは見た目に面白く，なんともファンシー。とはいえ，シャボン玉そのものは透明で発光もしないため，ひとかたまりの図版や文字としては見えにくい。シャボン玉の中に煙を入れたり，あるいはライトアップしたりといったギミックが加われば，より見やすく，幻想的な雰囲気を演出できたかもしれない。

10×10ドットのシャボン玉からなるシャボン玉ディスプレイ

シャボン玉を破壊するために設けられたメカ部分は透明樹脂パーツで構成されている

ディスプレイ直下にシャボン液のタンクが設けられている。その下がエアポンプ部

　現時点で，ふくらませたシャボン玉を瞬間的に消し去る（つまり，割る）ことはできるので，表示パターンを次々に変更してアニメーション的な表示が行える。ただ，シャボン玉を切り離して浮かび上がらせるギミックはなく，今後，送風ギミックを追加して立体的な表示ができるようになる可能性もあるという。ライトなどと組み合わせれば，デジタルサイネージ用ディスプレイとして，かなりのアピールが期待できそうだ。

（左）こちらに向かって突き出ている電極が，シャボン玉の有無を判定するセンサー。（右）E-TECHの会場で展示されていた別のシャボン玉ディスプレイ試作機。こちらは，シャボン玉を割った瞬間に「ポコン」と効果音が鳴った

　現在の試作版では，各シャボン玉ピクセルにセンシング電極を与えることで，「シャボン玉がある/ない」の判定が行えるようになっている。風やいたずらなどでシャボン玉が割られた場合，その割れたシャボン玉だけを再生することもできるようである。もっとも，担当者によれば，これはむしろユーザーに積極的にシャボン玉を割らせ，実体ディスプレイならではの，「触れる」というインタラクティブ性を強調するために活用したいとのことだった。

フサフサの毛皮のディスプレイ

「FuSA2 Touch Display」〜大阪大学

　手で触れられるディスプレイの展示は，大阪大学の研究グループも行っており，こちらは毛皮ディスプレイ「FuSA2 Touch Display」（以下，FuSA2）を展示していた。
　FuSA2は，一見ただの毛皮なのだが，その表面に，動く模様のアニメーションが表示されるというもの。毛皮に映像が出るというだけでも十分楽しげだが，これをなでると，なでられたことに反応して模様が変形したりする。さしずめ，「毛皮ベースのタッチパネル対応ディスプレイ」といったところか。


　この“毛皮”の正体は，プラスチック製の光ファイバー（以下，POF）で，表示される映像は，背面に設置されたプロジェクターによるものなのである。つまり，映像が無数の光ファイバーを通して表示されているわけだ。

FuSA2の構造。毛に光ファイバーを使用している点と，赤外線カメラで表皮に触れる手の動きを捉える点がユニーク

　なでることで映像が反応を示す仕組みがどのように実装されているのかといえば，実はここでは，光ファイバーの特性がうまく活用されている。
　毛皮の裏面には赤外線を発するLEDが敷き詰められており，この赤外線も，光ファイバーを通して表面に達している。手と毛皮とが接すると赤外線が拡散し，光ファイバーに再び入射される。この戻ってきた赤外線を赤外線カメラで捉え，これを手の動きとして認識しているのだ。この仕組みを実現するため，FuSA2試作システムには毛となる光ファイバーが100万本，赤外線LEDが3500個（！）も使われている。

幻想的に光る毛皮。なでると反応するのが面白い

　情報や画像が表示でき，インタラクションも可能なペットロボットに応用できたら……と担当者は語るが，本物の犬や猫よりもだいぶ価格が高くなりそうだ。将来，携帯情報端末とペットロボットが融合したガジェットが流行し，電車の中で毛むくじゃらの情報端末をなで回す人が出てくるようになったら……，それはそれで面白いかもしれない。

（左）毛皮の裏に埋め込まれている赤外線LEDの群れ。デジカメで撮影するとピンク色に光って見える（右）表皮に表示される映像は，背後のプロジェクターから発せられている

消費電力ゼロの自発光ディスプレイ「Slow Display」

〜米MIT Media Lab，蘭デルフト工科大学，慶應義塾大学

　動画ほどのリフレッシュレートは必要なく，常に同じような内容を表示し続けるデジタルサイネージ（電子看板）用途においては，ディスプレイのエネルギー消費効率が重要になってくる。電子ペーパーのように，映像の表示に電力を使用しないタイプのディスプレイデバイスが有望視されているが，電子ペーパーは画素が光らないため，使用状況が限定される。
　表示される内容が目立たなくてはデジタルサイネージとして意味がないし，といってバックライトやフロントライトを使ったのでは液晶を使っているのと変わらない。

　米MIT Media Labや慶應義塾大学らが合同で発表した「Slow Display」は，そうした用途に向けた蓄光式のディスプレイである。


　時計の文字盤や家電のリモコンなどによく使われているので，夜行塗料などの蓄光材料が夜，うっすらと緑色に光るのを見たことがある人は多いだろう。Slow Displyの表示面には蓄光（または「燐光」とも呼ばれる）材料が塗布してあり，光が当たると各画素がそのエネルギーを蓄え，その後しばらくの間，光を発する。

　つまりSlow Displayは，光の照射によって表示面に映像を描き込み，蓄光現象で映像を表示し続けるパネルなのだ。映像表示処理に電気を消費しないため，消費電力は少なくてすむ。光の強弱で明暗のコントロールもできるので，図版や文字を表示することも，モノクロ映像を表示することも可能だ。
　原理的に時間経過とともに暗くなってしまうわけだが，担当者によれば，蓄光材料の進化もあって数時間程度は表示が維持できるという。ちなみに，表示が暗くなってきたら，再び映像の描き込みを行う必要がある。

　展示されていた試作システムでは，11mW，405nmの紫外線レーザーを使用した映像描き込みが行われていた。ガルバノスキャナ（レーザープリンタにも使われている，高速回転する多面体の鏡）を使っていったん映像を描き込めば，それ以降はもう，消費電力ゼロで画像を数時間表示し続けられる。

　蓄光材料の特性で，現在は薄い黄緑色の発光をするだけだが，将来的には使用できる色を増やしていきたいとのこと。光の反射率を変えられる「フォトクロミズム材料」を使ったバージョンもあり，そちらは自発光のほか，光を当てたときにも映像が現れるのだそうだ。どちらも，屋外のデジタルサイネージ分野に応用できる技術である。

Slow Displayは映像を光で描き込むので，対象は四角形平面でなくてもいい。写真は立体のSlow Displayに図を描き込んでいるところ。描き込み後は長時間，発光し続ける。つまり「消費電力ゼロのディスプレイ」ということだ

バーチャル多角形領域センサー「AirTiles」

〜筑波大学

　手の平ほどの大きさで，上面のLEDがピカピカ光る不思議な物体。「AirTiles」と名付けられたこのモジュールからは赤いレーザー光が発せられ，ほかのAirTilesと光で結ばれている。これはいったい，何なのか？


　筑波大学の研究グループが開発したAirTilesは，簡単に言うなら「センサー」である。一つでもセンサーとして使えるが，最大の特徴は，各AirTilesを頂点として形成した任意の多角形の内部領域をセンシングし，物体を検知できる点。
　例えば3つのAirTilesで三角形を構成したら，その三角形の内部にある物体を認識し，5つのAirTilesで五角形を作れば，その内部の領域がセンシング範囲となるのである。

AirTilesの仕組み

　AirTilesには制御用のマイコンのほか，レーザー発信器，赤外線エミッタ，赤外線レシーバー，測距センサー，バッテリーが組み込まれており，隣接するAirTilesとは赤外線通信を行うようになっている。

　このシステムの応用としては，「自在に配置できるスイッチ」が考えられ，例えばダンスゲーム用のフットスイッチなら，体格に合わせて設置間隔を自在に調整することが可能になる。担当者によれば，実際に反復横跳びの回数を計測する実験を行ったことがあるとのこと。

任意の多角形領域内をセンシング可能なAirTiles。現在の試作システムでは，多角形内のセンシング頻度は1秒間に3回程度。実験では，最大10角形を形成して検知に成功したとのこと

　「物体を検知したあとの処理はホストPCで自在に設定できるため，ある領域に足を踏み入れたら，検知したAirTilesを消灯して次のAirTilesを点灯させ，それを繰り返すことで所定の方向に向かわせるナビゲーションシステムも可能だろう」と担当者。AirTilesを壁に貼り付ければ，さらに応用範囲が広がるはずだとも語ってくれた。

木漏れ日に触れる「A Tactile Display for

Light and Shadow」〜東京大学

上面にはスクリーン。その下にはカメラが

　東京大学の研究グループが展示していた「触覚ディスプレイ」（Tactile Display）は「木漏れ日を触る」をコンセプトに開発されたものである。
　ディスプレイ（という雰囲気ではないが）は円筒形で，上面には半透明のスクリーンが張られている。外部の風景をスクリーンで大ざっぱに光と影に分け，それを円筒内のカメラがとらえるという仕組みで，一方，円筒の反対側には柔らかい突起が何本もあり，カメラの画像に対応して突起が振動する。これを額になどに当てて歩くと，景色に応じて突起の振動が変化し，明暗の移り変わりを体感できるというわけだ。
　「木漏れ日に触れる」というより，「触れられる」という雰囲気で，実際どのように応用できるか分からないが，面白い試みだ。

おでこにデバイスを当てて，光の変化を皮膚で体感できる

ホストPCで明暗の認識を行い，突起の振動を制御している

底面部には85個の柔らかい突起。影領域の部分が振動する

描いた絵の質感が楽しめる

「Colorful Touch Palette」〜東京大学

　どんなCGを描こうが，ディスプレイ画面はあくまで真っ平ら。描いた絵の凹凸感を実感することはできない。「これに触れることができたら，さらに楽しく絵が描けるのではないか」というのが，東京大学の研究グループが展示していた「Colorful Touch Palette」である。

触覚キャップの構造

描きながら触れるColorful Touch Palette

　使用者は指に触覚キャップ（Tactual Cap）と呼ばれる装置をはめて画面に触れることになる。触覚キャップには，指が画面に触れている強さを計測する圧力センサーと，触覚を生成する電極シートが搭載されており，電極シートには，2.5mm間隔で3×5個の電極が配置されている。
　この仕掛けにより，使用者は電極からの電気刺激でザラザラやボツボツといった質感を指で感じられるだけでなく，そういった質感を持ったテクスチャを使って絵を描くことも可能なのである。

　面白いのは，さまざまな質感のテクスチャを混ぜ合わせて，新しいテクスチャを作れるところ。例えば，ザラザラした材質とボツボツした質感のテクスチャとを混ぜれば“ザラザラ＆ボツボツ”した質感になり，それを画面に塗れる。
　完成した絵に再び触れると，液晶画面を触っているだけのはずなのに，質感を指先に感じられる。絵の中で穴のあいている箇所には段差が感じられ，何も塗っていないところから塗ってあるところに指が移動すれば，ツルツルからザラザラに感覚が変わる。これらはすべて，電極からの微弱な電気刺激によって再現されているのである。

　デジタルアートに“触覚”という新しい次元を追加したわけで，それだけでも十分に楽しいが，それ以上に，この技術を応用した，視覚に障害のある人でも楽しめる新しいインタラクメディアの登場が期待されるところだ。

（左）触覚キャップを指に取り付けたところ。（右）指に対してのフィードバックはマトリックス状に配置された電極シートの電気刺激によって生成される。電極数が少ないようにも思えるが，指の移動に応じて刺激の強弱をリアルタイムに変化させるため，得られる感覚はかなり精細である

踊りながら演奏できるレーザー電子楽器

「beacon 2＋」〜筑波大学

　筑波大学の研究グループが開発した「beacon」は，灯台のようなデバイスから発せられるレーザービームに奏者が触れると音が鳴る，不思議な楽器だ。今回展示されていたのは第2世代beaconの，さらに改良版ということで，「beacon 2＋」という名称になっていた。

新感覚の音楽コントローラになるか？

　beacon 2＋の奏でる音は，レーザーを照射する装置に近ければ近いほど低音で，離れれば離れるほど高音になる。つまり，ドレミファソラシドが同心円状に配置されているのである。
　仕組みとしては，「発振器からのレーザー光をガルバノスキャナを使って地面に照射し，これに同調した距離センサーで演奏者との衝突を計り，衝突距離に応じた音の高さで楽器音を再生する」といった感じになっている。複数のbeacon 2＋をネットワーク接続すれば，アンサンブルも可能とのこと。

　最近，ゲームセンターでは，コナミの「jubeat」のような，新感覚の音楽ゲームが流行していたりもするので，このbeacon 2＋も，アミューズメント分野へ進出したら人気が得られるかもしれない。