次に来るフィードバック技術は「温度」？ VR用途に使える温覚＆触覚技術をCEATEC 2017で体験してみた

CEATEC JAPAN 2017ではAIが多く展示されていたので，AIチャットボットを見て回ったのだが，ゲーム用途に食い込めそうなものは発見できず。Haloシリーズにおける「Cortana」さんみたいなものは，まだまだ先だ

　2017年10月初週に幕張メッセで行われたエレクトロニクス関連展示会「CEATEC JAPAN 2017」。IoTやエレクトロニクス関連技術がメインテーマの展示会なので，直接ゲームに関係のある展示は少ないが，例外的な要素もある。それがVRに関する技術展示だ。
　VRといっても，ヘッドマウントディスプレイそのものや，それに使う要素技術の話ではない。筆者が注目したのは，触覚や温覚といった要素を利用するフィードバック技術の展示である。すぐにでもゲームに応用できるかというと，いろいろと課題はあるだろうが，将来の可能性を示す事例として紹介する価値はあるだろう。
　ということで，本稿ではCEATEC JAPAN 2017で見たフィードバック関連技術を中心に，映像関連の面白い展示も含めて簡単にレポートしたい。

温度と触感がゲームに加わる日は近いかもしれない

Joy-Conが内蔵していた触覚フィードバックデバイス「ハプティックリアクタ Hybrid Tough Type」

　ゲームにおけるフィードバックの利用といえば，誰でも思い浮かぶのがバイブレーション（振動）だろう。
　一言で振動と言っても，その技術は進歩を続けており，たとえばNintendo Switchの標準ゲームパッドである「Joy-Con」には，「HD振動」という振動フィードバック機能があり，そこで使われているアルプス電気の「ハプティックリアクタ Hybrid Tough Type」については，CEATEC JAPAN 2016のレポート記事で取り上げたこともある。

　一方，CEATEC JAPAN 2017におけるフィードバック技術の展示には，温覚を利用するものが複数出展されていたのが注目に値するところだ。
　ちなみに，2017年9月に行われた東京ゲームショウ2017でも，韓国のTEGwayという企業が，ペルチェ素子（熱電素子）を利用した熱触感フィードバック技術「ThermoReal」を出展していたので，CEATEC JAPAN 2017に限った流行り物ではない。

　そんな温覚表現技術のひとつとして，慶応義塾大学理工学部システムデザイン工学科が展示していた「サーモグローブ」を取り上げよう。
　サーモグローブは，平面上に並べて配置した細かいペルチェ素子を応用した手袋で，これをはめた指や手のひらに暖かさや冷たさを感じさせることができるというものだ。特徴の1つは，温度変化に対する応答性が0.5〜1秒と高速であることだそうで，おそらくは，TEGwayが採用していたペルチェ素子と似たものを採用しているのだろう。

サーモグローブのデモ機

　テスト版なので見た目は無骨である。ペルチェ素子を貼り付けているのは指先と手のひらだけだそうで，放熱をクリアすれば，ペルチェ素子以外にセンサー類を組み込んだグローブを作ることも可能だろうとのことだった。

テスト版なので，ペルチェ素子をグローブの指先や手のひら部分に貼り付けているだけの状態だ

ペルチェ素子の設置部位を説明するためのダミーハンド。ちなみに，応答性を重視して，ペルチェ素子の管理はシート1枚単位で行うとのこと

ハプティックトリガープラスの説明パネル

　もう1つ，紹介したい温覚表現技術は，アルプス電気が披露した「ハプティックトリガープラス」と呼ばれる技術のデモである。同社は，2016年にハプティックリアクタを出展していたのだが，後で調べたところ，2016年にもハプティックトリガープラスの展示を行っていたようで，今回はそのアップデート版であったらしい。

　さて，そのハプティックトリガープラスとは，振動や圧力といった既存のハプティクス技術による「モノの硬さや柔らかさ，質感」といった表現に，ヒーターとペルチェ素子による温感/冷感表現を加えたデバイスだ。これを組み込んだデバイスに掴むことで，振動による触覚と暖かい/冷たいといった温覚を同時に感じさせることができるというものである。
　会場にあったデモ機は，ジョイスティックのような物体に，ハプティックトリガープラスを埋め込んでおり，手で握るとデモ画面上で示される物の硬さや温度を感じられるというものになっていた。
　ちなみに，ハプティックトリガープラスの場合，ペルチェ素子は温度を下げる用途に，ヒーターは温度を上げる用途に用いており，温感と冷感で使い分けているのがポイントである。

ハプティックトリガープラスのデモ機は，ジョイスティックのような姿をしている（左）。内蔵するアクチュエータによって，画面上で触れた物の硬さを再現しつつ，ペルチェ素子とヒーターで温度を伝えるというデモだった。押し込んだときに感じる触覚フィードバックが上質だ（右）

　ここまでは，2016年版にも実装されていた要素だが，2017年版のハプティックトリガープラスでは，これらに加えて静電容量センサーを組み込むことで，指の動きを認識できるようになっている。デモは，スティック状のデバイスに触れるとスタートする仕組みになっていた。

ハプティックリアクタ用のデモ機。Joy-Conに採用されたHybrid Tough Typeに加えて，「Hybrid Super Tough Type」のふたつが搭載されており，より緻密な感覚を再現していた。今後，登場するVR用コントローラに搭載されていそうである

ハプティックリアクタの採用事例として，HTCのVRヘッドマウントディスプレイ（以下，HMD）「Vive」のワンド型コントローラ（左）と，Oculus VRの「Rift」用モーションコントローラ「Touch」（右）も出展されていた。ワンド型コントローラによるVRデモはアルプス電気製で，ことフォースフィードバックに関しては，既存のVRタイトル以上に優れた体験が得られた

　触覚フィードバック関連では，TDKブースにあったピエゾ素子（圧電素子）によるアクチュエータ「PiezoHapt」が興味深い。たとえば，PiezoHaptを組み込んだ部品に触れると，振動による触覚フィードバックをユーザーに与えるといった使い方ができるものだ。
　PiezoHaptは，機器のデザインを妨げない薄さと，素早く反応する点が特徴であるという。PiezoHaptには，いくつか種類があり，ボタンサイズの「PiezoHapt S」になると，直径は12〜15mm，厚さは0.26mmと，非常に小さいサイズを実現している。

PiezoHaptのラインアップを並べたパネル。PiezoHapt Sの小さいものは，直径12mmと小さい

写真のデモは，自動車のエンジンスタートボタンをイメージしたもの。静電容量タッチパネルの下にアクチュエータを埋め込んで，押下すると振動で手応えを感じる仕組みだ

　展示パネルには，使用用途としてゲームパッドが描かれていたので，将来的な採用を狙っているようだ。確かにこれくらい小さいと，少し大きめのボタンであれば，ゲームパッドのボタン内に直接埋め込めそうである。あるいは，薄いアクチュエータをゲーマー向けキーボードの各キーに埋め込んで，押し込んだときにフィードバックを与えるという用途に使えるかもしれない。

PiezoHaptの説明パネル。スイッチ用途での応用事例に，DUALSHOCK風のゲームパッドが描かれている

　栗本鐵工所ブースには，2016年と同じ磁気粘性流体「SoftMRF」（関連記事）が展示されていた。SoftMRFとは，磁力を加えると粘性が高まるという流体で，たとえばステアリングコントローラに使うと，車の動きに合わせてステアリングの動きが軽くなったり硬くなったりするといった具合に，アナログなフィードバックを与えられるというものだ。

磁気粘性流体SoftMRFの実物（左）とデモ用の体感装置（右）。「パルス制御」「出力制御」と書かれたダイヤルを調整すると，クランクの回転にかかる抵抗が変わり，両方とも最大にすると，クランクを回すのが困難なほど抵抗が強くなる

　SoftMRF自体は，2016年の展示と変わらないので説明は省くが，今回のブース展示では，応用事例としてバンダイナムコエンターテインメントのVRエンターテインメント施設「VR ZONE SHINJUKU」にあるVRコンテンツ「釣りVR GIJIESTA」で使われているコントローラが出展されていた。釣り竿型コントローラに採用されており，リールを巻くときに感じる抵抗の表現に使われているそうだ。
　また，撮影は禁止だったのだが，SoftMRFで触感を再現するデモもあった。イメージとしては，柔らかい容器にSoftMRFを入れて，シーンに合わせて硬軟を変更するというもの。アルプス電気とは，また異なったアプローチと言えよう。

釣りVR GIJIESTAの釣り竿型コントローラでは，リールの抵抗を表現するのにSoftMRFを利用しているとのこと。なお，写真はVR ZONE SHINJUKUの発表イベント時のものだ

　これ以外にも，SoftMRFの応用事例は，デバイスメーカーとの開発がいくつか進んでいるそうで「より身近に体験していただけるはず！」と，説明員は力強くアピールしていた。筆者としては，メインボタンの押下感を調整できるようなマウスが登場することを期待したい。

実写ベースのマルチアングル映像と空中結像ディスプレイの実用化に期待

　映像関連技術にも，将来的なゲームへの応用が期待できそうな展示があったので，簡単に紹介しておこう。

　1つめのテーマは，映像の「マルチアングル」化だ。複数のカメラによる映像をまとめて，視聴者側で好きな視点を選択して楽しめるというものである。CEATEC JAPAN 2017会場では，KDDIが「自由視点VRライブ」と称して，マルチアングル映像のデモを展示していた。任意のポジションから見た実写映像をリアルタイムに表示するといった内容で，ゲームで言うところの「フリーカメラ」的を実写でやっているようなもと，といえばゲーマーにはイメージしやすいだろうか。

自由視点VRライブのデモ。16台のカメラで人物を捉えて，背景画像をクロマキーで合成することで，岩盤を登っているような映像を作り出している

　複数台のカメラによる映像を合成し，映像に映っていない部分をソフトウェア側で補完するのがこの種のシステムの要点だが，リアルタイム処理となるとPC側の処理能力が壁となる。
　それに対して，自由視点VRライブのデモは，16台のカメラによる映像から，視点に近い位置にある3台分の映像をリアルタイムに選んで合成する方式を採用することで，処理能力の問題を回避していた。選択できる視点にもある程度制限を設けていたため，完成した映像には死角はないように見える仕組みだ。
　映像処理を行うPCの処理能力が高くなれば，さらにカメラを増やすことで，360度から好きな視点，好きな位置を選んで，スポーツを観戦するといったことも不可能ではないだろう。
　KDDIが2012年に公開した「Real Time Sports Viewing with KDDI Free-Viewpoint Technology」のビデオを見ると，どんなことができるのかイメージしやすいかと思う。


　やや脱線気味かもしれないが，自由視点VRライブや上掲のビデオを見ながら，リアルタイムマルチアングル映像の将来を考えてみた。
　現時点では画質が低く，定点カメラを切り替えて見る単純なマルチアングル映像には及ばない。しかし，この差は確実に埋まるだろう。そうなると，スポーツ観戦でもフリーカメラが当たり前になる。たとえばサッカーの試合であれば，任意のタイミングで映像を止めて，好きな位置に視点を動かしたり，気に入った瞬間のカットを写真として切り出すといったことも可能になるかもしれない。
　あるいは，ライブハウスのような閉所空間であれば，スタジアム規模に比べてデータ量もそれほど大きくはならないだろうから，案外早く現実のサービスとして実現できるのではないだろうか。
　「焦点距離はどうするのか？」と思った人もいるだろうが，この点は，撮影データから任意の焦点距離で映像を取り出せるライトフィールドカメラがあり，進化を続けている。課題はいずれも解決可能なレベルで，どちらかというと，PCの処理性能が必要十分なレベルにやってくれば実現できる程度の問題でないだろうか。

　リアルタイムマルチアングル映像を楽しむときには，ゲームにおけるスクリーンショットの撮影テクニックが活用できそうだ。
　たとえば，PCゲームではNVIDIAのスクリーンショット機能「Ansel」，PlayStation 4であれば「Horizon Zero Dawn」のスクリーンショット撮影用モード「Photo Mode」をイメージしてもらうと，操作感も含めて想像しやすいと思う。リアルタイムマルチアングル映像は「ゲームと同じだ」と思う日も近いと明言しておこう。
　同時に，カメラマンという仕事にも変化が起きるかもしれない。筆者が以前に担当したHorizon Zero DawnのPhoto Mode解説記事も，実はこのあたりを踏まえた記事だったりする。

　映像関連では，空中結像ディスプレイを手がけるアスカネットの「AI plate」によるデモ展示も面白かった。
　AI plateとは，空中に高画質かつ高輝度の映像を投影できるという技術を用いたもので，すでに製品化されている（関連記事）。ハーフミラーを使用して，空中にに映像が浮かんでいるように見せることが可能で，近未来が舞台のゲームやアニメのような表現を実現できるという。

　文章で説明するよりは，映像を見てもらうほうが分かりやすいだろうということで，空中に映像が飛び出して見える「5画面連続大型壁面空中サイネージ」の様子を撮影したビデオを掲載しておこう。仕組みとしてはシンプルなのだが，実際に見ると「なんで（空中の映像に）カメラのフォーカスが合うんや……」と不思議に思ってしまった。

AI plateによる空中結像システムの仕組みを説明したパネル。液晶パネルの映像を，ハーフミラーとAI plateの組み合わせを使って，空中に浮かんでいるように見せられる

　サイネージのような大がかりなシステムだけでなく，小型のボックスタイプも展示されていたので，たとえばスマートフォンに被せて映像を投影するような製品も実現できそうだ。サイズは大きくなりそうだが，現実の視界にCG映像を重ねるMR HMD的なシステムにも応用できるのではないだろうか。
　深度センサーと組み合わせて，空中の映像を触るように操作をするデモもあったので，空中結像システムを使ったサイネージを，街角で目にすることも，それほど遠い話ではなさそうだ。

　レポートの最後は，ちょっと気になった展示物を写真でまとめて紹介したい。

東京ゲームショウ2017でもブースを展開していたVuzixが，メガネに取り付けるウェアラブルデバイス「M300 Smart Glasses」を展示していた。Android搭載で，各種センサーも備える業務用製品だが，映像が実に見やすい。このディスプレイ部分を使ったゲーム用のウェアラブルデバイスがあると面白そうだ

CEATEC JAPAN 2016にLenovoが参考出展していた2つ折り可能なスマートフォン「Folio」が，今年も展示されていた。前年のものより，細部の作り込みが進んでおり，本当に製品化されそうな雰囲気だ。背面のヒンジ構造が，同社の2-in-1 PCであるYogaシリーズっぽい

東京大学大学院情報理工学系研究科の廣瀬・谷川・鳴海研究室による展示は，錯覚を利用して重さや軽さを感じさせるというデモ。マウスポインタの動きを遅くすると，体感する重さが変化しているように感じたことはないだろうか。それをタッチパネルに応用すると，重さを錯覚するというもので，ドラック距離に応じて画面の動きを調整すると，重さや軽さを感じてしまう

双葉電子工業ブースに，なぜかSteelSeriesのマウス「Rival 700」が置かれていた。同社は有機ELパネルも手がけており，Rival 700の左側面にある小型有機ELパネルは，同社製だとのこと。右写真は同社の車両向けハンドルで，ステアリングスポークの銀色部分がタッチセンサーになっていて，カーナビの操作に使える

Lenovoとブイキューブが共同出展していた，常設型「ぼっちてんと」みたいな「テレキューブ」。「パブリックスペースでも，この中ならテレワークができます」というものだが，ゲーム体験スペースにあってもよさそうだ

CEATEC JAPAN 2017 公式Webサイト