VRの限界に挑戦したVRアバター「MEETMIKE」、SIGGRAPH 2017で公開
海外メディアRoad To VRは、VRアバター「MEETMIKE」を紹介した。
VRの限界に挑んだコラボレーション
本記事のトップ画像を見て、この初老の男性の顔が実はCGで作られたものと直観的にわかるヒトは、どれ程いるだろうか。CGと言われないとわからないほどフォト・リアルな画像である。念のため説明するが、上の画像は写真ではなくコンピューター上で文字通りリアルなモノがゼロの状態から作られたものである。つまり「フォト・リアル」ではあるが「フォト」ではないのだ。
さらに上の画像に映った男性が話している動画を見て、CGだと見抜けるだろうか。その動画が以下である。
カメラでクローズアップされた男性の顔には、年相応のシワが刻まれ、言葉と口の動きがぴったり一致していることから「口パク」や「アフレコ」ではないように感じられる。この動画も、リアルな男性を撮影したものではなく、CGによって作られたものだ。
そして、この動画で映っている男性オブジェクトにディスプレイを通してではなく、VRヘッドセットを使ってVR空間内で出会えるのだ。
以上のようなVRアバター「MEETMIKE」との出会いは、アメリカ・ロサンゼルスで2017年7月30日から本日まで開催されている最先端のメディアアートとテクノロジーの祭典SIGGRAPH 2017で体験できる。同アバターの名称「MEETMIKE」(Meet Mike：マイクに会う)は、アバターのモデルとなったエミー賞視覚効果部門のノミネート歴のあるMike Seymour氏にちなんで付けられたものだ。
MEETMIKEの制作過程
同アバターは、VRコンテンツ制作では定番のUnreal Engineを使い、リアルタイム・トラッキングを提供したCubic Motion社、特殊トラッキングカメラを用意した3Lateral社、ヒトのオブジェクトモデルをアーカイブしヒトのCG表現を研究している南カリフォルニア大学が共同して制作した。
同アバターの制作過程を簡単に説明すると、以下のような手順で作られた。
1．Mike氏の顔をスキャンして、Mike氏頭部に関する精密なオブジェクトを制作する
2．同氏にリアルタイム・トラッキング用特殊カメラと頭部全体の動きをトラッキングするヘルメットを装着してもらったうえで、スピーチしてもらう(下の画像参照)
3．リアルタイム・トラッキングされたデータを、あらかじめ制作していた同氏のアバターオブジェクトにリアルタイムに反映させる
リアルタイム・トラッキング用の特殊カメラを装着したMike Seymour氏
手順2と3は、SIGGRAPH 2017の会場でリアルタイムに実行された。同アバター制作に参加した企業Cubic Motionは、リアルタイム・デモを披露した時の会場を撮影した動画を公開している。同動画の後方には、トラッキング・カメラを装着したMike氏がスピーチしている様子が映っており、合成されたCG画像がディスプレイに出力されている。
リアルタイム・トラッキングとは
同アバターを実現したテクノロジーであるリアルタイム・トラッキングとは、カメラでトラッキングしたヒトの表情に関するモデリング・データをあらかじめ用意しておいたヒトの頭部のオブジェクトに、リアルタイムで合成するものである(下の動画参照)。
トラッキング・データと頭部オブジェクトの合成は、事前にトラッキングしたデータを任意の時に合成・再生する「アフレコ」のように処理することも可能である。このアフレコ合成を使うと、架空のCGキャラクターにリアルなヒトの表情を合成して、迫真の演技をするCGキャラクターを生み出すこともできるのだ。
MEETMIKEの仕様
以下には、同アバターの動作環境とモデリング・データの詳細を列挙する。
・同アバターのSIGGRAPH会場での体験には、GPUがGTX 1080 Ti、32GBのRAMのPCに接続されたたVIVEで使われた
・描画のフレームレートは、90FPS
・オブジェクトを構成するポリゴン数は440,000にのぼり、そのうちの75%が髪に使われている
・Mike氏の頭部全体の動きをトラッキングするヘルメットのトラッキング・ポイントは80ヶ所
・スピーチをリアルに表現するために動かしている箇所は10ヶ所であり、それらはあご、舌、目といったところである。
・細かな表情を表現するために、750種類の表情データを合成している
・同アバターの制作には、既存のCGソフト3台と3種類のディープ・ラーニングプログラム(AI学習プログラムの一種)が使われている
以上のような「不気味の谷」を軽々と超える「MEETMIKE」のようなアバターが、当たり前のようにVR空間を闊歩する日がいつか来るのであろうか。そのような日が来た時には、来年公開されるスピルバーグ監督のVR社会をテーマとした映画「Ready Player One」の世界がまさに実現するだろう。
VRアバター作品「MEETMIKE」を紹介したRoad To VRの記事
https://www.roadtovr.com/siggraph-2017-meetmike-sets-impressive-new-bar-for-real-time-virtual-human-visuals-in-vr/
Copyright ©2017 VR Inside All Rights Reserved.