海外メディアUploadVRは、iPhone Xの「アニ文字」を使ってVR・ARアバターを作った事例を紹介した。
iPhone Xの「アニ文字」とは
2017年11月3日に発売されたiPhone Xには、様々な新機能が実装されている。最も話題をさらったのは、やはりユーザの顔によってロックが解除される「Face ID」であろうが、この機能を可能としているカメラ「TrueDepthカメラ」は他の魅力的な機能も実現している。
そんな機能のひとつに「アニ文字」がある。この機能は、TrueDepthカメラによってユーザの顔の表情を50以上の筋肉の動きに分節化してキャプチャ後、その表情データを12種類用意された絵文字に反映して、まるでユーザの顔を絵文字にしたようなアニメーション文字を表示するものだ。
現在、このアニ文字を使って、アニ文字化したユーザが有名アーティストの楽曲を歌っているかのように見せる「アニ文字ミュージックビデオ」とでも呼ぶべきものがYouTubeに多数アップされている。以下にそんなMVのひとつであるQueenの楽曲「ボヘミアン・ラプソディー」をアニ文字でカバーした動画を引用する(参考までにQueenのオリジナルMVも引用する。アニ文字MVはオリジナルの3分10秒あたりからの部分をカバーしていると思われる)。
アニ文字をメッセージの伝達というごく普通に想定される使われ方を超えて、一種のアート作品の制作に使われることをAppleが想定していたかは定かではない。しかしながら、アニ文字はモバイル端末を使った新たなコミュニケーションの可能性を秘めているようだ。
TrueDepthカメラによるモーション・キャプチャ
海外メディアUploadVRは、こうしたアニ文字の可能性をさらに押し広げるような動画を紹介している。
その動画とは、アニ文字を作るときに使うユーザの表情データを、Appleが用意している絵文字ではなく、自作したキャラクターに反映したものだ。
以上の動画は、現在開発中のVRアクションゲーム「Bebylon: Battle Royale」にたずさわっているCory Strassburger氏が公開したものであり、使われているキャラクターも同ゲームに登場するものだ。同動画に関して、同氏は以下のように述べている。
アニ文字は想定されている以上に応用範囲の広いテクノロジーです。
アニ文字に使われている表情キャプチャリングを使えば、ユーザはゲームで使う自分のキャラクターに反映される「表情ライブラリー」を記録することができます。
こうした自分の表情が反映されているアバターは、モバイルアプリに使えるのはもちろんのこと、モバイル以外のデバイスでプレイするゲームにもアップロードでき、ゲームプレイに豊かな表情を持たすことができるのです。
同氏が言わんとしているのは、TrueDepthカメラによる表情キャプチャリング技術を活用すれば、VR・ARゲームをはじめとしたあらゆる種類のゲームに活用できるユーザのアバターを極めて簡単かつ安価に作ることができる、ということである。
ちなみに、表情キャプチャリング技術は、本メディアでは以前に報じたことがある。メディアアートとテクノロジーの祭典SIGGRAPH 2017に出展されたVRアバター「MEETMIKE」に使われているCubic Motion社のリアルタイム・トラッキング技術だ。同技術は、アニ文字のそれよりはるかに高性能であるが、使うには大掛かりな装置が必要となり、一般消費者の手の届くものとは到底言えない。
以上のような高度なキャプチャリング技術を、簡略化しているとは言えスマホ1台で実行できるようにしたAppleの技術力は、やはり瞠目すべきものである。
Bebylon: Battle Royaleについて
アニ文字技術によるアバターに使われたキャラクターが登場する「Bebylon Battle Royale」とは、乗り物に乗って複数のプレイヤーが乱闘をするVRゲームである。
Eliasson氏はこのゲームについて、以下のように語っている。
BBRAG(Bebylon Battle Royale)は大乱闘スマッシュブラザーズのようなゲームではありますが、私達はいつもユーザーが自分の世界に入り込めるようなゲームを心描いてきました。
私達が作りたいゲームはユーザーが自身の性格を作り上げられ、友人の戦いを観客席から応援したりヤジを飛ばしたりサポートすることができるものであり、Bebylonの世界を探検できるものです。
ソードアートオンラインの縮小版に、コメディー要素があり、自己中心的でかわいらしい赤ちゃんが登場する。そんなゲームが作りたいです。
同ゲームの公式サイトを見ると、同ゲームは2018年の早い時期にリリースされる、とある。
アニ文字を可能としているiPhone XのTrueDepthカメラは、今後思わぬかたちでVR・ARに影響を与えるかも知れない。
ソース：UploadVR
https://uploadvr.com/iphone-x-face-recognition-development-strassburger/
Copyright ©2017 VR Inside All Rights Reserved.
