株式会社コロプラの100%子会社である株式会社360Channelは、VRヘッドマウントディスプレイを装着した状態で、視線や顔の動きを追跡し、人のリアルな表情を“アバター”へ瞬時に反映させる技術を用いた新たな VRコミュニケーションシステム『FACE ~Face And Communication Entertainment~』の開発を発表。



今回の発表に伴い、メディア向けに事前体験会が開催され、開発に至った経緯やプロダクトの具体的な内容に関して、お話を伺ったので、ご紹介する。


投資先企業と自社のノウハウを組み合わせて実現


代表取締役社長 馬場 功淳氏


冒頭、代表取締役社長である馬場 功淳氏よりコメントがあり、同氏曰く、


4年前からVRでゲーム以外のジャンルだとコミュニケーションが来ると思っていた。実際に今、世界を見てもFaceBookなどを筆頭にコミュニケーション系が多いことを見ても、注目度は高まっています。


我々は自社で制作できない部分に関しては、VR専用ファンド「Colopl VR Fund」を立ち上げ、40社程度投資を行ってきました。


投資する立場になると、世界中の優れたコア技術を目にすることができるようになるのですが、その中でそれぞれの技術を組み合わせば、よりよいコミュニケーションツールができるのではと考え、そこから技術の選定を行い、我々としては初の研究開発案件として、制作することにしました。


さらに、馬場氏は「自社でシステムを作ってみたかった」ともコメントしており、”モノづくり”を行ってきた企業だからこそ、作ってみたいという強い欲求が沸いてきたことも開発に至った理由のようだった。


ちなみに、マネタイズ部分に関しては特に考えていなく、技術的にもまだまだ未熟のため、まずは本システムのクオリティをあげるために注力していくようだ。


 


目線・表情・感情をなどもトラッキング可能な「Face」


Faceプロジェクトマネージャー 澤木 一晃氏


続いて、開発責任者である澤木一晃氏よりFaceの詳細をお伺いした。


澤木氏によると、本システムの開発に辺り、Holotech Studios、 FOVE、 Binary VR、CRI-ミドルウェアが手がける技術を統合し、360Channel の持つ独自の同期通信システムを用いて、開発。


Holotech StudioはFaceRigという表情をアバターに反映するツールを提供している企業。また、Binary VRはVR Insideでも以前取り上げたが、表情を認識するフェイストラッキング・カメラ「Binary VR」を開発したデベロッパーであり、FOVEはご存知の方も多いだろうが、視認追跡型VRHMD「FOVE」を開発した企業で、KickStarterのキャンペーンでは48万ドル強を集めた注目の企業。



これら企業の技術を活かし、視線追跡型VRHMDと口や頬の動きの情報を取得できるFacial Tracking cameraを利用し、人の視線や表情データを3Dモデルレンダリング技術によってアバターへ反映させているとのこと。


眼球の動きや瞬きに加え、頬の膨らみや笑った時の口角の上がり方、さらには目の形から眉毛の位置も推定し、リアルタイムに表現しているようだ。


また、これらのアバターを用いて、複数人同時に音声会話も可能となっている。


VR空間内で自撮りも可能


 


分析とコンテンツ制作への応用を検討


さらに澤木氏は今後の応用の可能性について、2点自社の見解を説明。


OLYMPUS DIGITAL CAMERA


1点目は、表情のトラッキング技術を最大限に活かした視線表情分析ツールの提供で、ユーザーの視線移動、焦点を合わせた対象物や時間のデータと表情変化のデータを蓄積し、ユーザ分析を行うというもの。


2点目は、視線や表情付きアバターを用いた、よりインタラクティブ性の高いVRコンテンツの制作ツールの提供を考えているようだ。


ただ、本システムは研究段階であり、今後様々な企業様と連携を取りながら、VRにおける実用的なコミュニケーション技術の発展を目指していきたいとコメント。


また最後に行ったトークセッション及び質疑応答で、澤木氏は現在、本システムを使った音声同時通話はデータ数が膨大なため、3名がMAXだが、今後は4名をまずは目指し、開発していくとも語っていた。


 


FaceBookがβ版をリリースしたソーシャルVRアプリを筆頭に、世界中の多くの企業が注目しているコミュニケーション分野。


海外が先行している状況だったが、この分野でも世界と戦える予感を感じさせるプロダクトが日本にも現れた。


現在、本システムは顧客のニーズに合わせた独自ツールとして提供することも視野に入れているらしく、現在導入いただける企業を探しているとのことだ。


興味があったら、一度問い合わせてみてはいかがだろうか。


© 2016-2017 360Channel, Inc.


■問い合わせ先

https://goo.gl/forms/oAyyqpnPOom2KKk13


■ウェブサイト

https://face.360ch.tv/


■Face360°動画

https://www.360ch.tv/videoview/470


[関連記事]

フェイストラッキング・カメラ「Binary VR」、今年10月リリースに向けてプレオーダーを開始

5,000万米ドル規模の新たなVR専門ファンド「Colopl VR Fund 2」を1月31日(火)に設立へ


Copyright ©2017 VR Inside All Rights Reserved.

情報提供元: VR Inside
記事名:「 人の表情をリアルタイムでアバターに反映させるVRコミュニケーションシステム「Face」の開発を360Channelが発表