Adobe、新アルゴリズムを使った360°動画をフル3D VR動画に変換する方法を発表！

Adobe、リサーチチームのヘッド、Gavin Miller氏がコンシューマーグレードのスフィアカメラで撮ったフラット、モノスコーピック360°動画をフルVR動画に変換する最先端テクノロジーについてロサンゼルスNABで説明した。

この新技術を使えば、Facebook、Google、GoProなどが発表した新しいVRカメラを使わずとも、従来のコンシューマー360カメラで撮影した360°動画をフル3DのVR動画を制作することができるようになる。

モノスコーピック360°動画とステレオスコーピックVR動画の違い

簡単に言うとモノスコーピック360°動画とフルVRコンテンツの違いは、6DoF（Degree of Freedom、自由度）があるかないかだ。

360°動画をVRヘッドセットで見るにはいくつかの問題があるため、Oculus RiftやHTC ViveなどのハイエンドVRヘッドセットのユーザーには特に重要なポイントとなる。

まず、モノスコーピック360°動画は両目に同じコンテンツをレンダリングするため、3Dの奥行きの感覚が不足する。

2つ目は、フラット360°動画はローテーション、回転の動きだけに対応したもので、ほとんどのVRヘッドセットは6DoFで、ローテーション、頭の回転運動と並進運動の両方に対応している。

VRヘッドセットはルームスケールトラッキングができ、ヘッドセットがビューワーが部屋のどの位置にいるかを把握することができ、さらに前のめりになるなどの動きを正確に、ビジュアルに反映させることができるのだ。

しかし、360°動画は見渡したりなどのローテーション運動、横の動きのみのに対応しているため、360°の視野は楽しめるが、奥行きはないため、のぞき込む、さらには前に進むなどのルームスケールトラッキングを活用した並進運動ができない。

ゲームなどのフル3D VRコンテンツと比べると、このDoFに制限のある360°コンテンツはVRの投入感が劣る。

さらに、ビジュアルフィードバックが実際の頭の動きと合わないため、VR酔いを引き起こしやすくなることも問題の一つだ。

コンピューターで作ったイメージで6DoFを作り出すのは比較的簡単にできるが、撮影された動画の中で実際に自由に動き回れるようにする6DoFをビューワー提供するのは革新的なイメージキャプチャーテクノロジーが必要になる。

例えば、Lytroが開発しているライトフィールドカメラシステムなど、コストもとてもかかってしまう。

しかし、Adobeのリサーチチームは、”ストラクチャーフロムモーション（structure-from-motion）”アルゴリズムと呼ばれるテクノロジーなどを使うことで、モノスコーピック360°動画をフルVR動画に変換する方法を見つけ出した。

360°動画からフル3D VRコンテンツを作成するアプローチは2つのメインステップで構成されている。

まず、ストラクチャーフロムモーション（SfM）アルゴリズムを使い、360°動画からカメラの動きと3Dの奥行きをシーンから復元する。

復元されたデータは様々な視点で構成された新しい視野を作るために使われ、元は3Dではなかった360°動画がのぞき込んだりの動作ができるフルVR動画に変換できる。

このシーンの奥行き（3D）とカメラの動向を復元する作業はオフラインで行われる。そして、そのあとにオンラインで動画のプレイバックがVRヘッドセットを使いリアルタイムでできるようになる。

この間にスフィアイメージワーピングと呼ばれるアルゴリズムを使い、6DoFのステレオスコーピックコンテンツの完成だ。

このアプローチの欠点は、6DoFをフラット360°動画に加えるには、カメラが実際に動いてる状況のみ働くということだ。

360°動画をローテーションだけで撮影した場合は、先ほど説明した並進運動を再現するために必要な情報が足りないため、3Dの奥行きが作り出せない。

Adobeはこの新テクノロジーを使って、複雑なカメラを作ることだけが、VR動画改善のソリューションだけではないことを証明した。

従来のコンピュータービジョンアルゴリズムも重要だが、これからはフルVR動画を作成するのに高性能の高額なカメラハードウェアが必要なくなるかもしれない。

Miller氏はNABのパネルでイメージの中の空を違うイメージのものと差し替えるディープラーニング、彼らのコンテンツからだけではなく違う人達のイメージの組み合わせから写真を抜き出すビジュアルリサーチなど、Maxカンファレンスでも披露したプロジェクトについても解説した。

これらのプロジェクトはAdobeの最新リサーチで、全てのプロジェクトがAdobeのプロダクトとして商品化されるわけではない。

だが、AdobeはVRプロダクションに関するプロダクトの開発に力を入れており、テクノロジーのうちいくつかはAdobeのエディティングツールになる可能性がある。

この360°動画をVR動画に変換する技術もAdobeのエディティングツールの一つとして、使えるようになる日が近いうちくるかもしれない。

情報提供元： VR Inside