Owlchemy Labs、MR制作を簡単にする新テクノロジーを開発中

お仕事体験ゲームJob Sinmulatorのスタジオ、Owlchemy Labsが新しいMRテクノロジーを開発中だ。

mixedreality_thelab

Depth-based Realtime In-app Mixed Reality Compositing（デプスベースド・リアルタイム・インアプリ・MRコンポジション）と呼ばれるその技術はMRプロダクションを簡略化することができる。

ロトスコープとは、実写映像を元にアニメーションを作成するアニメやVFXの制作技法のひとつ

Northway GamesがMRインテグレーションをFantastic Contraptionでグリーンスクリーンを使ったMR映像作成を公開してから、その方法が主流になっていた。

グリーンシートをバックにし、撮影した人の映像をロトスコープすることで、3D空間の中にその人を再現したような効果をつくることができる。

（ロトスコープとは、実写映像を元にアニメーションを作成するアニメやVFXの制作技法のひとつ）

Owlchemy LabsではインエンジンでAdobe After EffectsやOBSなどのソフトウェアを使わず、これらを行う方法を開発している。

彼らはこれをステレオデプスカメラで映像とデプスデータを同時にレコーディングすることで可能にした。

そして、カスタムプラグインでオーディオデータをリアルタイムでUnityに、カスタムシェーダーでカットアウトをすることにより、インエンジンで処理ができるようになった。

（シェーダーとは、3次元コンピュータグラフィックスにおいて、シェーディング（陰影処理）を行うコンピュータプログラムのこと）

owlchemy-labs-MR-method

この方法を使えば、ZED 2K stereo camなどの3Dカメラを使わなくてもウェブカメラでおんなじ作業ができる。

静止、またはモーション、トラッキングカメラのどれでもレコーディング可能で、この方法ではVRヘッドセットとコントローラーは必要なく、トラッキングも必要ない。

Owlchemy Labsはカメラと動画の調整が複雑で大変だった問題も解決できるようになるとコメントしている。

プロジェクト完成にはまだ時間がかかるとのこと。

アクセスランキング