Lytroの最新ライトフィールドカメラは、空間の反響さえもリアルに再現する

海外メディアRoadtoVRは、2017年4月23日の記事において、Lytroの最新ライトフィールドカメラについて報じた。

Lrtroが開発しているライトフィールドカメラとは

カメラメーカーのLytroは、「ライトフィールドカメラ」と呼ばれる他社には例を見ることができないカメラを開発していることは、本メディアの過去の記事でも報じた。

同社のカメラの特徴は、簡単に言うと「ピントを後から合わせられるカメラ」である。

通常のカメラでは、カメラの撮影位置に対してピントがあった場所だけが鮮明な画像となって記録される。このピントの原理は、伝統的なカメラと360°カメラの両方に共通しているものだ。もっとも、伝統的なカメラでピントが合うのは空間内の平面なのに対して、360°カメラではカメラを中心とした立体的な球形にピントが合うという違いがあるが。

ライトフィールドカメラは、この「ピントの原理」から解放される。というのも、カメラのレンズに映る範囲であれば、撮影後に自由にピントを合わせられるからだ。

同カメラが「ピントの原理」から解放される秘密は、カメラに写る全空間点の(色や光量といった)光学的情報をすべて記録することにある。当然ながら、通常にカメラに比べて撮影後に生成されるデータは膨大なものとなる。

以上のようなライトフィールド機能を実装した360°カメラを使って360°動画を撮影すると、VRヘッドセットの位置に応じて画像が変わる動画を制作することが可能となる。つまり、通常の360°カメラではカメラ位置を中心とする半球にしかピントが合わないが、ライトフィールド360°カメラを使えば、カメラ位置に束縛されない360°動画ができるのだ。

このカメラ位置に固定されない360°動画を撮影した様子を収録したデモ動画が以下である。ちなみに、同動画は「アポロ11号の月面着陸は地球上で撮影されたものだ」という都市伝説を技術的に再現するブロックユーモア的なものとなっている。

プロトタイプ1号機を改善した巨大な2号機

しかし、デモ動画を制作した結果、ライトフィールド360°カメラには以下のようなふたつの問題点があることがわかった。

• ・光情報を保存できる空間の範囲が小さ過ぎる


• ・撮影範囲に動くオブジェクトがある場合、そのオブジェクトの輪郭がぼやけてしまう

以上のような問題は、撮影範囲の光情報を記録するためのライトフィールドカメラのサイズが小さく、またカメラレンズの数も不足していたため保存すべき空間に対して「死角」ができていたことに起因していた。

この問題の解決策として採用されたアイデアは、ライトフィールドのサイズと数を増やすという力技であった。このアイデアにしたがって開発された「プロトタイプ2号機」は、以下の画像のような外見のものとなった。

プロトタイプ2号機には、視野角90°のライトフィールドカメラが95基搭載されている。こうした重装備によって、カメラ前面に対して広範囲の空間の光情報を正確かつ大量に保存できるようになったのだ。

2号機の威力とは

満を持して開発されたプロトタイプ2号機のテストに選ばれた撮影現場は、教会での賛美歌合唱であった。

撮影シチュエーションとして教会での賛美歌が選ばれたのは、教会という視覚情報密度の高い空間内で賛美歌のような複雑な音情報を正確に収録できるかどうか、言わばベンチマークとして最適だからだろう。

テストの結果、プロトタイプ2号機による動画は1号機の弱点を克服し、さらに新たな特徴が見出された。その特徴とは、教会に響く音の反響をも再現するのに成功したのだ。

ライトフィールドカメラによる動画をVRヘッドセットを装着してみると、ユーザーの頭の位置に応じて見ている画像にピントが合うのは両方のプロトタイプ機に共通している。加えて2号機では、頭の位置に合わせて音の反響が異なって聞こえるのだ。

聞く場所によって音の反響が異なって聞こえるのは、リアルな空間では当たり前のことである。しかし、360°動画ではカメラ内蔵のマイクが音源となり、非常に限定された聴覚体験しかできない。しかし、プロトタイプ2号機ではカメラの増設に伴って音を収録するマイクも増強された結果、今までになくリアルな音の反響を再現することができたのである。

以上のようなプロトタイプ2号機による教会の賛美歌を収録した様子は、以下の動画から確認できる。

果たしてプロトタイプ2号機が、Lytroから製品としてリリースされるかどうかは、その異様とも言える「重装備」からしてかなり疑問である。しかし、同カメラが現在の360°カメラの限界に挑んだものであることは、疑問の余地はない。その限界の体験を広く知ってもらうためにも、ぜひ同社にはプロトタイプ2号機を商品化してほしいものだ。

Lytroの最新ライトフィールドカメラについて報じたRoadtoVRの記事

http://www.roadtovr.com/shot-lytros-light-field-camera-hallelujah-stunning-mix-volumetric-film-audio/

Copyright ©2017 VR Inside All Rights Reserved.