VRの「音」はオブジェクトベースになる？

リアルな音がVR体験をさらにリアルなものにする

消費者向けに一般販売されているVRヘッドセットを使えば、視覚と聴覚でVRを楽しむことができる。

最近ではHTCが販売するVive用のデラックスオーディオストラップや、BionikがPSVR用にデザインしたMantis（発売は8月1日予定）といったヘッドホンも登場し、音がVR体験の重要な要素になるということも浸透してきたようだ。

音楽プロデューサーでエンジニア、起業家でもあるBrooklyn EarickはUpload VRでVR体験に適した音に関する記事を掲載している。

VRオーディオ

音楽を録音・再生する技術は多数あるため、「360度の音声」や「3Dオーディオ」という言葉は曖昧なものになってしまっている。そのため、VRオーディオが既存の3Dオーディオ技術と同じものなのか、異なるとすればどのように異なるのかという混乱が生じている。

VRオーディオも一般に言われている3Dオーディオと同様に音が三次元空間に配置されているが、3DオーディオがそのままVRオーディオであるというわけではない。

一つのマイクを使って録音し、一つのスピーカーで再生するのがモノラルだ。

最近ではモノラルの音源や機器も少なくなったが、Bluetoothスピーカーなどでは本体の小型化や低価格化のためにステレオ再生を犠牲にしているものもある。

音を左右に移動させられないため、全ての音が一つのスピーカーから出てくる形になってしまう。

一般的なCDやテレビの音は左右二つのスピーカーやイヤホン・ヘッドホンで再生することを前提にステレオで記録されている。

モノラルと異なり音を左右に移動させる（片方のスピーカーから大きく聞こえるようにしたり、片方からしか聞こえないようにする）ことができるため、映像の移動に合わせたりステージ上で楽器がある場所を表現したりすることも可能だ。

ステレオ音声では二つのスピーカーが使われるが、3Dオーディオと呼ばれることもあるサラウンドサウンドの再生にはそれ以上に多くのスピーカーが使用される。

メジャーなのは5.1ch（スピーカー5台とサブウーファー1台）のシステムだろう。さらに多いものでは、7.1chや7.2chのシステムもある。

サラウンドサウンドでは前後左右に音を移動させる表現が可能になり、ステレオ以上に表現の幅が広がっている。

サラウンドサウンドに欠けているのは、音の高さ（高音・低音といった周波数ではなく、音が鳴っている場所の高さ）の情報だ。

バイノーラルレンダリング技術を使うことで、ユーザよりも高いところや低いところで鳴っている音を再現することが可能になる。高さの情報が揃って初めて、本当の3Dサウンドが実現すると言える。

バイノーラルレンダリングでは3Dオーディオをリアルタイムにレンダリングするため、特殊なヘッドホンがなくても一般的なヘッドホンで臨場感のある音を聴くことが可能だ。

さらに、インタラクティブ性があることでユーザの没入感はさらに高まる。

VRコンテンツと違って、2Dの映画ではユーザが視点を変えられない。そのため、シーン毎にあらかじめ音声を用意しておくプリレンダリングが可能だ。

しかし、VR映像ではユーザが自由に向きを変えることができる。ユーザの向いている方向によって音が聞こえてくる方向も変化してしまうので、プリレンダリングは不可能だ。

リアルタイムのレンダリングが必要なのは、非VRのゲームなどでも同じだった。だが、リアルタイムのバイノーラルレンダリングはユーザの耳に音が到達する方向や距離を計算する複雑な処理になる。

特に処理能力の限定されるモバイルVRデバイスでこれを実行するのは難しい。

VR映像のレンダリングは音声のレンダリング以上に負荷が高いため、VRデバイスの処理能力の大部分はグラフィックに費やされることになる。

デバイスに負荷をかけずに高品質な音声のレンダリングを行うことは、特にモバイルVRで重要になる。

PSVRに取り付けられたMantis

360度映像では、Ambisonicsが採用されている。

この技術は、360度映像や一部のVRゲームのようにユーザの立ち位置が固定されたVRコンテンツに適した形式だ。

ユーザが立っている場所から移動しなければ、頭を回したり、見上げたり見下ろしたりといった動きに合わせて音の位置を変化させることができる。

だが、自由に歩いて移動できるVRコンテンツにはこの技術を使うことができない。

将来のVRで使われる可能性があるのが、VR空間のオブジェクト別に音を管理する方法だ。

焚き火のある場所に近づくことで炎の音が大きくなり、鳥が止まった木に近づくと鳥の声が前ではなく上方に移動する…といったように、オブジェクトを基準に音を管理することが想定されている。

2D映像や360度映像でもこの方式を採用することは可能だが、前後への移動も可能なVR空間でそのポテンシャルが最大に発揮されるだろう。

VRで標準となる音声のフォーマットはまだ定まっていない。

定番となるフォーマットが決まるまでの間、クリエイターは品質を低下させることなく複数のプラットフォームで3Dオーディオを提供していく方法を見つけなければならない。

情報提供元： VR Inside