『VRMark』を使えば、VRシステムのベンチマークスコアを測定することができる。しかし、デベロッパーはその数値だけでシステムによってもたらされる体験を評価することはできないという。RoadToVRにデベロッパーの思想が掲載された。
Futuremarkはついに、待望のVR専用ベンチマークアプリ『VRMark』の完成版をリリースした。数ヶ月の研究と開発を経て、同社はVRの性能テストは一筋縄ではいかないと気付いた。
Futuremarkは世界でも有数の知名度を誇る、そして最も利用されているベンチマークソフトウェアのデベロッパーだ。PCゲーム愛好家の集まりでは、Futuremarkのベンチマークソフト『3DMark』が広く使われており、そのスコアが長年に渡ってGPU好きたちが議論する土台となってきた。
VRが消費者の間に出回るようになると、同社がそのルネサンスに積極的に参加することになったのは自然な流れである。VRのゲームではハードウェア要件が高いものとなり、低いレイテンシーと最低90FPSの実現が問題となった。そのため、VRユーザーのニーズに焦点を当てた純粋にVR性能を測定できる製品は、同社にとって強力な一本となるだろう。『VRMark』は同社にとって消費者向けVRへの第一歩となる。最近、完成版がSteamでリリースされた。このソフトでは、二つの選択肢が提示される。純粋な性能を測定するものと、より実際的なVR性能を測定するものである。後者は、VRヘッドセットで見ることができる。
しかし、複数のVRシステムで十分にVRを体験したことがある人であれば各システムがどれくらい「良い」か数字を振るのは簡単だ。専用のVRヘッドセットでは、複雑な独自のレンダリング技術が使われており、ディスプレイもシステム専用のものである。その多くは、これまで消費者レベルで提供されていなかったものだ。しかし、Futuremarkが考慮しなければならなかった最大の変数は、人間の生理学であり、人間がどのようにVRに反応するかだった。
Futuremarkは当初、純粋に分析的な視点からユーザーが期待するような性能の評価を目指していた。読者は、RoadToVRが昨年試したこのソフトの最初期のものを覚えているかもしれない。高価なVR機器の処理性能を測定するものだった。そのときにFuturemarkが測定しようとしていたもの（少なくともその一部）は、「動きが光子になる」時間である。光が人の目に届くまで、つまりレンダリングから表示までの時間だ。しかし、最新のVRMarkを購入するためにSteamを開いても「USBオシロスコープ」や「感光センサー」が要件として示されていない。なぜだろうか？
RoadToVRは、Futuremarkのジェームズ・ギャラガーに説明を求めている。
「数ヶ月のテストを経て、（VRには、従来のグラフィック処理にはない）ユーザーの経験に影響する重要な要素が増えていることがわかりました。簡単に言ってしまえば、一般的なヘッドセットのレイテンシーを測定してもVR体験を評価するデータは得られないのです。さらに、レイテンシーだけでVR性能を測定してしまうと誤解を招くこともあります。」
ギャラガーは続ける。
「私たちは、”VRに対応”というのが0か1かで片付けられない微妙なものであることも発見しました。VRヘッドセットは、レイテンシーや欠落したフレームを補うために巧みな技術を使っています。Asynchronous Timewarp、フレーム再投影、動きの予測、画像ワープといった技術は驚くほど効果的です」
ギャラガーが指しているのはもちろん、各ベンダーが必要なフレームレートを補ったり、予測不能なPC（PSVRにおいては本体性能）のパフォーマンスの犠牲を補ったりするために採用している技術のことである。これらの技術（OculusはAsynchronous Timewarpと、新しいSpacewarpを用意しており、ValveのSteamVRは最近Asynchronous Reprojectionを導入した）はどれも、似た方針で同様のゴールを目指している。ユーザーの動作（たとえば、首を回す）と、ユーザーがヘッドセット内で見ているものを一致させることだ。つまり、細かな振動やチラつきを最小限に抑えることである。この二つは、ユーザーを3D酔いさせてしまう可能性が非常に高い。
ギャラガーは次のように述べている。
「VRMarkを使えば、これらの効果を自分自身で判断することができるのです。レイテンシーやチラつき、フレームの欠落が気になるかどうか、自分の目でVR体験の質を判断できます。」
ギャラガーは、彼らの研究で判明した驚くべき事実を教えてくれた。
「我々の試験では、ほとんどの人が性能の低いシステムをテストされていることに気がつきませんでした。それが常に目標フレームレートに達していないシステムであっても、です。もしかするとあなたも、比較的安価なシステムで快適なVR体験ができるかもしれません」
ギャラガーは消費者向けに、Futuremarkが採用しているVRベンチマークの方法を詳しく説明してくれた。
（Futuremarkは、）客観的なテストと主観的な”自分で見る”テストの「組み合わせ」をお勧めしています。特にRiftやViveの推奨スペックを下回るシステムにおいては、この方法がシステムの全体像を把握するベストな方法だと考えています。その理由は、「VR対応」が合格と不合格では判定できないような微妙なものだからです。字義通りにVR対応であるためには、1フレームも落とすことなく90FPSでヘッドセットを動作させなくてはなりません。この場合は、目に入る全てのフレームがゲームやアプリの生成したものです。開発者が想定していたものを完璧に得ている状態です。この状態をテストするために、『VRMark』のベンチマークを使用します。
一方、システムがヘッドセットで90FPSを維持できない場合には、VR SDKがAsynchronous Timewarpやフレーム再投影その他の技術で補正を試みます。この場合、ヘッドセットに表示されるフレームの一部がゲームの生成したものです。他は、欠落したフレームのギャップを埋めるためにSDKが生成したものです。もし、SDKがフレームの欠落を感じさせないほどのいい仕事をした場合、この第2のシステムもVR対応といえるでしょう。『VRMark』のエクスペリエンスモードでこのケースをテストできます。
次の例で説明しましょう。
- システムA
VRMarkオレンジルームのベンチマークスコア：6500
平均フレームレート：140FPS - システムB
ベンチマークスコア：5000
平均フレームレート：109FPS - システムC
ベンチマークスコア：3500
平均フレームレート：75FPS - システムD
ベンチマークスコア：2000
平均フレームレート：40FPS
ベンチマークの結果は、システムAとBがどちらも純粋にRiftとViveのVR対応であることを示しています。どちらも、VRヘッドセットで全てのフレームを90FPSでレンダリングするのに十分なパフォーマンスです。しかし、スコアと平均フレームレートの差があります。システムAの方がより品質重視の設定や負荷の高いVRゲームやアプリの処理に対しても余裕があることを示しています。
システムCとDは、目標フレームレートを達成できませんでした。問題になるのは、VR SDKが欠落したフレームを補えるかどうかです。それを確認するために、『VRMark』のオレンジルームエクスペリエンスモードを使用します。エクスペリエンスモードでは、システムCとBの違いが見られません。システムCは定期的にフレームを破棄していますが、SDKがそれを補正してユーザーから隠しています。VR体験の質は本当のVR対応システムに近いものです。
システムDでは、VR体験にはっきりと問題があることがわかります。SDKは低フレームレートを補正できておらず、チラつきやその他の気が散る影響に気づいてしまうかもしれません。
これにより、結論が出せます。
- システムAは、より要求が高いものを含めてVRの準備ができています。
- システムBは、HTC ViveとOculus Riftの推奨要件に合わせて設計されたVRゲームの準備ができています。
- システムCは、VR対応ではありません。しかし、ソフトウェア技術のおかげでVR体験が可能です。
- システムDは、VR対応ではありません。快適なVR体験を提供できません。
多くのゲーマーが、彼らが購入を検討しているシステムが「真の意味で」VR対応かどうかを知りたいのではないでしょうか。それは、ベンチマークからしかわかりません。また、使用するモニターでのテストが必要です。システムが90FPSをどれだけ超えるかを調べなくてはなりません。『VRMark』ブルールームベンチマークは、RiftやViveが提示する推奨要件よりもハードな処理を要求する厳しい試験となっています。
一方で、価格重視のゲーマーは技術的な工夫でVRに対応しているシステムで満足かもしれません。10月にOculus Connectで発表された新しい最小構成のシステムがそうですね。このようなシステムは、ベンチマーク（でどのくらいVR SDKによる補正が必要かを測定した結果）とエクスペリエンスモード（でどのくらいVR SDKで補正できるかを確認した結果）から評価することができます。
この説明を受けた後で、RoadToVRはギャラガーに質問した。「自分で見る」方法を推奨しているなら『VRMark』は不要なのではないか、と。理論的には、何かのゲームかアプリを上記の方法で使えばVR体験の具合を確かめることができる。それなのに、『VRMark』に資金を投じる必要があるのだろうか？
「『VRMark』の価値は、一つのアプリで共通のコンテンツを使い、主観と客観の二つの評価を簡単に得られるところにあると考えています。ベンチマークテストは、簡単で便利に繰り返せる処理を提供します。エクスペリエンスモードでは、純粋な意味でVR対応ではないシステムにおけるユーザーエクスペリエンスの質を判断する手立てが提供されます」
とギャラガーは答えた。
最新の『VRMark』は、Steamで販売中だ。Oculus Rift、HTC Vive、OSVR互換ヘッドセットで使用することができる。現在のところ、その評価は賛否両論となっている。「純粋な」ベンチマーク機能が不足していると批判するユーザーもいる。VR商品として見ると、14.99ユーロ/19.99ドルという価格は安くない。コンテンツ「オレンジルーム」が無料のデモ版で利用できることを考えるとなおさらである。『VRMark』はコンテンツであると同時に理論でもあり、そこに投資する価値を見出すユーザーも多い。
参照元サイト名：roadtovr
URL：http://www.roadtovr.com/futuremark-explains-why-vr-benchmarking-is-about-more-than-just-numbers-vrmark/
Copyright ©2016 VR Inside All Rights Reserved.
