SIGGRAPH 2017でVIVEを改造した脳波コントローラーでプレイするゲーム「Awakening」が公開される

2017年08月01日 14:21:00
テクノロジー
VR Inside

海外メディアUploadVRは、VIVEを改造した脳波コントローラーを紹介した。

BCIとは何か？

同メディアによると、メディアアートの世界的展示会SIGGRAPH 2017において、VIVEに実装されたBCI(Brain Computer Interface)のデモが公開された。

BRIとは、脳波でコントロールするインターフェースのことを指している。具体的には、ヒトの脳波を検出して、その脳波から特定の指令を解釈した後、何らかのデバイスの制御を実行する仕組みのことだ。

以上のように説明すると、BRIはSF的な実用化など想定していない技術のように感じられてしまう。しかし、インターフェースの歴史を振り返ると、BCIはむしろ必然的に生まれるべくして開発されているものと理解できる。

ヒトがコンピュータを操作する時に使うインターフェースは、文字で構成されたコマンドで制御していたCUI(Character User Interface)に始まり、画像をも活用するGUI(Graphic User Interface)、そして、GUIの改良版とも言えるスマホのタッチスクリーンというように改善されてきた。インターフェースが改善される方向性は、ヒトがより直観的・直接的に操作できるように進化していったと言える。

現在では、GUIとタッチスクリーンに加えて、より身体に密着したウェアラブル型インターフェースも登場した。このインターフェースを採用した代表的デバイスは、スマートウォッチである。そして、VRヘッドセットとARバイザーは、インターフェースの分類から見るとウェアラブル型になることは忘れてはならない。

インターフェースの直接性がウェアラブル型よりさらに進化すると、ついにヒトの身体のなかと相互作用する領域に突入する。この領域で研究されているインターフェースこそBCIなのだ。

以上のように、BCIはインターフェースの進化の突端に位置していると言える。

BCIでプレイするゲーム「Awakening」

SIGGRAPH 2017においてBCIのデモを公開したのは、本メディア2017年3月24日の記事で紹介したスタートアップNeurableだ。そのデモの様子を収録した動画が以下だ。

デモ動画は、BRIを活用したゲーム「Awakening」のプレイの一部分を撮影したものだ。同ゲームは、脳波を検知するデバイスが実装されたVIVEを装着してプレイする。

ゲームはテストフェースから始まる。ユーザーは、VIVEから見えた(おもちゃの飛行機といった)バーチャルオブジェクトを強く意識する。用意された複数のオブジェクトを意識することが完了したら、今度はその複数のオブジェクトからひとつを選んで強く意識する。すると、意識したオブジェクトがVIVEコントローラーを使っていないのにピックアップされるのだ。この意識によるオブジェクト操作を、用意されたオブジェクト全てに対して行う。

テストフェースが終わったら、いよいよゲームフェースをプレイする。プレイするゲーム「Awakening」は、脱出ゲームに分類されるミニゲームだ。同ゲームのプレイヤーは、テレキネシス(念力)を発揮できる素質があるとして、政府の秘密研究所に監禁されたという設定でスタートする。プレイヤーは、監禁された実験室から脱出するというわけだ。

脱出に際しては、テレキネシスで動かたいものを目でみると、脳波だけで動かせるようになっている。例えば、ゲーム内の部屋の床にコップが落ちていたとしたら、そのコップに視線を合わせて、「コップ」と意識したら、ゲーム内でVIVEコントローラーを使わずにバーチャルなコップを動かせるのだ。

つまり、同ゲームはBCIと視線トラッキングを応用して、バーチャルなテレキネシス体験を実現しているのだ。

VIVEを改造した脳波コントローラーの仕組み

同ゲームを開発したNeurableのCEOであるRamses Alcaideは、同ゲームに実装された技術に関して以下のようにコメントしている。

ゲームにはふたつのモードが実装されています。

ひとつめが、ピュアEEG(Electroencephalography：脳波検出法の略)モードで、ユーザーが選択したオブジェクトを検出し、ユーザーが直接操作できるようにしています。

もうひとつのモードがハイブリッドBCIモードです。このモードでは脳波に加えて、ユーザーの視線も活用できます。つまり、ユーザーの視線がちょうどPCのマウスのようにオブジェクトを選択するのです。そして、視線で選んだオブジェクトを「クリック」するのが脳波です。

同氏によると、脳波の検出にはAIの学習法のひとつである機械学習が応用されている。さらに視線トラッキングに関しては、先日Appleに買収されたSMIの技術が使われている、とのこと。

さらに同氏は、BCIの展望に関して以下のように述べている。

私が考えるに、未来のMixed Reality(VRとARの複合体験)におけるインタラクションは、音声、ジェスチャー、視線を複合したものであり、それらを結びつけるのがBCIなのです。

…さらに言えば、未来のMixed Reality社会においては、iPhoneやPCのようなユビキタスなデバイスがプラットフォームとはならないはずです。そうではなくて、BCIこそ未来のプラットフォームなのです。

同氏の考える未来とは、ディスプレイやキーボードといった物理的デバイスは一掃されて、バーチャルなオブジェクトを音声や視線で操作して、具体的なコマンドは脳波でやりとりするような世界であろうか。

現在のメインストリームなインターフェースはGUIとタッチスクリーンだが、20～30年後にはそんな現在を思い出せないくらい進化したインターフェースが普及しているのかも知れない。

VIVEを改造した脳波コントローラーを紹介したUploadVRの記事

https://uploadvr.com/siggraph-neurable-lets-control-virtual-world-thought/

アクセスランキング