海外メディアVRScoutは、2017年2月20日の記事において、Hololensを使った聴覚による空間認識を実行したデモ動画を紹介した。
Hololensには、ホログラフィックなオブジェクトを物理的な場所に表示するために、リアルな空間を座標系でとらえる空間認識機能が実装されている。
ポーランド在住のHololensアプリ開発者Javier Davalosは、同デバイスの空間認識機能を使って空間を聴覚的に把握するHololensアプリのプロトタイプを開発し、そのデモ動画をYouTubeで公開した。
同アプリの開発コンセプトを簡単に言えば、「Hololensによって認識した空間情報を音声に変換する」となる。実際にデモ動画を見ると、このコンセプトの目指しているものがよくわかる。
デモ動画が撮影されたのは、同氏の住まいだ。Hololensごしに部屋を見ているので、空間認識した情報が無数のポリゴン(三角形のCG)でオーバーレイ表示されている。動画が始まるとすぐに、画面の中央に1点の白いマーカーが表示される。
次いで同氏が部屋を動き回ると、人工的な効果音の音量が変化する。この音は、実は部屋にある対象物と同氏のあいだの距離に応じて変化しているのだ。壁から遠い時は音は小さいが、壁に近づくと大きくなる。また、壁を向いた時と床を向いた時では、それぞれ異なった音が発生する。つまり、対象物がもつ材質に応じても、音が変わるのだ。
以上のような仕組みは、ちょうどコウモリが音波を出して暗闇のなかを空間認識する原理を、Hololensによって再現していると言える。
動画を再生して1分10秒を過ぎたあたりから、画面のなかのマーカーが1点から2点に増える。この変化は、音に変換する空間内の座標を1点から2点に増やし、音の聞こえ方もモノラルからステレオになったことを意味している。
音がモノラルからステレオになったことで、聴覚的な空間認識に劇的な変化が起こる。その変化とは、奥行きを聴覚的に認識できるようになるのだ。
ヒトがリアルな空間を立体視できるのは、2つある眼が知覚した視覚情報の「ズレ」から脳が立体的な空間像を構成することによって可能となっている。デモ動画においては、音がステレオになることによって左右で音が違って聞こえるようになった結果、ちょうど両目で立体視しているように、音によって空間を立体的に「聴いている」のだ。
音による立体認識は慣れてくると精度があがるようで、デモ動画の3分あたりでは階段の段数を数えている。
本メディアでは、以前の記事で視覚障がい者をVRテクノロジーでアシストする取り組みを紹介した。この事例においては、視覚障がいをもつユーザーが認識するのは、バーチャルな空間であった。翻って、今回紹介した事例は、視覚障がい者のリアルな空間の認識をアシストできる可能性を秘めている。
昨年の「ポケモンGO」の成功によって知名度をあげたARテクノロジーには、まだ想像すらできていない可能性が数多く埋まっていそうだ。
Hololensを使った聴覚による空間認識を実行したデモ動画を紹介したVRScoutの記事
http://vrscout.com/news/hololens-app-visually-impaired-navigate/
Copyright ©2017 VR Inside All Rights Reserved.
