ARKitと機械学習を用いて、部屋の中にある物の名前を表示するデモが登場

今秋、iOS 11が正式にリリースされることによって、アップルのAR開発プラットフォーム「ARKit」を用いたARアプリがiOSデバイスで利用可能になる。

普及率の高いiOSデバイスがARアプリのプラットフォームになることで、スマートフォンやタブレットを用いたARの普及は加速しそうだ。

現在、すでに多くの開発者がARKitを用いて様々なアプリのデモやプロトタイプを制作しているが、ARKitと機械学習を用いることで、部屋の中や、周囲にある様々なものを認識できるデモが登場した。

概要

このデモは日本在住のWeb開発者、Frances Ngによって開発されたもので、デモ動画をツイッター上で公開している。

デモ動画では、彼女が持つデバイスのカメラによって、部屋の中にある様々なものをコンピューターが認識して、それぞれの名前をARによって現実世界に重ね合わせて表示することができる。

これはARKitと、アップルの機械学習システムである「CoreML」を用いて制作したものであり、機械学習モデルにはあらかじめヒーターや扇風機、キーボードやジーンズなどの特徴が入力されており、それぞれの名前と紐づけられている。

そしてデバイスのカメラでこれらのオブジェクトを映すと、ARKitによってそれぞれの名前を重ね合わせて表示する、という仕組みだ。

この技術は様々な分野で応用することが可能で、たとえば商品をカメラで映すと値段や成分表を表示したり、ゲームや地図アプリのナビゲーション機能などで活用できそうだ。

機械学習とは、コンピューターが様々な物を認識する技術のことを指す。具体的には、コンピューターに様々なデータを与えて学習させ、それぞれのデータに共通する特徴を見つけ出す。

たとえば、コンピューターに猫の画像を1,000枚ほど読み込ませると、それらに共通する特徴をコンピューターが認識することで、「猫とはどんなものか」を学習する。

この、入力されたデータから抽出された数値を「特徴量」と呼び、コンピューターは学習によって得た特徴量を基に様々な種類の動物の画像から、猫のそれだけを選び取ることが可能になる。

また、読み込む画像の数が多いほどに特徴量が正確になり、様々な猫ーたとえば毛色の違う猫や太った猫、痩せた猫、子猫や老猫などの様々な特徴を持った猫を認識できるようになり、使えば使うほどに認識力が向上するのが特徴だ。

データを用いてコンピューターに学習させる機械学習を「教師あり学習」といい、上記のARKitを用いた機械学習も、教師あり学習を用いている。（この他に、教師データを用いない「教師なし学習」も存在するが、本稿では割愛する）

機械学習を用いた画像認識技術は現在、様々なサービスや製品に取り入れられているが、VR/ARにおいても重要性が増している技術だ。

中国の西安電子科技大学では、ARと機械学習を用いた医療システム「Surgical Assistant」の開発が行われている。

これはWindowsで動作する画像生成プラットフォームで、生成したデータを2D、3Dで表示することが可能だ。

このシステムは、たとえば大人向けの検査方法が適用できない子供の患者の検査において特に効果を発揮しているとのことで、機械学習の正確な予測システムを用いることで、患者の患部を損傷することなく、詳細を正確に調査できる点がメリットだ。

データの共有はクラウドベースで行うため、どこからでも瞬時にアクセス可能で、閲覧にはマイクロソフトのARデバイス「HoloLens」を用いて行う。

バーチャル技術と機械学習を活用したヘルスケア技術は近年注目を集めており、実際の医療現場に大きなメリットをもたらすものだ。

ディズニーの研究開発部門であるDisney Reasearchは、3Dモデルの口の動きをリアルに再現する技術を、機械学習を用いることによって開発している。

約2,500個のセンテンスをコンピューターに学習させることによって、アバターが喋る際、まるで実際に喋っているかのようなリアルな口の動きを生成することができる。

この技術はアニメーション制作においても大きなメリットをもたらすもので、従来のようにアニメーターが手書きで口の動きを描き込む必要がなく、コンピューターによってキャラクターが喋る際の口の動きを自動で生成できるので、手間をかけずにリアルなアニメーションを制作することができる。

また、この技術はソーシャルVRにおいても役に立つものであり、バーチャル空間で他者とコミュニケーションを取る際、アバターの口の動きをリアルに再現することによって、まるでアバターが実際に喋っているかのような臨場感を生み出すことが出来るため、ソーシャルVRでのコミュニケーションがよりリアルなものになる。

参照元：NextReality

情報提供元： VR Inside