starthome-logo 無料ゲーム
starthome-logo

ARKitと機械学習を用いて、部屋の中にある物の名前を表示するデモが登場



今秋、iOS 11が正式にリリースされることによって、アップルのAR開発プラットフォーム「ARKit」を用いたARアプリがiOSデバイスで利用可能になる。


普及率の高いiOSデバイスがARアプリのプラットフォームになることで、スマートフォンやタブレットを用いたARの普及は加速しそうだ。


現在、すでに多くの開発者がARKitを用いて様々なアプリのデモやプロトタイプを制作しているが、ARKitと機械学習を用いることで、部屋の中や、周囲にある様々なものを認識できるデモが登場した。


概要


部屋の中にある様々なものを認識する


このデモは日本在住のWeb開発者、Frances Ngによって開発されたもので、デモ動画をツイッター上で公開している。


デモ動画では、彼女が持つデバイスのカメラによって、部屋の中にある様々なものをコンピューターが認識して、それぞれの名前をARによって現実世界に重ね合わせて表示することができる。



これはARKitと、アップルの機械学習システムである「CoreML」を用いて制作したものであり、機械学習モデルにはあらかじめヒーターや扇風機、キーボードやジーンズなどの特徴が入力されており、それぞれの名前と紐づけられている。


そしてデバイスのカメラでこれらのオブジェクトを映すと、ARKitによってそれぞれの名前を重ね合わせて表示する、という仕組みだ。


この技術は様々な分野で応用することが可能で、たとえば商品をカメラで映すと値段や成分表を表示したり、ゲームや地図アプリのナビゲーション機能などで活用できそうだ。


機械学習とは


機械学習とは、コンピューターが様々な物を認識する技術のことを指す。具体的には、コンピューターに様々なデータを与えて学習させ、それぞれのデータに共通する特徴を見つけ出す。


たとえば、コンピューターに猫の画像を1,000枚ほど読み込ませると、それらに共通する特徴をコンピューターが認識することで、「猫とはどんなものか」を学習する。


この、入力されたデータから抽出された数値を「特徴量」と呼び、コンピューターは学習によって得た特徴量を基に様々な種類の動物の画像から、猫のそれだけを選び取ることが可能になる。


また、読み込む画像の数が多いほどに特徴量が正確になり、様々な猫ーたとえば毛色の違う猫や太った猫、痩せた猫、子猫や老猫などの様々な特徴を持った猫を認識できるようになり、使えば使うほどに認識力が向上するのが特徴だ。


データを用いてコンピューターに学習させる機械学習を「教師あり学習」といい、上記のARKitを用いた機械学習も、教師あり学習を用いている。(この他に、教師データを用いない「教師なし学習」も存在するが、本稿では割愛する)


機械学習を用いた画像認識技術は現在、様々なサービスや製品に取り入れられているが、VR/ARにおいても重要性が増している技術だ。


機械学習を用いたVR/AR技術


医療



中国の西安電子科技大学では、ARと機械学習を用いた医療システム「Surgical Assistant」の開発が行われている。


これはWindowsで動作する画像生成プラットフォームで、生成したデータを2D、3Dで表示することが可能だ。


このシステムは、たとえば大人向けの検査方法が適用できない子供の患者の検査において特に効果を発揮しているとのことで、機械学習の正確な予測システムを用いることで、患者の患部を損傷することなく、詳細を正確に調査できる点がメリットだ。


データの共有はクラウドベースで行うため、どこからでも瞬時にアクセス可能で、閲覧にはマイクロソフトのARデバイス「HoloLens」を用いて行う。


バーチャル技術と機械学習を活用したヘルスケア技術は近年注目を集めており、実際の医療現場に大きなメリットをもたらすものだ。


アバター技術



ディズニーの研究開発部門であるDisney Reasearchは、3Dモデルの口の動きをリアルに再現する技術を、機械学習を用いることによって開発している。


約2,500個のセンテンスをコンピューターに学習させることによって、アバターが喋る際、まるで実際に喋っているかのようなリアルな口の動きを生成することができる。


この技術はアニメーション制作においても大きなメリットをもたらすもので、従来のようにアニメーターが手書きで口の動きを描き込む必要がなく、コンピューターによってキャラクターが喋る際の口の動きを自動で生成できるので、手間をかけずにリアルなアニメーションを制作することができる。


また、この技術はソーシャルVRにおいても役に立つものであり、バーチャル空間で他者とコミュニケーションを取る際、アバターの口の動きをリアルに再現することによって、まるでアバターが実際に喋っているかのような臨場感を生み出すことが出来るため、ソーシャルVRでのコミュニケーションがよりリアルなものになる。


参照元:NextReality


Copyright ©2017 VR Inside All Rights Reserved.

    Loading...
    アクセスランキング
    1. AI動画生成 DomoAI ドモエイアイ Google最新AI Nano Banana Pro Gemini 3 Pro Image に対応し無制限生成が可能に 圧倒的な制作精度向上と効率化でワンストップAI生成

    2. 竹内順子「サスケが味方。その時期がどれだけ尊いか」激アツ忍者漫画コラボ!新作アニメ『NARUTO-ナルト-×NINKŪ-忍空-』全4話決定PV公開

    3. AI動画生成 DomoAI ドモエイアイ トーキングアバター機能強化で音声 感情 会話表現がより人間らしくリアルに マルチボイス 動画素材入力 スクリプト自動分割などアップデート

    4. GoogleがGemini 3発表 マルチモーダル強化で検索と開発基盤に同時展開

    5. HitPaw Edimakor 4.6系列アップデート-Klingモーションコントロール&Vidu Q3 Proで AI 動画表現を進化

    6. AI創作プラットフォーム「PixAI」、最新アニメ生成モデル「Tsubaki.2」を正式公開、創作コンテスト開催とBitSummit Punch出展を発表

    7. 株式会社RATHが自分だけの“デジタル個人秘書”を育てるスマホアプリ『AIboW(相棒)』をリリース

    8. 「オトメイト」新作タイトル発表!男女オメガバース・薄桜鬼スピンオフ・アリスモチーフ作品など

    9. 軽ダンベルで筋肥大――最新研究で重さ神話崩壊

    10. AI漫画生成プラットフォーム「MangaNow」がWebtoon制作に正式対応。新画像生成AIモデル「MangaNow Comic 1.0」も公開し、横型・縦型漫画の両方に対応。

    1. AI動画生成 DomoAI ドモエイアイ Google最新AI Nano Banana Pro Gemini 3 Pro Image に対応し無制限生成が可能に 圧倒的な制作精度向上と効率化でワンストップAI生成

    2. GoogleがGemini 3発表 マルチモーダル強化で検索と開発基盤に同時展開

    3. HitPaw Edimakor 4.6系列アップデート-Klingモーションコントロール&Vidu Q3 Proで AI 動画表現を進化

    4. 竹内順子「サスケが味方。その時期がどれだけ尊いか」激アツ忍者漫画コラボ!新作アニメ『NARUTO-ナルト-×NINKŪ-忍空-』全4話決定PV公開

    5. 加工NG、ワンタップで即送信! Instagramが放つ新機能『Instants』。スクショ禁止&閲覧後消滅で、令和のSNSは「映え」から「ありのまま」へ完全シフト

    6. AI動画生成 DomoAI ドモエイアイ トーキングアバター機能強化で音声 感情 会話表現がより人間らしくリアルに マルチボイス 動画素材入力 スクリプト自動分割などアップデート

    7. まだ9月なのにインフル流行入り!? ワクチンは“打って終わり”じゃない、研究で分かったワクチンの効果(抗体応答)を左右する生活習慣とは

    8. インフルエンザは冬だけじゃない!異例の早期流行「オフピークインフルエンザ」に備える日常の対策とは

    9. HitPaw Edimakor、AIによる【テキストから動画生成】機能を新搭載――構成もAIで自動化

    10. YouTube、AI動画の開示機能を刷新 システム検知で自動ラベル付与

    game_banner
    Starthome

    StartHomeカテゴリー

    Copyright 2026
    ©KINGSOFT JAPAN INC. ALL RIGHTS RESERVED.