Apple、ARカメラ機能に関する特許を取得。未来のFaceTimeはポケモンGOみたいになる？

海外メディアVCDailyは、AppleのARカメラ機能に関する特許を報じた。

新特許はデュアルカメラが必須

同メディアによると、Appleは2017年6月13日付でARカメラ機能に関する特許を取得した(トップ画像参照)。

同特許は、スマホカメラに限定されたものではなく、Macに実装されているカメラにも応用できるものだ。ただし、同特許に記載された技術を実行するためには、デュアルカメラが実装されていなければならない。そのため、既存のApple製品で同特許を実行可能のは、iPhone 7 Plusだけとなる。

同特許を理解するためには、まずiPhone 7 Plusに実装されている「ポートレートモード」の基本構造を知っておくとよい。「ポートレートモード」とは、ヒトの顔を撮影する時に、ヒトの顔はシャープだが、背景はぼやけた仕上がりとなる撮影モードのことだ(下の画像参照)。

iPhone 7 Plusのポートレートモードで撮影した画像

カメラの被写体にはシャープにピントがあい、背景はぼやけるという撮影技法は、従来ではデジタル一眼カメラのみで実行可能だった。具体的には、レンズの被写界深度(レンズのピントがあう奥行の範囲)を浅くすると、こうした撮影効果が得られる。iPhone 7 Plusは、レンズの被写界深度を変えるかわりに、ふたつのカメラを使ってひとつは被写体、もうひとつは背景をそれぞれ撮影した後に、背景をぼやかしたうえでふたつの画像を合成しているのだ。 言ってみれば、iPhone 7 Plusのポートレートモードは合成画像なのである。

背景を差し替えることことができる？

このほど取得した特許は、このポートレートモードで実行されている合成処理をさらに進化させたものと言える。

同特許では、ビデオチャット中に話し相手が表示されている画面に映りこんでいる背景を変えることができる、とされている。つまり、ポートレートモードではぼやけて合成されていたリアルな光景を撮影した背景画像を、取り除いてユーザーが好きな背景に差し替えることができるのだ。

同特許の具体的な利用シーンは次のようになる。例えば、ビデオチャットで昨日行われたサッカーの試合の話をしているとする。ユーザーは、ビデオチャット中に映りこんでいる部屋の背景画像のかわりに、昨日のサッカー試合の動画を背景に表示することができるのだ。

同特許が実現することを、もっと直観的に述べるならば、スマホARゲーム「ポケモンGO」でリアルな画面にバーチャルなモンスターを表示するように、好きなリアルの画面に(画像内にしか存在しないという意味で)バーチャルなビデオチャットの相手を表示する、と言えよう。もちろん背景は、リアルなモノを撮影した画像だけではなく、アニメのような完全に架空のものでもよい。

以上のような画像合成は、実のところ、既存の技術で実現可能だ。ただし、設備を整える必要がある。実行する方法としては、リアルタイム映像合成システムを利用すると実現する。もっとも、この場合は被写体はブルースクリーンを背景にしなければならない。

同特許の画期的なところは、従来であればブルースクリーンを背景しなければ実現しないリアルタイム画像合成を、デュアルカメラを実装したデバイスだけで実行できるところにある。

新特許の応用事例とは

同特許の応用事例としては、さきほどのサッカー試合動画を背景とする事例のほかには、ユーザーがビデオチャットしている部屋をスマホの背面カメラで撮影して、その画像と話し相手を合成すると、話し相手はユーザーの部屋にいないにもかかわらず、ビデオチャット画面内では部屋で向かい合って話しているような効果を実現できる。

同特許の商業利用としてすぐに思いつくのが、背景にビジネス・ミーティング用のスライドや動画を合成することだ。つまり、ユーザーはミーティング資料を背景にビデオチャットできるというわけだ。

同特許には、具体的に実装されるデバイスやアプリには言及していない。とはいうものも、おそらくは新型iPhone／iPadのFaceTimeに実装されると考えるのが自然である。

以上のようなデュアルカメラによる画像合成に関する特許は、すでにポートレートモードをiPhone 7 Plusに実装しているAppleの技術力を考えると、すぐに実現するように思われる。この特許が未来のiPhoneに実装されれば、またひとつ「魔法のような体験」が簡単に実現するようになるだろう。

AppleのARカメラ機能に関する特許ページ

http://pdfpiw.uspto.gov/.piw?docid=09681096&PageNum=1&&IDKey=&HomeUrl=http://pdfpiw.uspto.gov/

AppleのARカメラ機能に関する特許を報じたVCDailyの記事

https://www.videoconferencingdaily.com/latest-technology/apples-augmented-reality-coming-facetime-using-light-field-camera-tech/

Copyright ©2017 VR Inside All Rights Reserved.