株式会社無重力は、ARを利用した子供の成長記録アプリ「せいくらべ」をバージョンアップし、2D撮影＆測定機能の背景切り抜き制度の大幅改善と、LiDAR搭載iPhoneの3D撮影＆測定機能の撮影スピードを改善した事を発表しました。
共有機能を活用すれば、離れて暮らす祖父母などの家族のもとへ孫を「AR帰省」させることも可能です。
成長記録アプリ「せいくらべ」とは？
「せいくらべ」はARを利用して、子供の成長を記録するアプリです。
アプリの概要
「せいくらべ」では、写真撮影と身長計測を同時に行い子供の成長を記録していきます。
記録したデータは原寸大でAR表示されるので、成長を実感することができます。
このアプリでは、
・”過去の自分”と”今の自分”が「せいくらべ」をする
・iPhoneの画面をテレビなどに画面共有し家族みんなでARデータを見る
といった楽しみ方ができるだけでなく、
・記録したデータをアプリを利用していない方へもWebARを用いて共有できる機能
が搭載されていることで、『URLを共有するだけ』で子供の成長を離れて過ごす家族へ届けることができます。
また、iPhone12 ProなどのLiDARスキャナを搭載している端末を使用しているユーザーは、高精度の身長計測と3Dデータによる撮影や・ARデータ生成が可能です。
ARで「せいくらべ」
現状の機能一覧
・計測＆撮影機能
・3D撮影機能（LiDARスキャナ搭載iPhone限定）
・過去の写真からARデータを作成する機能
・AR表示機能
・WebAR共有機能
・複数のARデータを同時に配置する機能
開発の背景
本アプリの開発リーダーは4歳の娘をもつ父親で、自身が利用したいサービスとして本アプリを開発しています。
「娘の写真を撮るのが好きで、たくさんの写真が残っているが、写真だと当時の大きさまではなかなか実感しづらい。」「少し前までは小さかったこと、どんどん大きくなっていることを娘と共有して、一緒に成長を喜びたい。」という課題の解決策として、ARの活用を思いついたことが「せいくらべ」の開発につながっています。
2020年3月にApple社より発売されたiPad ProにLiDARスキャナ（深度検出を可能にするセンサー）を利用すると高精度な空間認識が可能となります。
これを活用し、撮影したデータをほぼ正確なサイズでAR表示することが可能だという”気付き”を、成長記録へ活用するために検証を進めた末に、プロトタイプ版が完成しています。
このプロトタイプ版の3Dデータを撮影する仕様の場合、利用可能な端末がLiDARスキャナ搭載端末に限定されるという問題点があり、2020年10月に発売されたiPhone 12 ProシリーズへもLiDARスキャナが搭載されたものの、まだまだ対応端末が少ないというのが現状です。
そこで、3Dデータでの記録ではなく、2Dの写真切り抜きによるARデータの生成を行う仕様でベータ版の開発が進められ、それによりLiDARスキャナ搭載端末以外でも利用可能なアプリが誕生しました。
ただし、LiDARスキャナを搭載していない機種においては身長測定に30cm前後の誤差が生じるため、記録の保存前に計測値を確認して手動で修正する必要があります。
対応端末（撮影と計測が可能な端末）
iOS14以上のA12 Bionic以降のチップを搭載したiPhone（iPhoneXs以降に発売されたiPhone）
ダウンロード方法
バージョンアップ詳細
2D撮影＆測定機能の背景切り抜き精度が大幅アップ！
旧バージョンでは背景切り抜き精度が悪く体の一部が欠けることがありましたが、今回のバージョンアップでは、背景切り抜きに機械学習推論モデルを用い、”より正確に切り抜き”を行えるようにしています。
＜技術解説＞
「せいくらべ」は、開発プラットフォームUnity（Unity Technologies）とiOS開発言語Swift（Apple）を用いて開発をしています。
ARや撮影と測定に関する開発はUnity、データ保存や閲覧、編集に関する開発はSwiftで行い、Unityをネイティブアプリのライブラリとして利用可能なUnity as a libraryを用いて連動しています。
今回の背景切り抜き精度向上は、Unityの機械学習推論エンジン「Barracuda」で画像セグメンテーションの機械学習モデルを動作させることにより、サーバーサイドではなくアプリ内で背景切り抜きを行っています。
新旧バージョン比較
LiDAR搭載iPhoneの3D撮影＆測定機能も撮影スピードが改善！
撮影がより速くなり、3Dデータのメッシュ分解能も向上しています。
今後の開発予定
・計測のみを行う機能
・共有URLの有効期限の延長やパスワード設定機能
ARで「帰省」！WebARを用いた共有機能について
「せいくらべ」には、祖父母などの離れて暮らす家族とも子供の成長を共有することを想定して、アプリを利用していない方も共有URLを受け取るだけでWebAR技術を用いてAR表示が可能となる機能が搭載されています。
撮影後、アプリで撮影データをタップすると表示される「WebARで共有」ボタンから共有URLを発行することが可能です。
計測同様、WebARにおける表示サイズの精度も利用端末の影響を受けるため、多少の誤差は生じるものの、写真とは異なる”臨場感のある成長記録”の閲覧が可能となっています。
コロナウイルス感染症の拡大による影響は長引いており、2021年の夏も遠方のふるさとへの帰省を控えるという家庭も多いことが予測されますが、子供の成長は今を逃すことが出来ないというのもまた現実です。
離れて暮らす祖父母などの家族のもとへ孫をせめて「AR帰省」させることで、リアルな距離を超えて、ともに成長を感じてもらえるのではないかと無重力社は考えているということです。
なお、共有されたURLからWebARを閲覧できる端末（閲覧のみが可能な端末）は、
・iOS12.0以上の端末
・AR Core対応のAndroid端末
となっています。
まとめ
無重力社は技術とクリエイティブをかけあわせ新しい体験を作り出すことを目指し、コンテンツやサービスの企画・ディレクションを手掛ける会社であり、ARを活用した子供の成長記録アプリ「せいくらべ」の配信を行っています。
今回、「せいくらべ」をバージョンアップし、2D撮影＆測定機能の背景切り抜き制度の大幅改善、LiDAR搭載iPhoneの3D撮影＆測定機能の撮影スピードの改善、WebARを用いた共有機能の実装を行ったことを発表しました。
リアルでは夏の帰省が難しい状況にある方も、AR成長記録アプリ「せいくらべ」で孫の大きくなった姿を故郷の親戚に届けられれば、距離を超えた喜びの共有が可能になりそうですね。
Copyright ©2021 VR Inside All Rights Reserved.
