カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
2022年3月14日
国立研究開発法人情報通信研究機構(NICT)
ポイント
■ 自分の3Dアバターを構築し、細やかな表情や動作をどの方向からでも再現可能なREXR技術を開発
■ 多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから自分の3Dアバターの構築と再現に成功
■ リモートでもお互いの心の機微が伝わり、相互理解の深化が図れる遠隔コミュニケーションの実現に期待
国立研究開発法人情報通信研究機構(NICT(エヌアイシーティー)、理事長: 徳田 英幸)ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室は、カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する技術(=REXR(レクサー)(Realistic and EXpressive 3D avataR)技術)を開発しました。本技術では、多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することに成功しました。
今後、本技術の改良と活用を進め、深い相互理解が生まれる遠隔コミュニケーションの実現を目指します。
本成果について、国際会議 IEEE VR 2022において2022年3月14日(月)(日本時間)に発表しました。
背景
現在、仮想空間(メタバース)や複合現実(MR)空間を共有し、自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行う技術の開発が各所で進められています。しかし、現状の3Dアバターは、あらかじめ用意しておいたCGキャラクタが用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていません。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサ(奥行き・位置センサ等)を用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難でした。
今回の成果
今回NICTは、自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功しました。この技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディのモデルを構築します(図1上参照)。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新されます。そして、刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができます(図1下参照)。
【画像:https://kyodonewsprwire.jp/img/202203118552-O1-Lq0qoO5O】
図1: REXR技術: カメラ1台の映像から3Dアバターを構築し、刻々と変化する表情や動作を様々な方向から再現
REXR技術を用いると、本人が表出する細やかな表情(微表情: micro-expressions)や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため、心の機微(微妙な感情変化・意図など)をこれらの非言語情報から読み取ることが可能です(図2参照)。
今回開発したREXR技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、将来、深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり、相互理解の深化が図れる遠隔コミュニケーションの実現が期待されます(図3参照)。(図2と図3の動画は、https://youtu.be/LuqhKmkAEagからご覧いただけます。)
【画像:https://kyodonewsprwire.jp/img/202203118552-O2-8JKuq8Sc】
図2: 細やかな表情の変化を様々な方向から再現した3Dアバター
【画像:https://kyodonewsprwire.jp/img/202203118552-O3-3GbzP4Mu】
図3: 仮想空間内で互いに向き合い、各人の表情・動作を豊かに伝えて相互理解の深化が図れる将来の遠隔コミュニケーションに活用
【動画:https://www.youtube.com/watch?v=LuqhKmkAEag】
カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
今後の展望
今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上(3次元形状の正確さや動きの滑らかさ等)や処理の高速化(リアルタイム対応)を可能にする技術開発を更に進めていきます。
また、本技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF(超臨場感コミュニケーション産学官フォーラム)のXR遠隔コミュニケーションWG等とも連携して、本技術の社会展開に取り組んでいきます。
国際会議における発表
会議名: IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2022)
(開催期間: 2022年3月12日(土)~16日(水))
タイトル: Creating 3D personal avatars with high quality facial expressions for telecommunication and telepresence
著者: Michal Joachimczak, Juan Liu, Hiroshi Ando
「年齢不詳すぎ」38歳益若つばさ、ツインテール姿に騒然「こんなお母さんずるい」
明石家さんま「朝丸兄さん」「ちょっと早いよな」「もう1回会いたかった」 ざこばさんしのぶ
【ソフトバンク】小久保監督“ギータ2世”笹川吉康ら活躍に「技術上がっている証拠」/一問一答
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
【ソフトバンク】右手捻挫の近藤健介、ド根性の先制&決勝3ラン「まだ痛い」ハイタッチ左手のみ
ウクライナ平和サミットで首相演説 「平和取り戻す」支援継続を訴え
X JAPAN・PATA「Ra:IN」のライブショットを披露「お元気そうでよかったです!」
和田アキ子、ゲスト59歳大物歌手の声を大絶賛「いい響き。セクシーよ」
元日テレ笹崎里菜アナ、ABEMAで退社後初の番組MC「なぜこの仕事を?」ハライチ澤部
【阪神】打線改造実らず2連敗でBクラス転落、8安打放つも2得点止まり 岡田監督「点取らな」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
「年齢不詳すぎ」38歳益若つばさ、ツインテール姿に騒然「こんなお母さんずるい」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
明石家さんま「朝丸兄さん」「ちょっと早いよな」「もう1回会いたかった」 ざこばさんしのぶ
【ソフトバンク】小久保監督“ギータ2世”笹川吉康ら活躍に「技術上がっている証拠」/一問一答
【ソフトバンク】右手捻挫の近藤健介、ド根性の先制&決勝3ラン「まだ痛い」ハイタッチ左手のみ
ウクライナ平和サミットで首相演説 「平和取り戻す」支援継続を訴え
和田アキ子、ゲスト59歳大物歌手の声を大絶賛「いい響き。セクシーよ」
X JAPAN・PATA「Ra:IN」のライブショットを披露「お元気そうでよかったです!」
【阪神】打線改造実らず2連敗でBクラス転落、8安打放つも2得点止まり 岡田監督「点取らな」
元日テレ笹崎里菜アナ、ABEMAで退社後初の番組MC「なぜこの仕事を?」ハライチ澤部