カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
2022年3月14日
国立研究開発法人情報通信研究機構(NICT)
ポイント
■ 自分の3Dアバターを構築し、細やかな表情や動作をどの方向からでも再現可能なREXR技術を開発
■ 多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから自分の3Dアバターの構築と再現に成功
■ リモートでもお互いの心の機微が伝わり、相互理解の深化が図れる遠隔コミュニケーションの実現に期待
国立研究開発法人情報通信研究機構(NICT(エヌアイシーティー)、理事長: 徳田 英幸)ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室は、カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する技術(=REXR(レクサー)(Realistic and EXpressive 3D avataR)技術)を開発しました。本技術では、多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することに成功しました。
今後、本技術の改良と活用を進め、深い相互理解が生まれる遠隔コミュニケーションの実現を目指します。
本成果について、国際会議 IEEE VR 2022において2022年3月14日(月)(日本時間)に発表しました。
背景
現在、仮想空間(メタバース)や複合現実(MR)空間を共有し、自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行う技術の開発が各所で進められています。しかし、現状の3Dアバターは、あらかじめ用意しておいたCGキャラクタが用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていません。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサ(奥行き・位置センサ等)を用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難でした。
今回の成果
今回NICTは、自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功しました。この技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディのモデルを構築します(図1上参照)。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新されます。そして、刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができます(図1下参照)。
【画像:https://kyodonewsprwire.jp/img/202203118552-O1-Lq0qoO5O】
図1: REXR技術: カメラ1台の映像から3Dアバターを構築し、刻々と変化する表情や動作を様々な方向から再現
REXR技術を用いると、本人が表出する細やかな表情(微表情: micro-expressions)や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため、心の機微(微妙な感情変化・意図など)をこれらの非言語情報から読み取ることが可能です(図2参照)。
今回開発したREXR技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、将来、深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり、相互理解の深化が図れる遠隔コミュニケーションの実現が期待されます(図3参照)。(図2と図3の動画は、https://youtu.be/LuqhKmkAEagからご覧いただけます。)
【画像:https://kyodonewsprwire.jp/img/202203118552-O2-8JKuq8Sc】
図2: 細やかな表情の変化を様々な方向から再現した3Dアバター
【画像:https://kyodonewsprwire.jp/img/202203118552-O3-3GbzP4Mu】
図3: 仮想空間内で互いに向き合い、各人の表情・動作を豊かに伝えて相互理解の深化が図れる将来の遠隔コミュニケーションに活用
【動画:https://www.youtube.com/watch?v=LuqhKmkAEag】
カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
今後の展望
今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上(3次元形状の正確さや動きの滑らかさ等)や処理の高速化(リアルタイム対応)を可能にする技術開発を更に進めていきます。
また、本技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF(超臨場感コミュニケーション産学官フォーラム)のXR遠隔コミュニケーションWG等とも連携して、本技術の社会展開に取り組んでいきます。
国際会議における発表
会議名: IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2022)
(開催期間: 2022年3月12日(土)~16日(水))
タイトル: Creating 3D personal avatars with high quality facial expressions for telecommunication and telepresence
著者: Michal Joachimczak, Juan Liu, Hiroshi Ando
モデルmegbaby「気付いたらお尻出てたり」初写真集に笑顔「美しく見えればなんでもOK」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
人間関係の破綻、自殺まで マルチ商法の問題点と甘すぎる規制
9度目夏切符狙う関東第一、学校としても意識する最大のライバルは「緑色の憎い“N”」/東東京
吉田正尚3打数無安打1四球 レッドソックスは本拠地でヤンキースに大敗、勝率5割に
NGT小越春花が出演作を「人間界の魔法の映画」称するもプロデューサー即否定 周囲も首かしげ
【阪神】門別啓人は次回ショートイニングで再出発の方針「無理はしない」和田2軍監督
Aマッソが悲願の「ワタナベお笑いNo.1決定戦」優勝、加納「一生優勝しないコンビだと」
ダルビッシュと鈴木誠也が父の日に使用する野球用具公開 普段と違う水色グラブなどでプレー
【京都】松田天馬が2点を生み出してホーム初勝利に貢献 ボレー弾と積極プレスで札幌破る
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
モデルmegbaby「気付いたらお尻出てたり」初写真集に笑顔「美しく見えればなんでもOK」
人間関係の破綻、自殺まで マルチ商法の問題点と甘すぎる規制
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
9度目夏切符狙う関東第一、学校としても意識する最大のライバルは「緑色の憎い“N”」/東東京
NGT小越春花が出演作を「人間界の魔法の映画」称するもプロデューサー即否定 周囲も首かしげ
吉田正尚3打数無安打1四球 レッドソックスは本拠地でヤンキースに大敗、勝率5割に
miwa「34歳に見えない!かわいい!」最新ショット 15日が誕生日
Aマッソが悲願の「ワタナベお笑いNo.1決定戦」優勝、加納「一生優勝しないコンビだと」
【阪神】門別啓人は次回ショートイニングで再出発の方針「無理はしない」和田2軍監督
【京都】松田天馬が2点を生み出してホーム初勝利に貢献 ボレー弾と積極プレスで札幌破る