カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
2022年3月14日
国立研究開発法人情報通信研究機構(NICT)
ポイント
■ 自分の3Dアバターを構築し、細やかな表情や動作をどの方向からでも再現可能なREXR技術を開発
■ 多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから自分の3Dアバターの構築と再現に成功
■ リモートでもお互いの心の機微が伝わり、相互理解の深化が図れる遠隔コミュニケーションの実現に期待
国立研究開発法人情報通信研究機構(NICT(エヌアイシーティー)、理事長: 徳田 英幸)ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室は、カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する技術(=REXR(レクサー)(Realistic and EXpressive 3D avataR)技術)を開発しました。本技術では、多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することに成功しました。
今後、本技術の改良と活用を進め、深い相互理解が生まれる遠隔コミュニケーションの実現を目指します。
本成果について、国際会議 IEEE VR 2022において2022年3月14日(月)(日本時間)に発表しました。
背景
現在、仮想空間(メタバース)や複合現実(MR)空間を共有し、自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行う技術の開発が各所で進められています。しかし、現状の3Dアバターは、あらかじめ用意しておいたCGキャラクタが用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていません。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサ(奥行き・位置センサ等)を用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難でした。
今回の成果
今回NICTは、自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功しました。この技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディのモデルを構築します(図1上参照)。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新されます。そして、刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができます(図1下参照)。
【画像:https://kyodonewsprwire.jp/img/202203118552-O1-Lq0qoO5O】
図1: REXR技術: カメラ1台の映像から3Dアバターを構築し、刻々と変化する表情や動作を様々な方向から再現
REXR技術を用いると、本人が表出する細やかな表情(微表情: micro-expressions)や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため、心の機微(微妙な感情変化・意図など)をこれらの非言語情報から読み取ることが可能です(図2参照)。
今回開発したREXR技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、将来、深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり、相互理解の深化が図れる遠隔コミュニケーションの実現が期待されます(図3参照)。(図2と図3の動画は、https://youtu.be/LuqhKmkAEagからご覧いただけます。)
【画像:https://kyodonewsprwire.jp/img/202203118552-O2-8JKuq8Sc】
図2: 細やかな表情の変化を様々な方向から再現した3Dアバター
【画像:https://kyodonewsprwire.jp/img/202203118552-O3-3GbzP4Mu】
図3: 仮想空間内で互いに向き合い、各人の表情・動作を豊かに伝えて相互理解の深化が図れる将来の遠隔コミュニケーションに活用
【動画:https://www.youtube.com/watch?v=LuqhKmkAEag】
カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
今後の展望
今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上(3次元形状の正確さや動きの滑らかさ等)や処理の高速化(リアルタイム対応)を可能にする技術開発を更に進めていきます。
また、本技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF(超臨場感コミュニケーション産学官フォーラム)のXR遠隔コミュニケーションWG等とも連携して、本技術の社会展開に取り組んでいきます。
国際会議における発表
会議名: IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2022)
(開催期間: 2022年3月12日(土)~16日(水))
タイトル: Creating 3D personal avatars with high quality facial expressions for telecommunication and telepresence
著者: Michal Joachimczak, Juan Liu, Hiroshi Ando
香港エキスプレスセール、6月28日まで 次回いつ?早見表や買い方まとめ
【日本ハム】新庄監督「超一流のスーパープレー」背面キャッチでチーム救った五十幡亮汰を称賛
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
大谷翔平、日々の微修正で6月絶好調 監督指摘で?回しすぎないハーフスイング取り入れ適時V打
安藤美姫さん、Xで英文長文投稿「我慢できない」「あなたたちは真実を知りません」に心配の声
インテルサットとスターフィッシュ・スペース、衛星サービス・ミッションで合意
完売必至、伝説の店「おもちゃのハローマック」のカプセルトイ発売決定に大歓喜!
【日本ハム】宮西尚生「くさった態度でいたら人として終わる」開幕2軍も歯を食いしばり今季初H
猫がやらかしたので『逮捕』してみた結果…動揺する姿が面白すぎると77万5000再生の大反響「慌てるのかわいいw」「前科がねw」
【阪神】大竹耕太郎7回1失点「今日みたいな日の1失点の方が価値が高い」粘りの投球を自信に
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
霜月るな、松本人志めぐる“新証言”報道に「どうゆう事?その告発で人の人生奪ってるんやで」
22歳・元HKTタレント「最高すぎる」美バストあらわな水着姿披露「君がチャンピオン」と反響
イケメンだから許される!堀北真希と山本耕史の「馴れ初め」が映画化希望するレベル
粗品、“大物ピン芸人”同席の飲み拒否「その先輩おるなら行きません」情報暴露されスタジオ騒然
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
知事選辞退へずまりゅう怒り「俺を舐めるのも大概にしろよ?俺みたいな大物インフルエンサーと」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
イケメンだから許される!堀北真希と山本耕史の「馴れ初め」が映画化希望するレベル
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
都知事選掲示板にヌードポスター ひろゆき氏「世も末」 SNSで批判噴出
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
松本人志飲み会参加セクシー女優「警察に相談しに行きました」報告「さすがにこれは酷すぎる」
香港エキスプレスセール、6月28日まで 次回いつ?早見表や買い方まとめ
【日本ハム】新庄監督「超一流のスーパープレー」背面キャッチでチーム救った五十幡亮汰を称賛
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
大谷翔平、日々の微修正で6月絶好調 監督指摘で?回しすぎないハーフスイング取り入れ適時V打
安藤美姫さん、Xで英文長文投稿「我慢できない」「あなたたちは真実を知りません」に心配の声
インテルサットとスターフィッシュ・スペース、衛星サービス・ミッションで合意
完売必至、伝説の店「おもちゃのハローマック」のカプセルトイ発売決定に大歓喜!
【日本ハム】宮西尚生「くさった態度でいたら人として終わる」開幕2軍も歯を食いしばり今季初H
【阪神】大竹耕太郎7回1失点「今日みたいな日の1失点の方が価値が高い」粘りの投球を自信に
猫がやらかしたので『逮捕』してみた結果…動揺する姿が面白すぎると77万5000再生の大反響「慌てるのかわいいw」「前科がねw」