カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
2022年3月14日
国立研究開発法人情報通信研究機構(NICT)
ポイント
■ 自分の3Dアバターを構築し、細やかな表情や動作をどの方向からでも再現可能なREXR技術を開発
■ 多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから自分の3Dアバターの構築と再現に成功
■ リモートでもお互いの心の機微が伝わり、相互理解の深化が図れる遠隔コミュニケーションの実現に期待
国立研究開発法人情報通信研究機構(NICT(エヌアイシーティー)、理事長: 徳田 英幸)ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室は、カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する技術(=REXR(レクサー)(Realistic and EXpressive 3D avataR)技術)を開発しました。本技術では、多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することに成功しました。
今後、本技術の改良と活用を進め、深い相互理解が生まれる遠隔コミュニケーションの実現を目指します。
本成果について、国際会議 IEEE VR 2022において2022年3月14日(月)(日本時間)に発表しました。
背景
現在、仮想空間(メタバース)や複合現実(MR)空間を共有し、自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行う技術の開発が各所で進められています。しかし、現状の3Dアバターは、あらかじめ用意しておいたCGキャラクタが用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていません。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサ(奥行き・位置センサ等)を用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難でした。
今回の成果
今回NICTは、自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功しました。この技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディのモデルを構築します(図1上参照)。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新されます。そして、刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができます(図1下参照)。
【画像:https://kyodonewsprwire.jp/img/202203118552-O1-Lq0qoO5O】
図1: REXR技術: カメラ1台の映像から3Dアバターを構築し、刻々と変化する表情や動作を様々な方向から再現
REXR技術を用いると、本人が表出する細やかな表情(微表情: micro-expressions)や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため、心の機微(微妙な感情変化・意図など)をこれらの非言語情報から読み取ることが可能です(図2参照)。
今回開発したREXR技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、将来、深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり、相互理解の深化が図れる遠隔コミュニケーションの実現が期待されます(図3参照)。(図2と図3の動画は、https://youtu.be/LuqhKmkAEagからご覧いただけます。)
【画像:https://kyodonewsprwire.jp/img/202203118552-O2-8JKuq8Sc】
図2: 細やかな表情の変化を様々な方向から再現した3Dアバター
【画像:https://kyodonewsprwire.jp/img/202203118552-O3-3GbzP4Mu】
図3: 仮想空間内で互いに向き合い、各人の表情・動作を豊かに伝えて相互理解の深化が図れる将来の遠隔コミュニケーションに活用
【動画:https://www.youtube.com/watch?v=LuqhKmkAEag】
カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現
今後の展望
今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上(3次元形状の正確さや動きの滑らかさ等)や処理の高速化(リアルタイム対応)を可能にする技術開発を更に進めていきます。
また、本技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF(超臨場感コミュニケーション産学官フォーラム)のXR遠隔コミュニケーションWG等とも連携して、本技術の社会展開に取り組んでいきます。
国際会議における発表
会議名: IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2022)
(開催期間: 2022年3月12日(土)~16日(水))
タイトル: Creating 3D personal avatars with high quality facial expressions for telecommunication and telepresence
著者: Michal Joachimczak, Juan Liu, Hiroshi Ando
辻希美が吐露、17歳長女活動開始に「私達の子供ということを隠す隠さないはすごく悩みました」
ひろゆき氏、高市早苗氏の「通信傍受強化検討」案に注文「想像で税金使って失敗するのは辞めて」
2歳の女の子が『自分の5倍の大きさの超大型犬』を散歩したら…『まさかの光景』が12万再生の反響「足腰強くなりそう」「無限のスタミナ」
「Amazonブラックフライデー」でdポイントざくざく!最大17.5%還元など4つの特典とすること一覧
韓国キウムの金慧成が来週ポスティング申請へ 俊足で守備にも定評のオールラウンド選手
【28日のおむすび】結の献立通りの食事を続ける翔也、足りないと思いつつも結には黙ったまま
「おむすび」“モリモリ”小手伸也の迫力演技にネット反応「森川さん好演」「本気度w」
ドランクドラゴン塚地武雅が手術公表「数カ月前から…まぁ僕は相当早い年齢らしいですが」
ユニフォア、世界経済フォーラムのイノベーター・コミュニティに参入
【欧州CL】守田のスポルティング、ホームでアーセナルに1-5大敗で5戦目にして初黒星
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
前澤友作氏「全ての方向で法的措置を検討します」と警告
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
3刷目の重版決定!榎原依那のファースト写真集「Inaism」から、完全未公開カットをご紹介♡
クロちゃんを騙した「レイちゃま(小林レイミ)」の現在が別人すぎると話題に
ナイナイ岡村、鈴木紗理奈の不倫報道に複雑な思い「チクりがなければ…」
え!42歳?「我慢できなくなっちゃった」熊田曜子“透け透け入浴”超絶ボディーに悶絶の声
藤本美貴、「早く死ぬ確率が高く、不安定な」庄司智春と結婚した理由を聞かれ“一言”で回答
堀江貴文氏「批判してるやつくそ」鈴木紗理奈不倫報道巡る“岡村隆史の発言への批判”を批判
「わっぜか音がしっせえよ あたいは今朝ん台風か思っせえよ」 アルティメット鹿児島弁アニキが『Twitter』で話題に
クロちゃんを騙した「レイちゃま(小林レイミ)」の現在が別人すぎると話題に
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
父が再婚の丸山隆平(36)現在の家族関係がとんでもないことになっていたと話題に
3時のヒロイン福田麻貴(32)は元アイドルだった!昔の姿がかわいいとヲタク歓喜
多部未華子(30)結婚の裏事情あまりにも恐ろしすぎると話題に!
たぬかな、「あのチビやろ?」迷惑系黒人YouTuberへの苦言が物議
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
辻希美が吐露、17歳長女活動開始に「私達の子供ということを隠す隠さないはすごく悩みました」
ひろゆき氏、高市早苗氏の「通信傍受強化検討」案に注文「想像で税金使って失敗するのは辞めて」
2歳の女の子が『自分の5倍の大きさの超大型犬』を散歩したら…『まさかの光景』が12万再生の反響「足腰強くなりそう」「無限のスタミナ」
「Amazonブラックフライデー」でdポイントざくざく!最大17.5%還元など4つの特典とすること一覧
【28日のおむすび】結の献立通りの食事を続ける翔也、足りないと思いつつも結には黙ったまま
「おむすび」“モリモリ”小手伸也の迫力演技にネット反応「森川さん好演」「本気度w」
韓国キウムの金慧成が来週ポスティング申請へ 俊足で守備にも定評のオールラウンド選手
ドランクドラゴン塚地武雅が手術公表「数カ月前から…まぁ僕は相当早い年齢らしいですが」
ユニフォア、世界経済フォーラムのイノベーター・コミュニティに参入
【欧州CL】守田のスポルティング、ホームでアーセナルに1-5大敗で5戦目にして初黒星