カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現

深い相互理解が生まれる遠隔コミュニケーションの実現に向けて

2022年3月14日
国立研究開発法人情報通信研究機構（NICT）

ポイント
■ 自分の3Dアバターを構築し、細やかな表情や動作をどの方向からでも再現可能なREXR技術を開発
■ 多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから自分の3Dアバターの構築と再現に成功
■ リモートでもお互いの心の機微が伝わり、相互理解の深化が図れる遠隔コミュニケーションの実現に期待

　国立研究開発法人情報通信研究機構（NICT(エヌアイシーティー)、理事長: 徳田 英幸）ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室は、カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する技術（=REXR(レクサー)（Realistic and EXpressive 3D avataR）技術）を開発しました。本技術では、多数のカメラや特殊なセンサは不要で、カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することに成功しました。
　今後、本技術の改良と活用を進め、深い相互理解が生まれる遠隔コミュニケーションの実現を目指します。
　本成果について、国際会議 IEEE VR 2022において2022年3月14日（月）（日本時間）に発表しました。

背景
　現在、仮想空間（メタバース）や複合現実（MR）空間を共有し、自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行う技術の開発が各所で進められています。しかし、現状の3Dアバターは、あらかじめ用意しておいたCGキャラクタが用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていません。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、多数のカメラを装備した大規模な設備や特殊なセンサ（奥行き・位置センサ等）を用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難でした。

今回の成果
　今回NICTは、自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功しました。この技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディのモデルを構築します（図1上参照）。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新されます。そして、刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができます（図1下参照）。

【画像：https://kyodonewsprwire.jp/img/202203118552-O1-Lq0qoO5O】
図1: REXR技術: カメラ1台の映像から3Dアバターを構築し、刻々と変化する表情や動作を様々な方向から再現

　REXR技術を用いると、本人が表出する細やかな表情（微表情: micro-expressions）や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため、心の機微（微妙な感情変化・意図など）をこれらの非言語情報から読み取ることが可能です（図2参照）。
　今回開発したREXR技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、将来、深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり、相互理解の深化が図れる遠隔コミュニケーションの実現が期待されます（図3参照）。（図2と図3の動画は、https://youtu.be/LuqhKmkAEagからご覧いただけます。）

【画像：https://kyodonewsprwire.jp/img/202203118552-O2-8JKuq8Sc】
図2: 細やかな表情の変化を様々な方向から再現した3Dアバター

【画像：https://kyodonewsprwire.jp/img/202203118552-O3-3GbzP4Mu】
図3: 仮想空間内で互いに向き合い、各人の表情・動作を豊かに伝えて相互理解の深化が図れる将来の遠隔コミュニケーションに活用

【動画：https://www.youtube.com/watch?v=LuqhKmkAEag】
カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現

今後の展望
　今後は、複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上（3次元形状の正確さや動きの滑らかさ等）や処理の高速化（リアルタイム対応）を可能にする技術開発を更に進めていきます。
　また、本技術の活用や実証実験、技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF（超臨場感コミュニケーション産学官フォーラム）のXR遠隔コミュニケーションWG等とも連携して、本技術の社会展開に取り組んでいきます。

国際会議における発表
会議名: IEEE Conference on Virtual Reality and 3D User Interfaces （IEEE VR 2022）
（開催期間: 2022年3月12日（土）～16日（水））
タイトル: Creating 3D personal avatars with high quality facial expressions for telecommunication and telepresence
著者: Michal Joachimczak, Juan Liu, Hiroshi Ando