NTTレゾナントの「AI suite」がより高度な対話が可能な初音ミクのアバターを実現

～言語情報に加え表情や声色などの複数情報から対話者の感情を解析～

2022年8月10日
NTTレゾナント株式会社

プレスリリース

NTTレゾナントの「AI suite」が より高度な対話が可能な初音ミクのアバターを実現 ～言語情報に加え表情や声色などの複数情報から対話者の感情を解析～

　NTTレゾナント株式会社(本社：東京都千代田区、代表取締役社長：楠木 健、以下NTTレゾナント)は、株式会社バーチャルキャストと株式会社Gugenka主催の「初音ミク」公式VRワールド「初音ミク『マジカルミライ』10th Anniversary in MIKU LAND(*1)」のVRカフェで使われる初音ミクのアバターに、「AI suite(エーアイスイート)」のマルチモーダル対話応答APIを提供することをお知らせします。
　AI suiteのマルチモーダル対話応答APIは、NTTレゾナントが独自開発した映像・音声情報の解析を可能にする「マルチモーダルAI技術(特許申請中)」を用いており、言語情報だけでなく表情や声色を認識した対話の実現を得意としています。
　本技術を用いて、VRカフェ「DOOR喫茶『Cafe MIKU』AIトークルーム」では、AI suiteを活用した初音ミクのアバターが会話を通じてお客さまの気分に合わせたおすすめのドリンクや音楽を提案します。

【画像：https://kyodonewsprwire.jp/img/202208094949-O1-9btAt6Pe】

1.VRカフェ「DOOR喫茶『Cafe MIKU』AIトークルーム」について

(1) 企画概要
　「DOOR喫茶『Cafe MIKU』AIトークルーム」は、VR上のカフェ店主となった初音ミクのアバターとのコミュニケーションなどを楽しむことができます。

(2) 技術概要
　AI suiteは、初音ミクのアバターとの会話機能を実現するための技術を提供しています。テキスト化可能な言語情報だけでなく表情や視線・声のトーンなどの非言語情報も含めて統合解析することにより感情を分析します。
　ユーザーの会話内容から喜怒哀楽を読み取る技術は、これまでのAIサービスの実績(*2)の中でも得意としていた技術を生かしています。さらにVRならではの取り組みとして、マルチモーダルAI技術を活用し、映像(表情)や音声(言葉、声色)という複合的な要素を用いて感情を推測することで、より高度な対話が可能なアバターを実現しました。

【画像：https://kyodonewsprwire.jp/img/202208094949-O2-Xbm7463W】
イメージ：マルチモーダル対話応答APIの会話例

　例えば、テキストの言語情報のみを分析する従来のAIでは、言葉の裏にある感情までを読み取ることができず言葉の持つ意味だけをもとに応答します。一方、今回のマルチモーダル対話応答APIを活用した初音ミクのアバターは、言語情報に加えて言葉を発した際の表情や声色をもとに感情分析することで、より高度な対話を可能にします。

(3) 利用方法
チケット販売期間： 2022年7月21日(木)〜2022年9月25日(日)
利用期間：2022年8月12日(金)〜2022年9月30日(金)
「Cafe MIKU」AIトークルーム入場チケット：330円(税込)
詳細は以下公式HPをご確認ください。
DOOR 喫茶「Cafe MIKU」：https://door.ntt/web/cafemiku.html
「初音ミク『マジカルミライ』10th Anniversary in MIKU LAND」：
https://mikuland.com/event/magicalmirai10th


2.AI suiteについて

（1）概要
　AI suiteは、テキスト情報の解析に加えて、音声・映像情報の解析を可能にするマルチモーダル対話APIなどさまざまなAI技術を活用できるAPI群です。NTTレゾナントは、2016年以降、独自の「gooのAI」 (*3) 技術を用いてさまざまなサービスの提供やAI技術の研究開発を進めてきました。自然言語関連のAI技術をベースに、音声・映像関連のAI技術などと連携ができる機能をAPI群として法人向けに提供しています。
またAPIに加え、日本電信電話株式会社が運営するVR空間プラットフォーム「DOOR™」で利用する、自動応答が可能な受付アバター「AIつむぎ」も提供しています。

(2) 今後の展開
　AI suiteは、AIアバターを用いて人の感情や状況を適切に理解したコミュニケーションを実現します。これにより、人とバーチャルの距離をさらに縮めコンテンツビジネスにおける可能性の拡大を支援します。人の感情に寄り添う高度なコミュニケーションを可能にするAIサービスを生み出し、人とAIが共存する社会・経済活動への貢献をめざしていきます。
AI suite公式ページ：https://aisuite.jp



【補足】
(*1)「初音ミク『マジカルミライ』10th Anniversary in MIKU LAND」は、株式会社バーチャルキャストと株式会社Gugenkaが主催する、初音ミク「マジカルミライ」10th Anniversary OSAKA・TOKYOと併催のメタバース会場です。開催日程は2022年8月12日～8月14日/9月2日～9月4日です。

(*2)「教えて!gooのAIオシエル」(2016年)や「OCNサポートチャットボット」、「AI菜奈ちゃん」を始めとしたTVドラマ連動型AIチャットボット(2017年～2019年)などのサービス提供や、婚活のマッチングシステムの開発支援(2021年)をしてきました。また、2020年には研究開発の成果として、人工知能分野における国際会議「AAAI(Association for the Advancement of Artificial Intelligence)」や「IJCAI(International Joint Conference on Artificial Intelligence)」に採録された実績があります。

(*3) 「gooのAI」は、ポータルサイト「goo」を通じて蓄積したインターネットに関わる技術やノウハウと、NTTグループのAI関連技術を活用し、NTTレゾナントが独自に開発した技術です。自然言語解析技術やディープラーニングを活用することで、高精度の文脈理解やパーソナライズ、表記ゆれへの対応など、さまざまな機能を実現しています。



※ 記載されている会社名、サービス名および商品名は、各社の登録商標または商標です。



以上