starthome-logo 無料ゲーム
starthome-logo

マルチモーダル対話型自動運転車の誕生!


名古屋大学は、徳島大学、アイシン精機との共同で音声・視線・ジェスチャを用いて操作する自動運転車を開発した。自動運転車を音声・身振り・視線を用いて自然に操作するシステムであり、自動運転車に象徴される将来の「機械」と、「人間」との協調・共生の在り方を示す一つの形。また、音声操作、ジェスチャ認識、顔画像認識(視線認識、顔向き認識、口動作認識)といった個々の技術それぞれが、高度化した自動車、あるいは情報機器とのインタラクションの手段として有効であることを示す。

 今回の研究は、名古屋大学大学院の武田一哉教授、竹内栄二朗准教授、石黒祥生特任准教授らの研究グループが、徳島大学、アイシン精機、(協力:豊田中央研究所)と共同で、自動運転オープンソースソフトウェアAutowareを利用し、音声認識・顔画像認識・ジェスチャ認識を組み合わせたマルチモーダルインタフェースで自動車を直観的に操作するシステムを開発したもの。これにより、例えば「そこを曲がって」と指をさせば、ドライバーの意図するところで曲がってくれるなど、コミュニケーションをはかりながら操作できる自動運転車が誕生した。今後、ドライバーと自動運転車との新しい人間-機械協奏関係が拓かれていくことが期待できる。




 なお、この研究は、平成28年度から始まった科学技術振興機構『産学共創プラットフォーム共同研究推進プログラム』の支援のもとで行われた。




■ 特徴


・一般ユーザでも自動運転車を操作できるマルチモーダルインタフェースを開発


・ 音声・視線・ジェスチャを用いて「タクシー運転手に指示するように」自動運転車を操作可能


・ 音声認識技術、視線・顔向き・口動作認識技術、ジェスチャ認識技術を結集


・ 将来の「機械-人間」協奏の一つの在り方を示す

どのように「自動運転車を操作する」のか?

 近年、自動運転車の研究開発は急速に進展し、日米で公道において走行実験が行われるようになってきた。2020年の東京オリンピックまでには一部で実用化を目指す動きもある。将来、自動運転が本格的に実用化されるようになれば、日本やアメリカ、アジア各国の交通事情が劇的に改善されうる可能性もある。




 しかし、自動運転のための周囲のセンシングや車の制御などの技術は進展しているものの、実際に一般の人が自動運転車に乗り込み、目的の場所に移動するために、どのように「自動運転車を操作する」のかについての検討は、あまり行われてこなかったのが実情だ。自動運転車が真に社会に浸透し、一般の人が容易に利用できるようにするためには、自動運転車と人とのコミュニケーションが必要になる。すなわち、自動運転車のインタフェースだ。




 この一つの理想形がタクシーではないだろうか。利用客は運転手に行き先を告げ、必要に応じて曲がる場所などを伝え、行き先に来たら停まってもらう、こんなやり取りは、音声による対話を中心に、ジェスチャなどを交えながら交わされる。こんなやり取りを、自動運転車との間でできないか、そんな期待が持たれてきた。

マルチモーダルインタフェースを備えた自動運転車

 研究グループは、音声対話を中心とし、ジェスチャや視線も情報伝達手段として用いることのできる、人対人のコミュニケーションから発想を得た自動運転車用マルチモーダルインタフェースシステムの開発に取り組んだ。このシステムは、人(ユーザ)の音声、ジェスチャ、視線などはそれぞれ音声認識、深度センサ、映像処理を用いて認識する。例えばユーザが「右に曲がって」と発声すれば、ユーザの意図に従って、自動車に右に曲がるように制御を依頼し、実際に自動車は右に曲がる。




 一方、音声とジェスチャや視線を同時に用いる場合、それらの入力は並行して行われるので、ユーザが自動運転車に伝えようとする「意図」はそれらを統して理解する必要がある。例えばある建物を見ながら「あれは何?」と尋ねれば、「あれ」と言っているときにユーザが見ている建物の名称を答えてほしい、という意図がある。このように、各入力手段(モダリティ)の時間的関係も考慮しながら、マルチモーダル理解を行う。そしてその意図に応じて応答したり車に制御する。このように、複数のモダリティを統合的に理解し、実際に自動車の制御まで行いながら応答する、マルチモーダルインタフェースを備えた自動運転車を世界で初めて開発・実現した。

今後の展開

 自動車はカーナビなどを含めて情報化が進んでいるが、今後、自動運転も含めて様々な車載機器の操作を容易に行うための一つの方向性として、こうしたマルチモーダルインタフェースが進展することが考えられる。また、自動運転車に限らず、機械と人間の協調・共生を考えた場合に、マルチモーダルインタフェースは自然で使いやすいインタフェースとして、取り入れられていくと期待される。



    Loading...
    アクセスランキング
    1. AI創作プラットフォーム「PixAI」、最新アニメ生成モデル「Tsubaki.2」を正式公開、創作コンテスト開催とBitSummit Punch出展を発表

    2. 過去最高の23団体が出展!今年もパワーアップして帰ってきた!TOKYO周穫祭2026 11月21日(土)・22日(日)開催

    3. AI動画生成 DomoAI ドモエイアイ トーキングアバター機能強化で音声 感情 会話表現がより人間らしくリアルに マルチボイス 動画素材入力 スクリプト自動分割などアップデート

    4. 同じ痩せ方でも、「ケトン食」が肝臓の健康を最も良くしたと判明

    5. まだ9月なのにインフル流行入り!? ワクチンは“打って終わり”じゃない、研究で分かったワクチンの効果(抗体応答)を左右する生活習慣とは

    6. GoogleがGemini 3発表 マルチモーダル強化で検索と開発基盤に同時展開

    7. AI漫画生成プラットフォーム「MangaNow」がWebtoon制作に正式対応。新画像生成AIモデル「MangaNow Comic 1.0」も公開し、横型・縦型漫画の両方に対応。

    8. HitPaw Edimakor、AIによる【テキストから動画生成】機能を新搭載――構成もAIで自動化

    9. 「ねずみくんのチョッキ」アニメ化決定 津田健次郎・能登麻美子が複数役担当

    10. 竹内順子「サスケが味方。その時期がどれだけ尊いか」激アツ忍者漫画コラボ!新作アニメ『NARUTO-ナルト-×NINKŪ-忍空-』全4話決定PV公開

    1. AI創作プラットフォーム「PixAI」、最新アニメ生成モデル「Tsubaki.2」を正式公開、創作コンテスト開催とBitSummit Punch出展を発表

    2. 過去最高の23団体が出展!今年もパワーアップして帰ってきた!TOKYO周穫祭2026 11月21日(土)・22日(日)開催

    3. GoogleがGemini 3発表 マルチモーダル強化で検索と開発基盤に同時展開

    4. AI動画生成 DomoAI ドモエイアイ Google最新AI Nano Banana Pro Gemini 3 Pro Image に対応し無制限生成が可能に 圧倒的な制作精度向上と効率化でワンストップAI生成

    5. AI動画生成 DomoAI ドモエイアイ トーキングアバター機能強化で音声 感情 会話表現がより人間らしくリアルに マルチボイス 動画素材入力 スクリプト自動分割などアップデート

    6. 【2026年最新】ブラックフライデーはいつ?実施企業まとめ!開催日程・セール内容を一覧でチェック(毎週更新)

    7. 合計で約2,700ブースが出店!好奇心が刺激される特別な2日間 「ヨコハマハンドメイドマルシェ秋」11/21(土)・11/22(日)開催

    8. 竹内順子「サスケが味方。その時期がどれだけ尊いか」激アツ忍者漫画コラボ!新作アニメ『NARUTO-ナルト-×NINKŪ-忍空-』全4話決定PV公開

    9. HitPaw Edimakor 4.6系列アップデート-Klingモーションコントロール&Vidu Q3 Proで AI 動画表現を進化

    10. 同じ痩せ方でも、「ケトン食」が肝臓の健康を最も良くしたと判明

    1. AI動画生成 DomoAI ドモエイアイ Google最新AI Nano Banana Pro Gemini 3 Pro Image に対応し無制限生成が可能に 圧倒的な制作精度向上と効率化でワンストップAI生成

    2. GoogleがGemini 3発表 マルチモーダル強化で検索と開発基盤に同時展開

    3. 竹内順子「サスケが味方。その時期がどれだけ尊いか」激アツ忍者漫画コラボ!新作アニメ『NARUTO-ナルト-×NINKŪ-忍空-』全4話決定PV公開

    4. AI動画生成 DomoAI ドモエイアイ トーキングアバター機能強化で音声 感情 会話表現がより人間らしくリアルに マルチボイス 動画素材入力 スクリプト自動分割などアップデート

    5. HitPaw Edimakor 4.6系列アップデート-Klingモーションコントロール&Vidu Q3 Proで AI 動画表現を進化

    6. 加工NG、ワンタップで即送信! Instagramが放つ新機能『Instants』。スクショ禁止&閲覧後消滅で、令和のSNSは「映え」から「ありのまま」へ完全シフト

    7. AI創作プラットフォーム「PixAI」、最新アニメ生成モデル「Tsubaki.2」を正式公開、創作コンテスト開催とBitSummit Punch出展を発表

    8. まだ9月なのにインフル流行入り!? ワクチンは“打って終わり”じゃない、研究で分かったワクチンの効果(抗体応答)を左右する生活習慣とは

    9. HitPaw Edimakor、AIによる【テキストから動画生成】機能を新搭載――構成もAIで自動化

    10. インフルエンザは冬だけじゃない!異例の早期流行「オフピークインフルエンザ」に備える日常の対策とは

    game_banner
    おすすめ
    1. AI創作プラットフォーム「PixAI」、最新アニメ生成モデル「Tsubaki.2」を正式公開、創作コンテスト開催とBitSummit Punch出展を発表

    2. 過去最高の23団体が出展!今年もパワーアップして帰ってきた!TOKYO周穫祭2026 11月21日(土)・22日(日)開催

    3. AI動画生成 DomoAI ドモエイアイ トーキングアバター機能強化で音声 感情 会話表現がより人間らしくリアルに マルチボイス 動画素材入力 スクリプト自動分割などアップデート

    4. 同じ痩せ方でも、「ケトン食」が肝臓の健康を最も良くしたと判明

    5. まだ9月なのにインフル流行入り!? ワクチンは“打って終わり”じゃない、研究で分かったワクチンの効果(抗体応答)を左右する生活習慣とは

    6. GoogleがGemini 3発表 マルチモーダル強化で検索と開発基盤に同時展開

    7. AI漫画生成プラットフォーム「MangaNow」がWebtoon制作に正式対応。新画像生成AIモデル「MangaNow Comic 1.0」も公開し、横型・縦型漫画の両方に対応。

    8. HitPaw Edimakor、AIによる【テキストから動画生成】機能を新搭載――構成もAIで自動化

    9. 「ねずみくんのチョッキ」アニメ化決定 津田健次郎・能登麻美子が複数役担当

    10. 竹内順子「サスケが味方。その時期がどれだけ尊いか」激アツ忍者漫画コラボ!新作アニメ『NARUTO-ナルト-×NINKŪ-忍空-』全4話決定PV公開

    Starthome

    StartHomeカテゴリー

    Copyright 2026
    ©KINGSOFT JAPAN INC. ALL RIGHTS RESERVED.