富士通研究所、様々なタスクにおける人の集中度を定量的に推定可能な汎用AIモデルを開発
- 2021年03月01日 12:00:00
- テクノロジー
- JCN Newswire
従来、AIを活用して集中度を定量化するモデルは、e-learningなど特定のタスクを実行している人の表情や振る舞いを学習することにより作成していました。しかし、表情や振る舞いは、従事するタスクや人がそれぞれに育った文化的背景に依存して異なるため、作成したモデルは個別のモデルとならざるを得ず、様々な場面に応じて個別にAIモデルを開発しなければならないことが課題でした。
今回、当社は、表情筋に対応した顔面の各部位の動作単位であるAction Unit(注2)を世界一の精度で検出する独自の技術(注3)を活用して、口元に力が入るなど数秒程度の短期間の変化や、目を凝らして一心不乱に見つめているなど数十秒にわたる長期間の変化をAction Unitごとに最適化された時間単位で捉えることで、集中、非集中状態の違いを、それぞれの文化的背景の影響を受けにくい共通の特徴として抽出することに成功しました。さらに、タスク固有の振る舞いが生じないように設計された探索や記憶を行う課題を、日本に加え、多様な地域の人のデータ収集が可能な米国および中国の延べ650人で実施し、機械学習用のデータセットとして構築することで、特定のタスクに依存しない、汎用的な集中度推定AIモデルを開発しました。この集中状態のデータセットを用いて本モデルの有効性を検証したところ、85%を超える高い精度で集中度を定量的に推定できることを確認しました。
本技術により、コロナ禍でグローバルに利用が拡大するオンラインの授業や営業活動などの各種オンラインサービスにおいて、デジタル化された参加者の集中状態のデータを活用したAIの支援により、オンラインで取り組む人のタスクや業務の効率化、生産性の向上が可能になります。
開発の背景
近年、ニューノーマルな社会において、教育や企業の現場では、授業や会議、営業活動など、様々な場面でのオンライン化が急速かつグローバルに拡大しています。
従来、対面の場では、集中を欠いた生徒への声掛けや、上の空で聞いている相手への話題転換といった、相手の集中力を引き戻すサポートが行われていましたが、オンラインの場では、離れた場所にいる相手の様子を把握することは難しく、これまで行われていた適切なサポートが困難となっています。特に、作業に対する集中度は、パフォーマンスを左右する重要な要素であり、オンラインで取り組むタスクや業務の生産性向上の手段として、集中力の維持と向上を図る適切な支援が行えるよう、集中状態を定量的に推定できるAIモデルの開発が期待されています。
課題
AIで集中度を推定する一般的な方法として、人の表情や振る舞いから予測する方法がありますが、人の表情は、それぞれが育った文化的背景により違いがあると言われており、振る舞いは、e-learningなど特定のタスクに大きく依存します。そのため、この方法では、タスクや対象とする人の文化的背景に特化した学習が行われるため、それらが変わるごとに個別にAIモデルを開発する必要がありました。
また、人が集中してタスクを実行しているときは、顔が強張る、目を凝らすなど顔面の状態に微小な変化が生じます。これらの変化は、人類共通に適用できる概念として提唱されているAction Unitを活用することで、原理的には振る舞いや文化的背景の違いによらず検出できます。しかし、集中時、非集中時の微小な顔面状態の違いをカメラで撮影した顔の動画データから捉えようとすると、例えば、Action Unitの動きで出来たしわと年齢によるしわとの区別が必要になるなど、Action Unit自体の精度の向上が課題となります。
開発した技術
今回、当社は、Action Unitを世界一の精度で検出する独自の技術を活用して、特定のタスクや文化的背景に依存せずに、人の集中度を定量化できるAIモデルを開発しました。
表情筋の動きの強さが異なるペア画像を学習させる方式で、表情筋の相対的な変化を的確に学習させる独自のAction Unit検出技術を活用し、口元に力が入るなど数秒程度の短期間の変化や、目を凝らして一心不乱に見つめているなど数十秒にわたる長期間の変化をAction Unitごとに最適化された時間単位で捉えます。そして、統合的に集中度を推定する新たな方式により、文化的背景に依存しない高精度な集中度推定AIモデルを開発しました(図1)。
さらに、人の集中状態の教師データを収集する際に、タスク固有の振る舞いが生じないように設計された探索や記憶を行う課題などの作業を、日米中の延べ650人で実施した結果をデータセットとして構築し、本データセットを用いて学習させることにより、特定のタスクに依存しない、汎用的な集中度推定AIモデルの作成に成功しました。
本AIモデルにより、e-learningでの集中度やデスクワークへの没入状態、工場の組み立て作業の集中度合いなど、様々なタスクにおける集中、非集中の状態を、0.0(非集中)~1.0(集中度最高)の数値で定量的に示すことができます(図2)。
効果
AIモデルの汎用性を検証するために、日本に加え、多様な地域のデータ収集が可能な米国および中国において、延べ650人の検証用データセットを構築しました。今回開発した集中度を推定するAIモデルを用いて、各国の被験者の集中度を推定したところ、いずれも85%以上の精度で集中度を推定することができました。この結果は、e-learningに対する生徒の集中度合いを定量化する最新の国際学会の結果と比較しても、同等以上の高い精度を実現しており、本方式が文化的背景の違いに対して有効に機能していることを確認しました。
また、開発したAIモデルを、ドライブシミュレーターによる運転の様子を収録した、集中状態と眠気による非集中状態が混在するデータで推定したところ、NEDO眠気指標(注4)に基づいてラベル付けした正解データに対して高い相関を示し、眠気による集中度低下を推定できていることが確認できました。これにより、本AIモデルが学習を行っていない異なるタスクへも適用可能なことを確認しました。
今後
今後、当社は、ニューノーマルな社会においてグローバルに拡大するオンライン授業やオンライン会議、営業活動などの様々なサービスへの本技術の適用拡大に向けて、AI倫理の観点も踏まえて検証をさらに進めるとともに、AI集中度推定モデルの実用化を目指し実証を進めます。
本リリースの詳細は下記をご参照ください。
https://pr.fujitsu.com/jp/news/2021/03/1-1.html
概要: 富士通株式会社
詳細は http://jp.fujitsu.com/ をご覧ください。
Copyright 2021 JCN Newswire. All rights reserved. www.jcnnewswire.com
田中美久はお尻もすごい!ビキニのパンツから美ヒップあらわにファン「超キャワい過ぎる」
大谷翔平、6試合ぶり8号 ロバーツ監督抜き日本生まれ選手の球団最多更新
ドジャース猛攻3連勝 大谷翔平の8号ソロなど11得点、昨夜の延長競り勝ちから一転
「怪物すぎる」大谷翔平の“ドン詰まり弾”にSNSで驚き、大谷は打った瞬間に悔しそうな表情
栃木夫婦遺体損壊事件「サンジャポ」で「首謀者」の見解分かれる「海外?」「反社勢力?」
宮沢りえ、唐十郎さん追悼2ショット「唐さんの作品に出会えた事は、私の、人生の、最高の宝物」
美容整形“総工費”3億円ヴァニラ、またまた白ニットから“ポロリ”
【セブンイレブン感謝祭 お値段そのまま増量フェア】おにぎり・サンドイッチ・チーズケーキなどお得に【2024年5月8日~5月15日】
名前を呼ぶよりも「ごはん」で出てくる 食欲旺盛なちゃっかり猫さん
アーティストの吉村たくみさん死去「突然の出来事にSTAFF一同戸惑いを隠しきれません」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
今田美緒(23)ブレイク前の恥ずかしい映像が流出、けしからんと話題に
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元なでしこタレント、引退の仰天理由明かしスタジオ悲鳴 きっかけはXの投稿だった
水原一平容疑者が胴元側に支払ったお金、カジノを通じ現金化されていた
蟹江敬三さん長男が子役・若山耀人容疑者の逮捕に嘆息「ここまでの転落人生は稀に見る悪例」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
深夜のファミリーマート徘徊、必ず入っている「フエラムネのミニチュアおもちゃ付」を探し求めた結果……
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
群馬県草津町冤罪事件、フリーライターの男に懲役1年の求刑がここまで話題にならない理由
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
田中美久はお尻もすごい!ビキニのパンツから美ヒップあらわにファン「超キャワい過ぎる」
大谷翔平、6試合ぶり8号 ロバーツ監督抜き日本生まれ選手の球団最多更新
「怪物すぎる」大谷翔平の“ドン詰まり弾”にSNSで驚き、大谷は打った瞬間に悔しそうな表情
ドジャース猛攻3連勝 大谷翔平の8号ソロなど11得点、昨夜の延長競り勝ちから一転
アーティストの吉村たくみさん死去「突然の出来事にSTAFF一同戸惑いを隠しきれません」
宮沢りえ、唐十郎さん追悼2ショット「唐さんの作品に出会えた事は、私の、人生の、最高の宝物」
栃木夫婦遺体損壊事件「サンジャポ」で「首謀者」の見解分かれる「海外?」「反社勢力?」
美容整形“総工費”3億円ヴァニラ、またまた白ニットから“ポロリ”
【セブンイレブン感謝祭 お値段そのまま増量フェア】おにぎり・サンドイッチ・チーズケーキなどお得に【2024年5月8日~5月15日】
名前を呼ぶよりも「ごはん」で出てくる 食欲旺盛なちゃっかり猫さん