図1：実験協力者の脳活動反応における､各CM間の相関を示したネットワークグラフ (赤丸は実験協力者No.1が視聴した各CM、青線はCM間のグラフ結合を表す) (論文情報2, FIGURE 5)
図2：CMを見た各実験協力者の脳反応のネットワークグラフ上の距離(類似度)をマトリクスで示したもの(数字は各実験協力者) (論文情報2、FIGURE 6を改変)
図3：NICT CiNetで導入しているMRI装置(左)とスキャンした結果から推定した脳の活動状態(右)
図4：特徴選択の手法(a)Impurityと(b)Permutationそれぞれから計算した脳反応モデル推定に対する設問の重要度をプロットした図。高い重要度を持つ設問から低い重要度を持つ設問まで、全体に対する設問数の割合を累積分布(CDF)で表している。(a)では設問の順番上位2割の重要度が高く推定に十分な効果があることを、(b)では上位1割のみが推定に必要であることを示している(着色部)(論文情報1, Fig. 3を改変)
■ポイント
・5から10問程度のアンケート回答から、CMを視聴しているときに生じる脳の反応パターンの個人による差(類似度)を精度高く予想
・論文採択率約10％、2020年のImpact Factor(IF)が13.451のトップクラスジャーナル「IEEE Transactions on Systems, Man, and Cybernetics: Systems」に掲載
画像1: https://www.atpress.ne.jp/releases/268126/LL_img_268126_1.png
図1：実験協力者の脳活動反応における､各CM間の相関を示したネットワークグラフ (赤丸は実験協力者No.1が視聴した各CM、青線はCM間のグラフ結合を表す) (論文情報2, FIGURE 5)
画像2: https://www.atpress.ne.jp/releases/268126/LL_img_268126_2.png
図2：CMを見た各実験協力者の脳反応のネットワークグラフ上の距離(類似度)をマトリクスで示したもの(数字は各実験協力者) (論文情報2、FIGURE 6を改変)
■ターゲットがCMに興味を示すかを、簡単なアンケートで予測
CM(コマーシャル、ここでは特にその映像)が個々の視聴者に与える好感度などを予測できれば、効果的なマーケティングが実現できます。一方でCMに対して視聴者が好感を持ったかなど、どのような影響を与えたかの直接的な効果測定は困難です。
視聴者Aの脳反応と、あるCMに興味を示した視聴者Bの脳反応との類似度が高ければ、AはBと同じCMに同様の興味を示すことが予測できます。
この研究ではその類似度の予測を、5～10問程度の簡単なアンケート※の回答に機械学習を用いることで可能にしました。簡単なアンケートで回答者それぞれの脳反応を予測できるため、モニターなど協力者の負担、さらにはモニタリングコストを大幅に減らすことができます。
※株式会社NTTデータ経営研究所の「人間情報データベース」構築の一環で実施
https://www.nttdata-strategy.com/services/advanced_technology/human_information.html
■比較が困難な脳反応の類似度を、ネットワークグラフ型数理モデルで表現
新熊教授が京都大学在任中の2019年(2021年4月から芝浦工業大学教授)に発表した同研究グループの研究(論文情報2を参照)では、CM映像に対する脳の反応に関して、個人間の類似度を推定する手法を開発しました。
具体的には、複数の実験協力者にCM(15～30秒程度の音声付動画)を視聴してもらい、その時の脳反応指標をNICT CiNet内で fMRI法(functional Magnetic Resonance Imaging)を用いて取得しました※。
※今回実施したfMRI実験は、NICTの倫理委員会の承認を得ており、実験協力者には実験内容を事前説明の上、参加への同意を取っています。
実験協力者それぞれの脳反応モデルを、それぞれのネットワークグラフで表しました(図1)。さらにそれらを実験協力者間で比較し、個々のモデルが似ている度合いを新たにネットワークグラフで表すことで、脳反応の個人間の類似度を推定できるようにしました(図2)。
画像3: https://www.atpress.ne.jp/releases/268126/LL_img_268126_3.png
図3：NICT CiNetで導入しているMRI装置(左)とスキャンした結果から推定した脳の活動状態(右)
■脳反応モデルを推定するために機械学習するアンケート項目を、特徴選択で重要度の高い10問に絞り込み
CMのターゲットとする視聴者層をモニターとして、毎回fMRIでの脳スキャンに協力してもらうことは現実的ではありません。そこで今回発表した研究(論文情報1を参照)では、数問程度のアンケートから回答者それぞれが示す脳反応と前述の実験協力者が示す脳反応の類似度を推定する技術を開発しました。
具体的には、300問ほどの設問項目を含むアンケートから特徴選択※によって、類似度の推定に対する重要度のスコアが高い上位10問の設問を抽出しました(図4)。設問数を減らしながらも、約300問全てを使って推定したときと変わらない程度に、推定精度を高く保つことを可能にしました。
※機械学習の学習時間短縮、予測精度向上を目的に、学習させるデータから予測に関連のある、意味のあるデータ(特徴)を選択すること
これにより、モニター(未知の脳反応)からたった5～10問程度のアンケートの回答を得るだけで、前述の実験協力者(既知の脳反応)との類似度を推定し、一般視聴者のCMに対する脳反応の個人差を精度高く予測できるようになりました。数問のアンケートで脳反応の個人差を推定できるため、モニタリングコストも低く済みます。
fMRIの先行研究の多くは、脳反応から個人の属性の予測を目的とするものでした。一方で本研究は個人の属性(ここではアンケートの回答)から脳反応を予測し、モニタリングコストを削減することを目的としています。研究グループは、機械学習や特徴選択を脳反応や個人の属性と組み合わせる点に新奇性があり、革新的としています。
この成果は工学分野全体でもトップジャーナルの「IEEE Transactions on Systems, Man, and Cybernetics: Systems」 に、7月16日に掲載されました。
画像4: https://www.atpress.ne.jp/releases/268126/LL_img_268126_4.png
図4：特徴選択の手法(a)Impurityと(b)Permutationそれぞれから計算した脳反応モデル推定に対する設問の重要度をプロットした図。高い重要度を持つ設問から低い重要度を持つ設問まで、全体に対する設問数の割合を累積分布(CDF)で表している。(a)では設問の順番上位2割の重要度が高く推定に十分な効果があることを、(b)では上位1割のみが推定に必要であることを示している(着色部)(論文情報1, Fig. 3を改変)
■「IEEE Transactions on Systems, Man, and Cybernetics: Systems」とは
米The IEEE Systems, Man, and Cybernetics Society(IEEE SMCS)が発行する、主にシステム工学分野やCybernetics分野の論文を取り扱う学術誌です。2020年のImpact Factor(IF)は13.451で、人工頭脳学と自動化・制御システムの分野でトップに位置するなど、世界的なジャーナルです。(Journal Citation Reportsから芝浦工業大学調べ)
■研究グループ
・芝浦工業大学 工学部情報工学科
教授 新熊亮一
・国立研究開発法人情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター
主任研究員 西田知史
特別招へい研究員 西本伸志
・株式会社NTTデータ
前田直哉
角将高
■各機関の役割分担
芝浦工業大学※ ：研究開発と技術検証
情報通信研究機構：脳反応データ取得と研究開発支援
NTTデータ ：技術の事業展開
※芝浦工業大学 新熊教授は2021年3月までは京都大学准教授として本研究を実施
■論文情報
1.
●論文名／Reduction of information collection cost for inferring brain model relations from profile information using machine learning
●掲載誌／IEEE Transactions on Systems, Man, and Cybernetics: Systems
DOI： 10.1109/TSMC.2021.3074069
https://ieeexplore.ieee.org/document/9487498
2.
●論文名／Relational network of people constructed on the basis of similarity of brain activities
●掲載誌／IEEE Access, vol. 7, pp. 110 258-110 266, 2019.
https://doi.org/10.1109/ACCESS.2019.2933990
■芝浦工業大学とは
工学部／システム理工学部／デザイン工学部／建築学部／大学院理工学研究科
https://www.shibaura-it.ac.jp/
日本屈指の海外学生派遣数を誇るグローバル教育と、多くの学生が参画する産学連携の研究活動が特長の理工系大学です。東京都とさいたま市に3つのキャンパス(芝浦、豊洲、大宮)、
4学部1研究科を有し、約9千人の学生と約300人の専任教員が所属。創立100周年を迎える2027年にはアジア工科系大学トップ10を目指し、教育・研究・社会貢献に取り組んでいます。
■国立研究開発法人情報通信研究機構とは
https://www.nict.go.jp/
情報通信研究機構(NICT)は、情報通信分野を専門とする我が国唯一の公的研究機関として、豊かで安心・安全な社会の実現や我が国の経済成長の原動力である情報通信技術(ICT)の研究開発を推進するとともに、情報通信事業の振興業務を実施しております。
