IT業界人はなぜインタビューでろくろを回すのか？ 手を拘束すると言語化速度が低下することが判明！
「会話中に自然と身振り手振りが出てしまう」ことはあるものです。
実際、インタビュー記事の写真には、著名人が手を動かしながら説明している瞬間が収められています。
こうした写真は、「IT業界の社長はろくろを回す」などとコミカルに表現されることもありました。
大阪公立大学大学院現代システム科学研究科に所属する牧岡 省吾（まきおか しょうご）氏ら研究チームは、手を拘束すると、意味を処理する脳活動と言語化の速度が低下すると報告。
「手の動き」と「言葉の意味を処理すること」には、密接な関連性があったようです。
研究の詳細は、2022年8月8日付の科学誌『Scientific Reports』に掲載されました。
目次
- 記号の概念を理解するには？
- 「言葉の意味を処理すること」と「身体の動き」は強く結びついている
記号の概念を理解するには？
私たち人間は、「言葉」からその意味を悟り、現実世界のさまざまな要素と結び付けます。
例えば、「カップ」という文字列を見ると、私たちはすぐにそれが「飲み物を飲むための容器」だと理解できます。
それだけでなく、カップの「大きさ」「形状」「硬さ」などの概念も理解できています。
加えて、「カップを手で持って口に運ぶ動き」や「カップを落としたら割れてしまう」という関連要素も無意識のうちに思い出していることでしょう。
だからこそ、文字列を見るだけでカップをイメージできますし、実際にカップを使うこともできるのです。
このように、記号を現実世界に結び付けることを「記号接地（記号着地もしくはシンボルグラウディングとも言う）」と言います。
人間は記号接地を難なくこなしていますが、AIに同様の処理を行わせるのは難しいとされています。
スワヒリ語を知らない人にとって、「kikombe」という言葉が単なる記号にすぎず、何もイメージできないのと同じで、AIに「カップ」または「kikombe（和訳：カップ）」という文字列を投げかけても、その概念を理解できないのです。
では、何も知らないAIに記号接地を行わせるにはどうすれば良いでしょうか？
1つのアイデアとして「人間と同様の手順を踏む」というものがあります。
私たちは幼い時に初めて「カップ」という言葉を聞きました。
そして両親に意味を教えてもらい、実物を見て、実際に使ってみました。カップを割ったり、間違った持ち方をしてミルクをこぼしたりすることもあったでしょう。
そうした身体を使った経験が、幼児の脳にカップの概念を理解させ、さまざまな要素と相互に関連付けてきたとも考えられるわけです。
同じようにAIにも身体を与えて経験を積ませるなら、記号接地の問題を解決できるかもしれません。
しかし、そうした研究を行う前に、はっきりさせておくべきことがあります。
「人間にとって身体を使うことは、本当に言葉の意味を処理したり記憶したりするのに役立つのか？」という疑問です。
牧岡氏ら研究チームは、この点に焦点を当てた研究を行いました。
「言葉の意味を処理すること」と「身体の動き」は強く結びついている
牧岡氏らの研究では、手の動きが脳内の意味処理に影響するか調査されました。
実験の参加者には、画面に表示された2つの単語が表す物の大きさを比べ、どちら大きいのか口頭で答えてもらいました。
そして「カップ」「ほうき」のように「手で操作可能な物」が表示されるケースと、「ビル」「街灯」のように「手で操作できない物」が表示されるケースの両方で実験を行いました。
またそれぞれのケースで、「手を机の上に置いて拘束しない条件」と「透明アクリル板で手の動きを拘束する条件」を設けました。
さらに実験中は、機能的近赤外分光分析法（fNIRS）によって脳活動を測定しています。
実験の結果、「手で操作可能な物」に対する脳活動と口頭反応の速さが、手の拘束による有意な影響を受けると分かりました。
手が拘束されると、左脳の頭頂間溝と下頭頂小葉の活動が弱まり、言葉の意味処理が阻害されたのです。
このことから、何かを説明するときについつい体や手が動いてしまうのはしょうがないことだと分かります。
むしろ、身振りや手振りがあるときこそ、その人の脳は盛んに活動していると言えるでしょう。
さらに、手や身体を動かして学ぶことは、言葉や物を記憶し、概念を理解するのに役立つとも言えます。
人間の脳は、身体の動きを含めて言葉の意味を記憶している可能性が高いのです。
このことは、AIの記号接地問題にも役立つことでしょう。
コンピュータに人間のような知能を与えるには、同じく人間のような身体や感覚を与えて学習させることが大切なのかもしれませんね。
参考文献
人工知能の分野でも注目 身体化認知のはたらきと脳内メカニズムを実証 ～手を拘束すると言葉の記憶成績が低下～
https://www.omu.ac.jp/info/research_news/entry-01795.html
元論文
Hand constraint reduces brain activity and affects the speed of verbal responses on semantic tasks
https://www.nature.com/articles/s41598-022-17702-1
ライター
大倉康弘: 得意なジャンルはテクノロジー系。機械構造・生物構造・社会構造など構造を把握するのが好き。科学的で不思議なおもちゃにも目がない。趣味は読書で、読み始めたら朝になってるタイプ。
編集者
ナゾロジー 編集部