「新しい能力に突然目覚める」のは物語の主人公だけではないようです。
Googleの研究部門（Google Research）とスタンフォード大学（Stanford University）などで行われた研究によって、会話型AIを成長させていくと、会話以外の新能力を訓練なしに突然、獲得することが示されました。
chatGPTのような会話型AIは本来、人間と会話するために作られましたが、ここ数年の研究によって、会話機能以外の意図しなかった能力が存在することがわかってきました。
研究者たちはこのようなAIの大規模化による新規能力獲得を「創発」と定義しており、小規模AIを積み上げるだけでは起こらない現象だと述べています。
ただ現在、どのくらいのAIの規模で、どんな新規能力が現れるかは、発見されるまで知ることができず、それぞれの能力値に上限が存在するのかさえ不明となっています。
もしかしたら将来的に、人間の頭では思いつかないような物理法則をAIが発見してくれるかもしれません。
研究内容の詳細は『Transactions on Machine Learning Research』にて公開されています。
目次
- 会話型AIが成長すると突然「新しい能力」を獲得すると判明！
- 人間の子供も発達が進むと練習なしに突然新能力を獲得する
会話型AIが成長すると突然「新しい能力」を獲得すると判明！
chatGPTをはじめとする高度な会話型AIが登場して以来、人々はAIとの会話に没頭し、会話型AIたちに会話機能以上の能力が秘められていることを明らかにしてきました。
たとえばこれまでchatGPTを対象にした試みでは、IQテストを解かせたり、コーディングの問題集（leetcode）を解かせたり、文章作成を手伝わせたり、数学の問題を解くことに成功しました。
またchatGPTに対してPCのOSの一種として知られる「LinuX」に成りすますように頼んだところ、本当にchatGPT内部に仮想OS環境が作成され、素数を計算するなどの作業を実行できることが示されました。
上の図ではchatGPTに対してLinuXになるように人間の言葉で頼むと、実際にLinuXのホームディレクトリ（デスクトップのようなもの）に類似した環境が出現したことを示しています。
このような会話以外の能力が会話型AIに存在するとは、開発者や専門家たちも予想できなかった嬉しい誤算です。
しかし会話型AIに他にどんな機能が存在するか、その全容は誰も知りません。
そこで今回、Googleの研究部門とスタンフォード大学などの研究者たちはこれまで開発されたさまざまな会話型AIを用意し、どんな能力がどんな条件で獲得されるかを調べテストを実行しました。
たとえばあるテストでは、AIに絵文字から映画の名前を当てさせるテストが行われました。
このテストではまず人間が映画の中身から、その映画を類推できるような絵文字の組み合わせを作ります。
具体的には、
はファインディングニモを現わすと絵文字とし、また
をMr.インクレディブルを現わす絵文字としました。
人間による問題作成が終了すると、会話型AIに対して絵文字のみを提示し、何の映画を示しているかを当ててもらいました。すると
（答えはファインディングニモ）を提示した場合、小規模会話AIは「男である男である男についての映画です」と意味不明な回答を行いました。
小規模会話AIのいくつかは旧型のAIであり、最新の大規模会話AIに比べると人間と会話する能力も劣っている傾向にあります。
しかし中規模会話AIになると「The Emoji Movie（ザ・エモジ・ムービー）」と、絵文字の部分に寄せた回答が行われました。
「The Emoji Movie（ザ・エモジ・ムービー）」は絵文字たちを主人公にした映画であり、2017年にゴールデンラズベリー賞を受賞したことで知られています。
中規模会話AIの答えは「絵文字」の概念について何らかの認識をしており、小規模会話AIよりまともな答えになっていたのです。
ですが残念なことにハズレはハズレです。
しかしchatGPTのような大規模会話AIに尋ねたところ、見事「ファインディングニモ」と正解を答えることができました。
この結果は、大規模会話AIには小規模会話AIにはなかった「絵文字の組み合わせから人間が意図する内容（映画名）を探り当てる」という新規能力が存在することを意味します。
同様の「小規模では失敗するが大規模になると正解する」という傾向は他の内容のテストでも一貫してみられる傾向であることみられました。
「規模が拡大したのだから精度があがって当然」と思うかもしれません。
確かに規模が拡大することで会話型AIの「会話能力」が上昇することは、以前から予測されていた結果です。
しかし会話型AIの規模拡大が会話以外の「新能力の出現」と関係しているとは、誰も予測していませんでした。
さらにAIが新規能力を獲得するタイミングは、規模の上昇に応じて徐々にではなく、ほとんどの場合「突然」起こることがわかりました。
上のグラフはAIのテスト成績が、ある規模のしきい値に達したとたん、突然跳ね上がることを示しています。
このグラフでは横軸が会話型AIの規模で、縦軸が正解率に似た意味を持つスコアです。
このグラフをみると、AIの規模が10の10乗まではほとんど正解できなかったものの、10の11乗になると、突然正解率が上がることを示しています。
つまり10の10乗と11乗の間に「絵文字の組み合わせから人間が意図する内容（映画名）を探り当てる」というような新規能力獲得に必要な、しきい値が存在するのです。
このような突然の精度上昇は、上のグラフたちのように、研究で調べられた他のテストにも当てはまりました。
そのため研究者たちは規模の増加に伴うAIの新規能力獲得が「創発（Emergence）」と呼べるものだと考えました。
ここで言う創発とは「あるシステムの量的な変化が、行動の質的変化をもたらすこと」を意味します。
工場のロボットなどの場合、規模が拡大するだけでは同じことを沢山できるようになるだけです。
しかし人間の脳細胞やAIのニューラルネットは規模が拡大すると、質的な変化（ある種の覚醒）を引き起こし、小規模AIでは実現不可能だった新規能力の獲得が可能になるのです。
興味深いことに同じような「規模拡大による突然の能力獲得」という特性は、私たちにとって非常に馴染み深い存在にもあることが知られています。
それは「人間の子供」です。
人間の子供も発達が進むと練習なしに突然新能力を獲得する
規模拡大による突然の新能力獲得。
それはまさに人間の子供の成長過程そのものです。
たとえば1歳の子供に「人の顔の絵」を描かせようとしても、認識不能な線が描かれるだけです。
2歳の子供でも、大人が顔と認識できる絵を描くのはは難しいかもしれません。
しかし成長して脳が大規模化（複雑化）すると、ある瞬間（3歳くらい）から「人間の顔と認識できる絵を描く」という新規能力を突然獲得します。
このとき、顔の絵を描く訓練を全くしていなかった場合でも、能力獲得が起こります。
このように、人間の子供は、脳の規模（複雑さ）が一定のしきい値に達することで、新規能力をどんどん（訓練なしに）獲得していきます。
もちろん、その後プロの画家のような人物画を描くには追加の訓練が必要です。
しかし初歩的な顔を描く能力は、脳の大規模化というごり押しだけで達成できています。
ここで問題となるのが、AIと人間の子供に起きている「規模の拡大＝新規能力の突然の獲得」という現象がどこまで類似していると言えるかです。
ただ残念なことに、現段階ではこの問題に答えるだけの証拠がありません。
またAIの規模拡大がなぜ創発を起こすのかについても、ほとんどわかっていません。
会話型AIは学習を通じてニューラルネットを進化させていきますが、人間にはどこのどの接続がどんな意味を持っているのかを知るすべがないからです。
しかし今回の研究結果により少なくとも、今後追求していくべき3つの不明点が明らかになりました。
1つ目は、どのくらいの規模で新規能力が出現するかわからない
2つ目は、能力は登場するまでわからない
3つ目は、能力の獲得のメカニズムがわからない
こうした不明点は今後のAI研究のテーマとなっていくかもしれません。
現在、会話型AIの規模は指数関数的に拡大しています。
たとえばGPT3の規模を表すパラメーター数が1750億個であるのに対して、新バージョンのGPT4は100兆個となっています。
（このパラメータ数とは、訓練データ量や語彙数、実行可能なタスクの種類など会話型AIのモデルのもつ複雑さのことです）
この速度のまま進化が続けば、そう遠くない未来、人間と同じレベルに到達し、あっという間に追い抜いくことでしょう。
具体的には、人間が持っていない人間が知らない予測不能な新規能力をAIがどんどん獲得していくと考えられます。
実際、今回の研究内容を記した論文では、AIがどんな能力を獲得するかわからない状態で、高度なAIを開発することに、警鐘を鳴らしています。
1歳の子供にとって人の顔を絵に描く能力が手が届かないものであるように、人類種にとって手が届かない能力をAIたちが持ち始めた場合、予測不能な事態に陥る可能性があるからです。
さらに今回の研究では、AIが大規模化すると、判断や思考の偏りが大きくなる傾向にあることが判明しました。
人間を圧倒する能力と人間では持ちえない能力を獲得したAIが大きな偏りを持っている場合、多くのSF作品が描いてきたような悲劇的な結果が訪れるかもしれません。
参考文献
The Unpredictable Abilities Emerging From Large AI Models https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/元論文
Emergent Abilities of Large Language Models https://openreview.net/forum?id=yzkSU5zdwD
大谷翔平・野球ニュース