新しいAIモデル、「Phi-2」が発表！独自の特徴は？
公式サイト(https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/)から引用
12月12日、Microsoft社は新しいAIモデル、「Phi-2」を発表しました。「SLM」と呼ばれる小規模言語モデルで、データ容量が少ないながら高い精度を誇るAIモデルです。
言語モデルAIの世界では、以前から言語モデルのスケーリング則（Scaling Laws for Neural Language Models）という法則が提唱されていました。2020年にOpenAI社が発表した法則です。
この法則は、基となるデータが巨大であるほど、回答が正確になるというものです。パラメータや計算量が多かったり、データ源が大きかったりすると、それだけ間違った回答をする可能性が減るのです。
この法則に従って、大量のデータを内蔵したAI、大規模言語モデル(LLM)がいくつか制作され、その正確性から多くの人を驚かせてきました。ChatGPTに使われているGPT-3やGPT-4は、そうしたLLMの一つです。
一方で、こうした大規模なモデルには制約がありました。多くのデータを貯蔵する巨大なデータセンターを作る必要があるほか、コストも莫大という課題があるのです。ChatGPTもオンラインのみの提供になっている通り、個人や小規模の団体が、LLMを所有することは難しかったのです。こうした背景から、小規模かつ高性能なAIモデルが必要とされてきました。
今回発表された「Phi-2」は、その要求に応えうるモデルです。Microsoft社が開発してきた小規模言語モデル、「Phi」シリーズの後継で、小規模ながら高い精度を誇っています。
Microsoftがこだわったポイントは？
「Phi-2」を開発するにおいて、Microsoft社がこだわった点が二点あります。１つ目は、AIが回答する基となるデータの質。もう１つが、前世代の「Phi-1.5」に、必要なデータを追加したうえで容量を抑えることです。
Microsoft社は言語モデルを作成する際、基となるデータの質にこだわっています。「Phi-2」では、「教科書に載せられるレベル」の質のデータが使用されました。また、「Phi-1.5」からデータを引き継ぎつつ、正確性のためにデータが追加されており、パラメータが13億から27億に増えています。
「Phi-2」の性能。「Gemini」との性能比較も
「Phi-2」は比較的小規模ながらも高い性能を発揮するようになりました。Microsoftの公式サイトには、他のAIモデルとの性能比較があります。
公式サイト(https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/)から引用
Phi-2が他よりも少ない容量である一方、他のAIと同等か、それよりも高い成績を残していることがわかります。ちなみに「BBH」とはBig-Bench Hardの略で、難易度の高い推論テストのことを指します。
特に、Googleが先日発表した「Gemini Nano」との比較では、「Phi-2」の高いパフォーマンスが示されています。「Gemini Nano」よりサイズが小さい一方で、推論テストやコーディングテストなどの試験で、より高い成績を記録しています。
公式サイト(https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/)から引用
- BoolQとMMLUは文章理解テスト
- MBPPはコーディングテスト
また、「Gemini」は物理の問題を解くことができますが、「Phi-2」も同じ問題を正解できました。回答の中で誤っている部分を指摘し、正答を導き出すことができたのです。
ただ、「Gemini」は、画像や音声など、テキスト以外のデータも処理できるという強みがあります。「Gemini」は手書きの回答用紙を読み取って回答しましたが、「Phi-2」はテキストデータからのみの推論です。「Gemini」は様々な種類のデータを統合して処理できる点が強みで、特長は異なります。
まとめ
Microsoftが公表した、「Phi-2」の情報をまとめました。
先日はGoogleの「Gemini」が発表されて話題となるなか、Microsoftも新しいモデルを発表するなど、AIをめぐる競争はさらに激化しています。
加速していくAIの進化に注目です。
