OpenAIが「人並みに考えるAIの時代」に入ったと宣言
スマホでニュースを開くと、「AIがまた人間を超えた」という見出しが今日も流れてきます。
そんな中、OpenAIは新しいAIモデル「GPT-6 Astra」の公開に合わせて、私たちはもう「AGI（汎用人工知能）の時代」に入ったと打ち出しました。
AGIとは、AIが人間のように学び、考えられるようになるという、まだ仮説上の段階のことです。
同社のグレッグ・ブロックマン社長は「数年後に振り返って、AGIが本当に生まれたのはいつかと問えば、おそらく今ごろで、このモデルかもしれない」と語っています。
一方で、独立した研究者やテストの作り手たちからは、Astraの記録的な点数は本当の知能ではなく、AIへの指示文を徹底的に作り込んだ結果ではないか、という声が上がっています。
Astraの「満点に近い成績」は、ほかのAIと同じ条件で測っても残るのでしょうか？
AIの成績の測り方そのものについても、米プリンストン大学などの研究者たちが「ベンチマーク(AI用のテスト)は壊れている」と警告する論文を出しています。
研究の詳細は、米プリンストン大学らにより、2025年10月8日付で『arXiv』に公開されました。
目次
- AIの「入試」で99.9%を出したGPT-6 Astra
- 同じ条件で解き直すと、Astraの点数はどうなった？
- AIに「自分で採点」させない試験とは
AIの「入試」で99.9%を出したGPT-6 Astra
AIの実力を比べる時に使われるのが、「ベンチマーク」と呼ばれるAI用のテストです。
OpenAIはさまざまなテストの結果を公開し、Astraはソフトウェア開発から数学、さらには科学研究まで、幅広い分野で最高水準の性能を出したと主張しました。
同社のデータでは、専門分野のテストで前のモデル「GPT-5.6 Sol」やライバル企業のトップモデルより10〜20%高い性能を出したとされています。
中でも目玉になったのが「ARC-AGI-3」というテストです。
これは見たことのない抽象的な世界で、AIがどれだけ効率よく新しい技能を身につけるかを測るために作られました。
Astraはここで、99.9%という見出しになる点数を出しました。
テストを運営する非営利団体ARC Prize財団の検証でも、Astraはテストの96%のレベル(ステージ)で人間の手際の基準を上回り、1レベルあたりの手数は人間より平均51.7%少なかったと報告されています。
財団のグレッグ・カムラット会長も「これまで試した中で最高のモデルというだけでなく、最先端モデルの性能が意味のある一段を上がったことを示している」とコメントしました。
数字だけを見れば、人並みどころか人間より手際のいいAIが現れたようにも見えます。
しかし、この99.9%には、ある「条件」がついていたのです。
同じ条件で解き直すと、Astraの点数はどうなった？
多くの研究者が指摘したのは、ARC-AGI-3の最高点が、OpenAI独自の「Provider Adapter」と呼ばれる仕組みを使って出されていたことです。
これはAIとテストの間に挟む専用のソフトウェアで、いわば足場のようなものです。ライバルの開発者は使えません。
たとえるなら、自分だけ特注の机と文房具を持ち込んで受けた試験のようなものです。
そこで、テストに用意された中立的な標準の仕組みで測ると、点数は62.7%まで下がりました。
99.9%から62.7%へ、約37ポイント落ちた計算になります。
しかもARC Prizeの運営側は、このテストで満点近くを取ってもAGIに達した証明にはならないと強調しています。
テストのパズルは閉じた環境で答えが決まっており、現実の世界の先の読めない複雑さまでは捉えられないからです。
カムラット会長もブログで「ARC-AGI-3を始めた時から、満点近くを取ってもAGIの証明にはならないと明言してきた」「Astraは一般化に向けた意味のある進歩だと考えるが、AGIだと主張しているわけではない」と書いています。
おかしな点は、公式の発表より前からあったと報じられています。
報道によると、発表前に報道機関へ配られた資料ではARC-AGI-3の点数は98.6%でしたが、公開されたサイトでは99.9%に上がっていました。
さらに米スタンフォード大学でAIを研究する博士課程のアンカ・ロイエル氏とマイク・ハーディ氏は、OpenAIが公開後にいくつかの数字を目立たない形で書き換えていた点も問題にしています。
たとえば、AIがもっともらしい嘘をつく割合（ハルシネーション率）は4.2%から2.0%へと半分に書き換えられ、その後また元に戻されていました。
2人はこの数字の揺れを、「ベンチマックス（benchmaxxing）」と呼ばれるやり方のせいだと見ています。
これは指示文や足場、使う計算量を少しずつ変えながらテストを何度もやり直し、理論上の最高点を探し当てる業界のやり方です。
AIに「自分で採点」させない試験とは
こうした点数の出し方に以前から警鐘を鳴らしていたのが、プリンストン大学のゼルイ・チェン氏やルクセンブルク大学のステラ・ヴォーニッヒ博士らによる論文です。
論文は、いまのAIの評価が「無法地帯」になっており、本当の進歩と大げさな主張を見分けるのがとても難しくなっていると指摘しています。
原因として挙げられているのは、テストの問題がAIの学習データに紛れ込むことや、開発者が都合のいい結果だけを報告すること、データの質の管理が甘いことです。
特に公式の技術資料に基本的なやり方が書かれていないと、外の人が確かめることはほぼ不可能になり、混乱と不信を招くと論文は警告しています。
そして肝心なのは、ベンチマックスで出た点数は理想的な実験室での「天井」の性能であって、箱から出してすぐ使った時の頼もしさではないという点です。
論文は、人間の大事な試験とも比べています。
アメリカの大学入試SATや大学院入試GREでは公平さと信頼性を守るために大きな手間がかけられているのに、社会への影響が大きいAIの評価でなぜそれ以下で済ませるのか、というわけです。
そこで研究者たちが提案するのが、「PeerBench」という評価の設計図です。
これはコミュニティが運営する、試験監督つきの仕組みです。AIは封をした(外から手を加えられない)環境で問題を解き、問題は蓄えながら少しずつ入れ替え、中身は時間をおいて公開します。
作り手の善意や礼儀に頼るのではなく、仕組みそのもので小細工が効かない試験を作ろうという発想です。
テストの運営側自身も認めているように、少なくとも今回の点数だけでは、Astraが人並みに考えるAIだとは言い切れません。
次に「AIが人間を超えた」という見出しで99.9%のような数字を見かけたら、それがどんな机と道具で解いた点数なのか、つい確かめたくなるはずです。
思えば学生時代、家の机ではいつも満点が取れる気がしたのに、試験会場ではなぜか実力が出せませんでした。
参考文献
OpenAI claims we've entered the AGI era — has GPT-6 Astra really demonstrated general intelligence? (Live Science)
https://www.livescience.com/technology/artificial-intelligence/openai-claims-weve-entered-the-agi-era-has-gpt-6-astra-really-demonstrated-general-intelligence
元論文
Benchmarking is Broken — Don't Let AI be its Own Judge
https://doi.org/10.48550/arxiv.2510.07575
ライター
天道銀河: 科学、歴史、心理、宇宙、生き物、テクノロジーなど、気になるものにはジャンルを問わず首を突っ込む雑食系ライターです。ひとつの分野を深く極めるというより、さまざまな知識を広く集め、意外なつながりを見つけるのが好きです。専門家ほど深くはなくても、好奇心の広さなら負けません。「こんな世界もあるのか」と思えるような、面白くてわかりやすい話題を届けていきます。
編集者
ナゾロジー 編集部