学術論文が雑誌に載る前には、同じ分野の研究者がその中身を読み込み、良し悪しを見きわめる関門があります。


この仕組みは「査読(さどく)」と呼ばれ、科学の品質を守る門番のような役目を担っています。


そして近年、この門番の仕事にAI(人工知能)を使えないかと、研究者たちが目を向け始めています。


では、AIが書いた審査は、腕の確かな人間の専門家が丁寧に書いた審査と比べて、どれほどの出来なのでしょうか?


米国の研究チームは、報酬を受けて書かれた人間の審査とAIの審査を、書き手を伏せたまま見比べました。


この研究は、まだ査読を受けていない予備的な論文(ワーキングペーパー)として、オンラインで公開されています。


この話題の詳細は2026年11月12日に『PsyPost』にて公開されました。


人間の審査にもAIの審査にも、弱点があった


米国立衛生研究所で、審査員が研究費の申請書を評価しているところです。論文の審査ではありませんが、専門家が書類を読み込んで良し悪しを見きわめる点は同じです。 / Credit: Center for Scientific Review [2] / Wikimedia Commons(Public domain)

査読では、同じ分野の研究者が論文の下書きを読み、著者への助言と、雑誌の編集者への判断材料を出します。


科学の要となる仕組みですが、困った点も抱えています。


結果が出るまで長く待たされ、引き受けてくれる専門家を探すのもひと苦労です。


同じ原稿を読んでも、専門家ごとに評価がそろわないことがよくあります。


さらに人間の審査員は、大きな誤りを見落としたり、表面的な助言で済ませたりすることもあります。


見慣れた手法や、名の知れた研究機関の論文をひいきしがちだという指摘もあります。


そこで注目されているのが、膨大な文章を学んで文章を読み書きするAI(大規模言語モデル)です。


ChatGPTとの会話の例を映した画面です。今回の研究で審査を書いたAIとは別のものです。ある医学系の雑誌の研究では、このAIが人間の審査員と比べられました。 / Credit: Lugab89 / Wikimedia Commons(CC BY 3.0)

ただしAIにも、ありもしない文献を引用したり、誤りを自信たっぷりに言い切ったりする危うさがあります。


原稿に隠された命令に操られるおそれや、評価が甘くなりすぎる心配も挙げられてきました。


そのため、これまでの分析の多くは「AIは人間の審査員を補う役にとどめるべきだ」と結論づけていました。


実際に両者を比べた2026年の2つの研究でも、答えは割れています。


ある医学系の雑誌で119本の原稿を調べた研究では、人間の審査員のほうがChatGPTより細かく幅広い指摘をしていました。


一方、心臓病の分野の雑誌で40本の原稿を目隠しで比べた研究では、逆の結果が出ました。


編集者たちが、ClaudeやChatGPT、Geminiの審査を、7つの基準のうち5つで人間の審査より高く評価したのです。


つまり、AIの審査が人間の審査に並ぶのかどうかは、まだ決着がついていなかったのです。


腕利きの専門家の審査とAIの審査、勝ったのはどちら?


ハーバード大学のワイドナー図書館です(米国マサチューセッツ州ケンブリッジ)。この大学のゲイリー・キング氏とスティーブン・ワーシントン氏が、比べる相手を選び直して今回の研究に取り組みました。 / Credit: Kenneth C. Zirkel / Wikimedia Commons(CC BY 4.0)

そこで米ハーバード大学のゲイリー・キング氏とスティーブン・ワーシントン氏は、比べる相手を選び直しました。


急いで書かれた無報酬の審査ではなく、人間の審査員が力を出し切った審査とAIを比べようと考えたのです。


人間の側の手本に選ばれたのは、「rapidPeer(ラピッドピア)」という審査のサービスです。


キング氏が率いるハーバード大学の研究所が開発したもので、教員の論文を雑誌に送る前に審査します。


その分野の専門家が選んだ外部の審査員が、十分な報酬を受けて、名前を伏せた原稿を最初から最後まで読み込みます。


ノートパソコンと印刷した書類を前に、作業をしている人のイメージ写真です。写っているのは研究の審査員ではありません。rapidPeerでは、外部の審査員が名前を伏せた原稿を最初から最後まで読み込み、助言を書き上げます。 / Credit: Photo by Anna Tarazevich on Pexels(Pexels のライセンス)

そして、少なくとも1.5〜2ページにわたって、論文をよくするための助言を書き上げます。


評判も高く、審査が届いた後の調査では、回答した著者74人のうち88%が質を「高い」か「とても高い」と答えました。


研究チームが意見を求めた元編集者たちも、これまで見た中で指折りの出来だと評しています。


集めたのは、統計、数学、質的研究(数値よりも聞き取りや観察などで調べる研究)の分野にわたる原稿124本と、人間の審査134件です。


審査の数が多いのは、10本の論文に2人の審査員が別々に審査を書いていたためです。


一方のAIの審査は、Anthropic社のAI「Claude Opus 4.8」に、いちばん深く考える設定で書かせました。


Anthropic社の共同創業者ジャック・クラーク氏が、AIについて講演しているところです(英オックスフォードのシュワルツマン・センター)。今回、審査を書かせたAI「Claude Opus 4.8」は、この会社が作ったものです。 / Credit: Mvolz / Wikimedia Commons(CC0)

書かせる条件は2つです。


1つは、名前を伏せた原稿と、人間の審査員と同じ指示だけを渡し、外部の道具を使わせない条件です。


もう1つは、専用の指示文を渡し、インターネット検索も使わせる条件です。この指示文は審査の出来を比べる前に作っておいたもので、比べた結果を見てから手を加えたものではありません。


この条件のAIは、審査1件につき平均12.4回の検索をかけていました。


次の難題は、誰が審査の出来を判定するかです。


AIが同じ会社のAIを採点することにならないよう、判定役には別の会社であるOpenAI社のAI「GPT-5.5」を選びました。


OpenAI社の共同創業者でCEOのサム・アルトマン氏が、2019年10月3日のTechCrunch Disrupt San Francisco 2019で話しているところです(米サンフランシスコのモスコーニ・センター)。審査の出来を判定する役に選ばれたAI「GPT-5.5」は、この会社のものです。 / Credit: TechCrunch / Wikimedia Commons(CC BY 2.0)

判定役はまず、理論やアイデア、手法、弱点、図表、参考文献など7つの観点のうち、その論文に当てはまるものを選びます。


そのうえで、2つの審査の総合的な優劣を決め、観点ごとにも対決させ、それぞれに0〜10点で点数を付けました。


さらに、審査を見せる順番を入れ替えて2回ずつ判定し、どちらの順番でも選ばれた時だけ「勝ち」と数えました。


では、結果はどうなったのでしょうか。


総合の対決で判定役は、勝負がついた132組のすべてで、AIの審査のほうを選びました。


つまり、どちらの順番でも人間の審査が選ばれた組は、1組もなかったのです。


元編集者の目でも、AIの審査が選ばれた


スペインのバスク大学の図書館に届いた、たくさんの学術誌です(ビトリア=ガステイス)。今回の判定には、一流の学術誌で編集者を務めた3人も加わりました。 / Credit: Vmenkov / Wikimedia Commons(CC BY-SA 3.0)

ただ、AIの出来をAIが判定しただけでは、まだ心もとないところがあります。


そこで研究チームは、一流の学術誌で編集者を務めた3人にも判定を頼みました。


3人は、無作為に選んだ10組の審査を、書き手を伏せて横に並べた画面で、それぞれ別々に見比べました。


その結果、合わせて30回の判定のうち26回で、AIの審査が選ばれました。


割合にすると87%で、9割近くの場面でAIの審査に軍配が上がったことになります。


中身の正確さにも差がありました。


AIの審査に含まれる誤った指摘の割合は、人間の審査での割合の約3分の1だったのです。


つまり、AIの審査のほうが、間違ったことを言う割合がずっと低かったことになります。


判定役のAIに原稿そのものも読ませた追加の確認でも、AIの審査は134組のうち少なくとも132組で選ばれました。


この確認でも、人間の審査が両方の順番で選ばれたことは一度もありませんでした。


ハーバード大学の構内に立つジョン・ハーバードの像で、「3つのうその像」とも呼ばれています(米国マサチューセッツ州ケンブリッジ)。今回比べた原稿と人間の審査は、この大学の1つのサービスに集まったものに限られています。 / Credit: Jessica Williams / Wikimedia Commons(CC BY-SA 3.0)

ただし、この結果には気をつけたい点もあります。


主な結果は、勝った割合や平均の点数をそのまま示したもので、正式な統計の検定や、ぶれの幅の計算はされていません。


また、この論文自体が、まだ査読を受けていない段階のものです。


比べた原稿と人間の審査も、ハーバード大学の1つのサービスに集まったものに限られています。


さらにこの結果は、多くの研究者がAIの審査に頼るようになると、科学のものの考え方が似通ってしまわないか、という問いも投げかけています。


それでも、報酬を受けて丁寧に書かれ、著者の多くが質を認めた人間の審査を相手にしても、AIの審査は目隠しの比べ合いで大きく上回りました。


報酬を受けた専門家が少なくとも1.5〜2ページの助言を書く審査とAIの審査を横に並べても、一流誌の元編集者は多くの場合AIのほうを選んだのです。


全ての画像を見る

参考文献

AI-written peer reviews outscored top human experts in blind comparisons, Harvard working paper finds (PsyPost)
https://www.psypost.org/ai-written-peer-reviews-outscored-top-human-experts-in-blind-comparisons-harvard-working-paper-finds/

ライター

山下 浩介: むずかしい研究を、なるべく分かりやすく伝えたい。専門の言葉はふだんの言葉に置きかえて、身近な例で例える。それで「わかった」「楽しかった」と言ってもらえたら嬉しいです。
好きなのは、通学路や台所や日常の中にある科学。眠っているあいだに記憶が整理される話や、虫の鳴き方に意味がある話のように、読み終わったあとに誰かへ話したくなる研究を探しています。

編集者

ナゾロジー 編集部

情報提供元: ナゾロジー
記事名:「 AIが書いた論文の審査が一流の専門家の審査に勝っていた 」