資料作りをAIに任せて、画面の「思考中」の文字を眺めながらコーヒーをすする時間は、今やすっかりおなじみの光景です。
いまAI業界では、他社のAIの答えを大量に集めて、安くそっくりなAIを作る「蒸留」という手口が問題になっています。
米国のAI企業AnthropicとOpenAIは、中国のAI開発者がこの手口で自社のモデルをまねていると非難しました。
さらに大手各社は自社の技術を守るため、AIが答えの前に組み立てる「考えの道筋」を暗号にして、外から読めないようにしています。
しかし、その暗号の鍵は本当にしっかりかかっているのでしょうか。
今回、ある研究チームが、この暗号の守りがどこまで効いているのかを大手3社のAIで確かめました。
研究の詳細は、2026年8月10日付で『arXiv』に公開されました。
目次
- AIの世界の「蒸留」とはどんな手口なのか
- 鍵をかけたはずのAIの「考え」は守られていたのか
- 合鍵が開けたのは、AIの考えだけではなかった
AIの世界の「蒸留」とはどんな手口なのか
お酒づくりの蒸留は、発酵させた液を熱して濃い蒸気を集め、冷やして強いお酒にする作業です。
AIの開発者はこの言葉を借りて、大きなAIの中身を小さなAIに煮詰めることを「蒸留」と呼んでいます。
元になる大きなAIは「先生」、新しく作るAIは「生徒」と呼ばれます。
開発者は先生に何千、何万という質問を投げ、その答えを生徒に手本として学ばせます。
答えの一つ一つには先生が学んだことが詰まっているため、生徒はデータ集めや人による評価といった手間を飛ばして、先生に似た力を身につけられるのです。
つまり、AIを使って答えをたくさん眺めるだけで、その中身をまねできてしまうというわけです。
小さなAIを作るための蒸留そのものはまっとうな技術で、2000年代にはすでに研究されていました。
問題になるのは、他社のAIを勝手に蒸留する場合です。
2025年初めには、中国のDeepSeekが30万ドル足らずで作ったとするAI「R1」について、OpenAIのAIから引き出した答えを学習に使ったのではという疑いが持ち上がりました。
DeepSeekなどはこうした非難を退けてきましたし、AnthropicやOpenAI自身も、ネット上のデータを許可なく学習に使ったと批判されたことがあります。
しかも先生のAIは、最後の答えだけでなく、答えごとの確率や、答える前にたどった考えの記録まで渡してしまうことがあります。
そこで大手各社は、この考えの道筋を暗号にした文の塊として利用者側に返し、次の質問のたびにそれを送り返してもらう仕組みをとっています。
中身の読めない封筒を、利用者に預けておくようなものです。
鍵をかけたはずのAIの「考え」は守られていたのか
研究チームが突き止めたのは、この暗号の塊が、同じ会社の中なら別の会話や別の利用者、さらには別のモデルの間でもそのまま使い回せるということでした。
例えるなら、どの部屋のドアにも同じ合鍵が合ってしまうホテルのような状態です。
そこでチームは、性能の高いAIが出した暗号の塊を、同じ会社の性能が低く守りも弱いAIに差し込みました。
すると弱いAIはその塊を解読し、考えの道筋を一字一句そのまま普通の文で書き出してしまったのです。
高性能なAIそのものを一度もだますことなく、隠されていたはずの思考を取り出せたことになります。
チームはこの手口で蒸留を防ぐ仕組みをすり抜け、各社が独自に持つAIの推論を引き出せることを、Anthropic、OpenAI、Googleの3社で示しました。
実際にOpenAIも、蒸留をたくらむ者が「ある会話から暗号化された推論をコピーし、別の会話のモデルに解読させよう」としたと説明しています。
ドイツのマックス・プランク知能システム研究所の博士課程に在籍するアレクサンダー・パンフィロフ氏は、この種の攻撃を詳しく報告した査読前論文の共同筆頭著者で、OpenAIは彼らの指摘でこの攻撃に気づいたとしています。
このとき狙われたのは、AIがどう考えるか、つまり長い答えの組み立て方そのものの蒸留でした。
パンフィロフ氏は「プロンプトへの答えとして出てくる文章が、ライバル企業に盗まれています。ですが概念のレベルで言えば、盗まれているのは能力なのです」と話します。
合鍵が開けたのは、AIの考えだけではなかった
この弱点が招くのは、蒸留だけではありません。
研究チームによると、開発者は暗号の塊の中身を知らないまま、AIとのやり取りの記録をネットに公開していることがよくあります。
チームが公開の保管場所から集めた31万5320個の推論の塊を解読したところ、個人を特定できる情報が367件、ログインなどに使う認証情報が182件見つかりました。
公開した本人も気づかない秘密が、読めないはずの封筒の中に眠っていたのです。
さらに、AIが悪意ある頼みを最後の答えではきちんと断っていても、その手前の考えの道筋には危険な情報が含まれている場合があることも分かりました。
4つ目の危険は、悪意ある指示を暗号の塊の中に丸ごと隠し、公開されているAIエージェント(人に代わって作業をこなすAI)のやり取りに、外から見えない形で紛れ込ませられることです。
チームは責任ある開示の手続きを踏んだうえで、暗号の仕組みとシステムの両面から具体的な対策を提案しています。
論文の題が言うとおり、「暗号にすること」と「読む許可を与えること」は別物だったのです。
次にAIの画面で「考えています」の表示を見かけたら、その裏の考えは鍵のかかった金庫ではなく、同じ会社の性能が低く守りも弱いAIに渡せば読み上げられてしまう封筒かもしれないと思い出してください。
どうやら秘密を守るコツは、日記に鍵をかけることより、口の軽い弟分に日記を渡さないことのようです。
参考文献
What is AI model distillation, and why is it so hard to stop? (Scientific American)
https://www.scientificamerican.com/article/what-is-ai-model-distillation-and-why-is-it-so-hard-to-stop/
元論文
Encryption Is Not Authorization: Session-Bound Reasoning Trace Certification as the Correct Security Primitive for Chain-of-Thought Governance
https://doi.org/10.48550/arxiv.2608.09867
ライター
天道銀河: 科学、歴史、心理、宇宙、生き物、テクノロジーなど、気になるものにはジャンルを問わず首を突っ込む雑食系ライターです。ひとつの分野を深く極めるというより、さまざまな知識を広く集め、意外なつながりを見つけるのが好きです。専門家ほど深くはなくても、好奇心の広さなら負けません。「こんな世界もあるのか」と思えるような、面白くてわかりやすい話題を届けていきます。
編集者
ナゾロジー 編集部
