AIと人間のミスは何が違う？―AIの奇妙なミスに迫る
毎日、誰もが何かしらのミスをしています。
それは些細なものから、重大なものまでさまざまです。
しかし、AIが犯すミスには、人間のそれとは大きな違いがあります。
では、AIが犯す間違いと人間が犯す間違いはどのように異なるのでしょうか。
人間がAIを活用する上で、AIが犯すユニークなミスとはどのように向き合えばいいのでしょうか。
目次
- 人間はミスする前に不安を感じる
- 自信満々に大きなミスを犯すAI
- AIのミスを理解し、対処する
人間はミスする前に不安を感じる
私たち人間は、どんな状況でどんなミスをしやすいかをある程度予測できます。
疲労しているとき、集中力が欠けているとき、あるいは知識が不足しているときなどです。
だからこそ、社会や仕事現場では、これらのミスの対処法が確立されています。
例えば、カジノのディーラーは定期的に交替するようになっていますが、これは彼らが同じ作業を長く続けることでミスを犯しやすくなるからです。
また病院では、手順を定めたり二重チェックしたりするなど、さまざまな決まりが設けられています。
長時間の手術で大事な作業を終えてほっとした時こそ、集中力が切れ、ミスする可能性があります。
だからこそ医療関係者たちは、必ず手術で使用する器具の正確な数をカウントし、体内に残してしまわないようにしています。
また、ミスを犯す人間は、大抵自信満々でミスをするのではなく、事前に「不安」を感じる傾向があります。
例えば、数学の難問に直面した際、自分の知識が不足している場合には「解けない」「知らない」「自信がない」と表明することが一般的です。
この自己認識は、外部からの助けを求めたり、あらかじめミスが生じやすい部分を予測したりするのに役立ちます。
確かに人間のミスには、特定の傾向があり、それゆえにミスを修正したり対策したりすることが可能です。
では、AIのミスはどうでしょうか。
自信満々に大きなミスを犯すAI
AIのミスは、人間のミスとは大きく異なります。
ChatGPTなどの大規模言語モデル（LLM: Large Language Model）は、膨大なデータを学習して非常に広範な知識を持っているように見えますが、人間が絶対にしないような奇妙なミスを犯すことがあります。
その特徴の一つは、ミスが特定のトピックや条件に依存せず、予測が非常に難しいことです。
例えば、AIは高度な微積分の問題を正確に解ける一方で、「キャベツがヤギを食べる」といった荒唐無稽な文章を出力することがあります。
この奇妙な挙動の背景には、AIの知識が人間のように体系的に整理されておらず、断片的であることが挙げられます。
人間の場合、知識は経験や常識によって関連付けられたネットワーク状に構築されています。
しかしAIの知識は膨大なデータを基にした統計的な関連性に依存しています。
そのため、AIは特定の知識領域に限定されずに幅広い問題に対応できますが、文脈や常識に基づかない突飛な回答を出すことがあるのです。
人間の間違いは知識不足によって生じることが多いですが、AIの間違いの原因は知識不足ではありません。
AIにとっては、微積分を間違う確率と「キャベツがヤギを食べる」と言ってしまう確率は同じかもしれないのです。
さらに、AIは自信を持って誤った情報を出力する傾向があります。
このような自信過剰な挙動は、ユーザーがAIの回答を信頼してしまい、間違った結論を引き出すリスクを高めます。
人間であれば、自分の提出した回答に対して、「ちょっと分からない」「自信がない」と付け足すものですが、AIはいつでも自信満々であり、自己認識に欠けています。
加えて、AIは知識の一貫性を保つのが苦手であり、長い文章や複雑な文脈では冒頭や結末の情報を覚えていても、中間部分を忘れることがあります。
このため、複雑なタスクの処理中に矛盾した情報が出力されることがあります。
人間も確かに「過去の自分の発言を忘れる」ことがあるため、そういった点ではAIと似ているかもしれません。
しかしAIの場合は、「ほんの少し前の、もしくは今まさに出力していた言葉との関連を考慮しないことがある」という点で特殊です。
こうして考えていくと、確かにAIのミスと人間のミスは大きく異なります。
だからこそ、人間がこれまで自分たちに当てはめてきた対策が通用しません。
では、私たちがAIを活用していく上で、AIのミスに対してどのように対処できるでしょうか。
AIのミスを理解し、対処する
AIのミスに対処するには、人間が自分たちにそうしたように、AIのミス傾向を理解して対策を講じるべきです。
スタンフォード大学の2022年11月の研究では、AIが犯すミスを予測し、対応するための手法を提示しています。
その1つが、プロンプト（AIへの指示文）の工夫です。
特に「自由回答型の質問形式」を使用すると、AIがより自然な応答を生成するとわかりました。
具体的には、選択肢を限定した形式（例：「TrueかFalseを選べ」）ではなく、「ジョンはどこに行ったのか？」のように、AIに自由に答えさせる質問形式が効果的でした。
さらに「同じ質問を異なる角度で繰り返し尋ねる手法」も効果的でした。
AIに対して異なるプロンプトを与え、それぞれの応答を得た後、それらを比較・評価して最適な結論を導き出すよう誘導するのです。
この手法なら、誤った回答が出力されることを最小限に抑えることができます。
これは、ある医師が複数の医師の意見を統合して最終的な診断を下すことに似ています。
実際に医療分野でAIが使用される場合も、複数の質問が投げかけられるケースがあります。
患者の症状について異なる形式で質問を行い、その回答をAIが統合することで、診断の精度を向上させるのです。
例えば、患者の症状を知りたい場合、あるプロンプトでは「症状の進行状況はどうか」と質問し、別のプロンプトでは「どの治療が最適か」を尋ねるといった具合です。
そして最後に、「患者はどんな症状ですか」と尋ねることで、AIはこれまでの情報を統合し、より精度の高い答えを示してくれます。
ここで得られる回答は、単に「どんな症状ですか」と1回質問する以上の精度であり、AIがミスする可能性が小さくなります。
もし、人間に対して、このような質問を繰り返し尋ねるなら、人間は「なぜ、同じようなことを何度も尋ねるのだ」と煩わしく感じるものです。
しかしAIにはそのような感情はありません。
まさにAIに特化したミス対策なのです。
ちなみに、別の分野の対策としては、「AIのミスを人間のミスに近づける」という手法もあります。
AIのミス傾向を、より人間らしいミス傾向に近づけていくというものであり、この分野でも研究が進められています。
いずれにせよ、現在見られるAIのミスを単なるエラーと見なすべきではありません。
その特性を理解し、適切に対処することで、AIは私たちの生活をより豊かにするツールとなるでしょう。
「キャベツがヤギを食べる」というような奇妙なミスが出力されたときこそ、そのミスに隠されたヒントを探ることで、AIと人間が共存する未来を築いていけるのです。
参考文献
AI Mistakes Are Very Different Than Human Mistakes
https://spectrum.ieee.org/ai-mistakes-schneier
元論文
Ask Me Anything: A simple strategy for prompting language models
https://doi.org/10.48550/arXiv.2210.02441
ライター
大倉康弘: 得意なジャンルはテクノロジー系。機械構造・生物構造・社会構造など構造を把握するのが好き。科学的で不思議なおもちゃにも目がない。趣味は読書で、読み始めたら朝になってるタイプ。
編集者
ナゾロジー 編集部