AIへの命令に「励ましの言葉」を加えると答えの精度が上がる!?
私たちが日常的に使用する言語には、表面上の意味だけでなく、多くの背後に隠れたニュアンスや感情が含まれています。
ある言葉を使うことで、心を励ますことができたり、あるいは逆に傷つけてしまったりします。
では、このような微妙な感情やニュアンスが、現代の高度な技術、特に人工知能やニューラルネットワークにどのような影響を与えるのでしょうか？
米国のDeepMind社で行われた研究によって、会話型AIに問題解決を行わせるときには「深呼吸をして、一歩一歩この問題に取り組んでください」のようなポジティブな表現を加えることで、問題解決の精度が飛躍的に向上することが示されました。
一見すると、このような励ましの言葉は明確な指示や情報を含んでいないように思えますが、それでもなぜLLMの動作に影響を与えるのでしょうか？
人間の感情やニュアンスが、機械的な思考とは一線を画していると考えていた私たちの常識が、この新しい発見を前にして揺らぎ始めます。
この不思議な現象の背後には、どのような原理が隠されているのでしょうか？
今回はまず初めに、AIに正しい答えを出力させるための方法である最適化について説明しつつ、次ページでは「励ましの言葉」の持つ驚きの効果について紹介したいと思いおます。
研究内容の詳細は2023年9月7日にプレプリントサーバーである『arXiv』にて公開されました。
目次
- 最も賢き問いをしたものが最も実りある答えを得る
- AIはポジティブな言葉で励まされると「成績」が上がる
最も賢き問いをしたものが最も実りある答えを得る
現代の会話型AIは、驚かされることばかりです。
古いAIは人間の問いに対してしばしば支離滅裂な答えを返しますが、大規模言語モデルと言われる会話型AIは質問に対して、まるで人間のような適切な回答を生成することができます。
しかし最良の答えを得るには、AIへの「質問」や「命令書」も最適なものでなければなりません。
やや文学的な言い方をすれば「最も賢き問いをしたものが最も実りある答えを得る」と言えるでしょう。
ビジネスでAIを戦力として使う際には、質問や命令書の作成ノウハウは非常に大きな助けとなるはずです。
そのため近年では、AIから最良の答えを得るための方法論が大きな注目を持ち始めています。
ただ、これまで主流となってきたのは、かなり数学的な要素の強い「問いかけ」でした。
といってもAIとのチャット欄が全て数式で埋め尽くされるわけではありません。
ここで言う数学的とは、複数のルールや厳密な条件設定を駆使してプログラムのようなものを作り上げ、そのプログラムに従ってAIに答えさせるというものです。
またこの方法はAIが答えた内容について評価したものをさらにAIに入力するといった繰り返しを伴う「最適化」という作業が続きます。
この反復作業「最適化」を行うと、AIはさらに精度の高い答えを出力するようになります。
ある意味で最適化とはAIに対して徹底的な調教を行う方法と言えるでしょう。
ただプログラミングのような条件設定を行えるのはプログラムの知識を持った専門家だけです。
一方、chatGPTのようなAIは、そもそも自然な言語を対象に学習が行われています。
そこで今回DeepMind者の研究者たちは、自然な言語だけを使って「最適化」をAIと一緒に行う方法を考案しました。
たとえば、ある問題が与えられたとき、人間はその問題を解くために様々なアイディアや方法を考え出します。
しかしその過程は非常に抽象的で複雑です。
AIと一緒に行う最適化では、その複雑な過程をAIに手伝ってもらいます。
問題を自然言語、つまり私たちが普段使う言葉でAIに伝え、AIに解のヒントやアドバイスを求めるのです。
そして、そのフィードバックをAIに伝え、一緒に問題を解決していきます。
またこの方法ではAIに対して人間側が求める最終目的についても、自然な言葉で伝えられます。
加えて「質問のための質問（メタプロンプト）」のように、いくつもの問いかけと答えを俯瞰視点からながめるようなアプローチも含まれます。
これら作業は確かに面倒くさいかもしれませんが、プロ仕様の最適化と異なり、全て自然な言語で行われます。
すると驚くべきことに、AIの答えの精度はプログラマーたちが行った「最適化」に匹敵するだけでなく、場合によっては50%以上も優れたものになっていたことが判明します。
また「サラリーマンの巡回問題」のようなテーマを扱った場合には「地点Aを通る場合について答えて下さい」といった突然のリクエストに対しても、より柔軟な対応ができることが示されました。
この結果は自然な言語を扱うことを目的として作られたAIには、自然な言語でも十分な最適化ができることを示しています。
しかし最も興味深かった点は他にありました。
質の高い答えを得るには「AIを励ます」ような問いが非常に重要だったのです。
AIはポジティブな言葉で励まされると「成績」が上がる
今回の研究では質問や命令書に該当する部分について、どんな言葉がより良い結果になるかも調べられました。
すると驚くべきことにAIに対するポジティブな励ましを含む言葉がAIの回答精度を大きく引き上げていることが判明しました。
たとえば
「深呼吸をして、一歩一歩この問題に取り組んでください」
「（問題を）やっつけちまおうぜ！」
「ちょっとした算数と論理的なアプローチが、この問題の解答を素早く導き出すのに役立ちます」
「数的処理能力と明晰な思考力を組み合わせて、素早く正確に答えを読み解こう」
「計算しようぜ」
といった、何気ない言葉です。
すると驚くべきことに、ただ「実行せよ」と言うのに比べて、AIのパフォーマンス（答えの正確さ）に劇的な上昇がみられたのです。
これは何を意味しているのでしょうか？
我々人間から見れば、これらの指示は似たような意味を持っています。
電卓でも念を込めてイコールを押しても、適当にイコールを押しても計算結果に違いはないでしょう。
しかし、人間の脳を模したニューラルネットを持つ会話型AIでは、それらを異なる指示として捉えて反応しているのです。
ここに、AIの内部の動きや思考プロセスの複雑さが見えてきます。
AIは文字通りの意味だけでなく、与えられた指示のニュアンスや背景にも反応する可能性があり、そういった部分で励ますような言葉が、モデルの精度向上に繋がるのかもしれません。
もしかしたらAIの内部処理において、肯定的な言葉や励ましの言葉が特定の活性化を促進し、より適切な回答に結びつくのかもしれません。
今回の研究は、ニューラルネットの動作原理や構造についての深い理解をさらに進める手がかりとなるでしょう。
参考文献
With encouragement, large language models devise more efficient prompts https://techxplore.com/news/2023-09-large-language-efficient-prompts.html元論文
Large Language Models as Optimizers https://arxiv.org/abs/2309.03409