思考の連鎖プロンプト：研究が示したことと、実務の指示文での使い方
公開日
途中の考え方を書かせると、複雑な問題の正答率が上がる場合がある
思考の連鎖（Chain-of-Thought）プロンプトは、AIへの指示で、答えだけでなく、そこに至る途中の考え方も書かせる手法です。算数の文章題のように、いくつかの段階を踏む問題で、正答率が上がることが研究で報告されました。
ただし、この研究が行われた当時のモデルと、いま使える道具とは違います。研究の結果をそのまま今の使い方に当てはめず、何が示されたかを区別して読む必要があります。
研究が示したこと
ジェイソン・ウェイらは2022年の論文『Chain-of-Thought Prompting Elicits Reasoning in Large Language Models』で、次の方法を試しました。AIに例題を数問見せるとき、答えだけでなく、途中の計算や理由づけを書いた例を見せる、というものです。
結果として、算数の文章題、常識を使う問題、記号を扱う問題で、例に途中の考え方を含めた場合に、答えだけの例を見せた場合より成績が上がりました。算数の文章題の評価では、当時の大きなモデルで、それまでの最高水準を更新したと報告されています。
また、効果は小さいモデルでは目立たず、規模の大きいモデルで現れました。小さいモデルでは、もっともらしいが誤った途中の理由づけを書いてしまうことがあるためです。
同じ年に、Takeshi Kojima らは、例題を見せなくても「ステップごとに考えてみましょう」と一言足すだけで、効果が出る場合があると報告しました。
研究の限界
この研究には注意点があります。
- 評価した問題は、算数や論理のように、正解が一つに決まるものが中心だった
- 当時のモデルは、いまの推論に特化したモデルとは違う
- 書かれた途中の考え方が、モデルの実際の処理を正しく表しているとは限らない、という指摘がある
最後の点は、見やすい理由が書かれていても、それが答えを出した本当の理由とは限らない、という意味です。
実務の指示文での使い方
実務では、次のような場面で役立つことがあります。
- 数字の計算や、複数の条件を満たす案を選ぶとき：「条件ごとに確認してから、結論を書いてください」と指示する
- 判断の根拠を確認したいとき：「結論の前に、根拠を箇条書きで示してください」と指示する
- 手順が多い作業のとき：順に番号をつけて処理させる
逆に、いまは推論を内部で行う機能を備えたモデルも提供されており、そうした道具では、「ステップごとに考えて」と書き足す効果が小さい、または不要な場合があります。使っている道具の仕様を確認し、有無を比べて試してください。
また、文章の言い換えや要約のように、正解が一つに決まらない作業では、途中の考え方を書かせても品質が上がるとは限りません。出力が長くなり、確認の手間が増えるだけの場合もあります。
確認の習慣
途中の考え方を出させる利点は、人が間違いを見つけやすくなる点にもあります。ただし、書かれた理由がもっともらしくても、結果が正しい保証にはなりません。数字や固有名詞は、自分で確認してください。
指示文の書き方の例
実務では、次のような構成が使えます。
- 作業の目的と、使う条件を書く
- 判断に使う基準を、番号をつけて並べる
- 「基準ごとに当てはまるか確認し、その後に結論を書く」と順序を指定する
- 出力の形（表、箇条書き、字数）を指定する
順序を指定する利点は、どの基準で間違えたかが見えることです。結論だけが出た場合は、どこが誤っているのかを探すのに時間がかかります。
自分の作業で試すときの注意
効果の確認は、少数の例で一度試しただけでは、偶然との区別がつきません。同じ種類の作業を複数回、同じ入力で比べてください。比べる基準も、先に決めておきます。「正しく計算できた件数」「修正に要した時間」などです。
研究の結果は、モデルや課題の種類で変わります。他人の成功例をそのまま写すのではなく、自分の作業で効果を確かめることが、最も確実な判断材料になります。
次にやること
- 手順が多く、間違えやすい作業を1つ選ぶ
- 同じ入力で、指示に「根拠を先に書く」の一文を足した場合と足さない場合を、5件ずつ試す
- 結果を比べて、正しさと確認のしやすさを記録する
- 効果がなければ、その作業の指示から一文を外す
- 効果があった作業の指示文を、手順書として保存する