自動化への過信：AIの出力を人が確かめる仕組みの作り方
公開日
機械が出した答えを、人は確かめにくくなる
自動化バイアス（過信）は、機械の提案や判断を、本来より信じすぎてしまう傾向です。間違っていても気づきにくくなり、人が確認する役割を担っていても、確認が形だけになります。AIの出力を仕事に使うなら、この傾向を前提に確認の仕組みを作る必要があります。
研究が示したこと
人と自動化の関係は、航空や製造の現場を対象に長く研究されてきました。ラジャ・パラスラマンとヴィクター・ライリーが1997年に発表した論文『Humans and Automation: Use, Misuse, Disuse, Abuse』は、自動化の使われ方を整理した古典です。自動化に頼りすぎる「誤用（misuse）」と、信頼できるのに使わない「不使用（disuse）」の両方が起こる、と述べています。
また、キャスリーン・モジアとリンダ・スキトカらの研究（1990年代）は、パイロットなどを対象に、自動化の支援が間違っているのに従ってしまう誤りを調べました。パラスラマンとディートリヒ・マンゼイは2010年に、これらの研究をまとめ、注意が他の作業に向いているときに過信が強まりやすいと整理しています。
この分野の研究は、航空機のような特殊な環境が中心です。AIの文章作成や要約のような仕事でも、同じ傾向が同じ強さで出るとは限りません。ただ、人が「機械は正しいだろう」と考える傾向は、場面を問わず注意しておく価値があります。
確認が形だけになる理由
AIの出力は、文章として自然で、自信がありそうに見えます。そのため、間違いが紛れていても、読み流してしまいやすくなります。しかも、正しい出力が続くほど、確認の注意は薄れます。
確認の仕組みがない状態で「よく見てから使う」と決意するだけでは、続きません。
確認の仕組みを作る
次のような工夫が考えられます。
- 確認する点を、あらかじめ項目にする。数字、固有名詞、日付、引用元の4点だけでもよい
- 事実の主張には、根拠の出典を出させ、その出典を実際に開いて確かめる
- 重要度の高い出力は、全件を確認し、低いものは抜き取りで確認する
- 作る側と確認する側を分ける。可能なら、自分で作った指示の結果を、翌日に読み直す
- 確認で見つかった間違いを記録し、どの種類の誤りが多いかを知る
最後の記録は特に役立ちます。間違いの傾向が分かると、指示文に書く禁止事項や、重点的に見る箇所が決まります。
任せる範囲を決める
間違いが出たときの影響の大きさで、確認の深さを変えます。社内メモの下書きと、お客様に送る見積書、契約に関わる文面では、必要な確認が違います。影響が大きい作業は、AIには下書きだけを任せ、最終判断は人が行います。法律や税金に関わる内容は、専門家に確認してください。
確認を続けるための小さな工夫
確認の仕組みは、手間が大きいと続きません。次のような軽い工夫が役立ちます。
- 確認の項目をチェックリストにして、出力のたびに印をつける
- 確認した人と日付を、ファイルの名前や欄に残す
- 自信がなさそうな箇所は、AIに「確信が持てない部分」を挙げさせ、そこを先に確認する
ただし、AIが示す自信の度合いも、正しさを保証しません。間違いを含む出力にも、迷いのない文面が付くことがあります。
人が「確認者」でいる条件
確認する人が、その分野の知識を持っていることが前提です。自分が答えを知らない分野の出力は、確認のしようがありません。その場合は、専門家に見てもらう、公的な資料や公式の説明に当たる、といった別の確認先を決めておきます。
AIの出力を信じすぎないことと、AIを使わないことは別の話です。確認の手間を差し引いても利益があるかを見て、任せる範囲を決めてください。
最後に、確認の結果をAIへの指示に戻すことも大切です。同じ種類の間違いが続くなら、その点を指示文に明記したり、出力の形を変えたりして、確認しやすい形にします。確認と改善を一つの流れにすると、手間が少しずつ減っていきます。
次にやること
- AIの出力を使っている作業を、すべて書き出す
- 各作業に、間違えたときの影響の大きさを「小・中・大」で付ける
- 「大」の作業に、確認項目（数字・固有名詞・日付・出典）を決める
- 出典を出させ、実際に開いて確かめる手順を1つ試す
- 1か月間、見つかった間違いを記録し、多い種類を指示文の禁止事項に反映する