← 一覧へ戻る

AIのもっともらしい誤りはなぜ起きるか:出力を確かめる手順

公開日

AIは「正しいこと」ではなく「ありそうな文章」を作っている

生成AIが事実と違う内容を、自然で自信のある文章で書いてしまう現象は、一般にハルシネーション(幻覚)と呼ばれます。起きる主な理由は、文章生成AIが「事実を調べて答える」仕組みではなく、これまでの文脈に続く言葉として、もっともらしいものを選んでいく仕組みだからです。そのため、事実として正しいかどうかと、文章としてありそうかどうかが、ずれることがあります。

仕事で使うなら、誤りは時々起きるものと前提にして、確かめる手順を先に決めておくのが現実的です。

誤りが出やすい場面

誤りは、どの質問でも同じ確率で出るわけではありません。出やすい場面には傾向があります。

  • 具体的な数字、日付、金額、統計
  • 人名、会社名、書名、論文名、URLなど固有のもの
  • 法律の条文や制度の細かい条件
  • 学習した情報が少ない、ニッチな話題
  • 学習後に起きた出来事や、更新された情報
  • 質問の前提が誤っているとき(誤った前提を受け入れて答えが続く)

特に、存在しない書名や論文、実在しないURLを、本物らしい形で挙げることがあります。見た目が整っているので、読み手が気づきにくい点が厄介です。

出力を確かめる4つの手順

1. 確かめる対象を絞る

全文を疑うと終わりません。文章のなかから、事実として主張している部分だけを拾います。数字、固有名詞、日付、「〜と定められている」「〜という調査がある」のような断定です。感想や言い換えの部分は、後回しでかまいません。

2. 一次情報にあたる

拾った主張を、元の情報源で探します。法律なら官公庁の公開ページ、統計なら発表元、商品の仕様なら提供元の公式ページです。AIに「それは本当ですか」と聞き返しても、同じ誤りを繰り返す場合があります。確認は、AIの外で行います。

3. 出典を求めて、実在を確かめる

AIに出典を挙げさせる方法はありますが、挙げられた出典そのものが作り話の場合があります。出典が出たら、検索して実在するか、書かれている内容と一致するかを自分の目で見ます。見つからない出典は、使いません。

4. 資料を渡して答えさせる

AI自身の記憶に頼らず、確かな資料を渡して「この資料に書いてあることだけで答えて。書いていなければ、書いていないと答えて」と指示する方法があります。誤りは減りますが、なくなるわけではないため、元の資料との照合は続けます。

確かめる強さは、影響の大きさで決める

すべてを同じ強さで確認する必要はありません。誤りが出たときの影響で段階を分けます。

  • 社内メモや下書きの言い換え:読んで違和感がないかを見る程度
  • お客様に送る文章:金額、日付、約束の内容を元の資料と照合する
  • 契約、税金、医療、法律に関わる内容:AIの出力を判断材料にせず、専門家に確認する

お客様向けの文章を人の確認なしで送る仕組みは、誤りが外に出る経路になります。最初は、毎回人が一度見てから送る形で運用を始めます。

誤りが見つかったときの扱い

誤りを見つけたら、直すだけで終わらせず、記録します。どんな質問で、どんな種類の誤りが出たかを残すと、確認すべき箇所の傾向がつかめます。同じ種類の誤りが続くなら、指示文に「不確かなことは不確かと書く」「数字は資料にあるものだけを使う」と書き足します。

AIに「確かな部分」と「推測の部分」を分けて書かせる方法もあります。その自己申告は証拠にはなりませんが、どの文から確認すればよいかの目安になります。自信ありげな口調は文体であって、正しさの証明ではありません。

チェックの手間が気になる場合は、確認項目を短い表にして、AIの下書きと一緒に保管します。誰が見ても同じ観点で確認できるので、担当者が変わっても品質が保てます。確認にかかった時間も記録しておくと、AIで減らせた時間と、確認に使う時間を比べられます。

複数のAIに同じ質問をして答えを比べる方法もあります。答えが食い違えば、どちらかが誤っている印です。ただし、一致しても正しいとは限らないため、確認の代わりにはなりません。

次にやること

  1. 今AIに任せている作業を書き出し、誤りが出た場合の影響を「小・中・大」に分ける
  2. 「大」の作業は、AIの出力を使うかどうかを見直し、専門家に確認する場面を決める
  3. 「中」の作業は、数字・日付・固有名詞を元の資料と照合する手順を、チェック項目として書く
  4. AIが挙げた出典は、検索して実在を確かめてから使うと決める
  5. 見つけた誤りを、日付と質問内容と一緒にメモに残す