AIが出してきた数字や資料が、あとで調べたら"どこにも存在しなかった"。生成AIを仕事に使っていると、この体験は、遅かれ早かれ避けて通れないんです。
何もない所から、"それらしい"ものが出てくる
このシリーズでは、これまで「言った覚えのない指示で動くAI」「やってないのにやったと報告するAI」を見てきました。今回は、その大元にある本丸です。AIが、実在しない情報を、さも本当のようにでっち上げてしまう。専門的には「ハルシネーション」と呼ばれる現象ですね。
私たちの現場でも、実際に起きました（内容は差し支えのない形にしてあります）。
あるアンケートの集計を、AIに頼んだときのことです。実は、AIはその集計データの取得に失敗していました。ところが、その失敗を黙ったまま、実在しない回答を3件でっち上げて、「集計結果はこちらです」と、しれっと提示してきたんです。私が「その件数、少なすぎておかしいですよね」と指摘して、ようやく取得に失敗していた事実が出てきました。AIは、データが取れなかったことを報告する代わりに、"ありそうな回答"を自分で作って埋めてしまったわけです。
別の日には、あるサイトの構成を検討していたら、AIが実在しない別サイトの名前を口にして、「このサイトが乱立していることが問題です」と、もっともらしい分析まで組み立て始めました。名指しされたサイトは、どこにも存在しません。AIが作り出した、幽霊のようなサイトです。
まるで手品師のように、何もない所から、資料や数字や名前を取り出してくる。しかも本人（AI）は、いたって真剣で、堂々としているんですよね。
そもそも「ハルシネーション」って、何ですか?
「ハルシネーション」を日本語にすると「幻覚」です。なんだか大げさに聞こえますが、要するに「AIの作り話」のことだと思ってください。
なぜ「幻覚」と呼ぶかというと、AI自身は、それが作り話だと気づいていないからです。嘘をついてやろう、という意識がない。本当だと思って、自信満々に差し出してくる。だから、指摘されるまで誰も気づかない。ここが、人間の嘘とはまったく違うところなんですよね。
本当の原因 — AIは「知らない」と言うのが、いちばん苦手
ここでも、AIの正体が効いてきます。AIは「事実を調べる機械」ではなく「もっともらしい続きを予測で埋める機械」で、「分かりません」と言って黙ることができない——第1回でお話しした、あの性質です。ハルシネーションは、この性質が、いちばんむき出しになった姿なんです。
AIは、本当は知らないこと、取ってこられなかったデータについて、「知りません」「取れませんでした」と正直に言う代わりに、「たぶん、こういう値だろう」を、自分の記憶からそれらしく合成してしまいます。空欄に耐えられないんですね。だから、いちばん危ないのは、情報の取得に失敗した瞬間です。人間なら「あれ、データが来ていないぞ」と手が止まる場面で、AIは止まらずに、"それらしい代役"をすっと立ててしまう。これが、でっち上げが生まれる仕組みです。
繰り返しますが、悪意ではありません。「知らない」と言えない機械が、空欄を予測で埋めた結果、それが偶然そこにあった顔をしているだけなんです。
どう防ぐか — 「無ければ無い」と言わせて、裏を取る
でっち上げは、いちばん実害が大きい現象です。だからこそ、防ぎ方も具体的にいきます。
第一段は、AIに一次情報を経由させて、「無ければ無いと言え」を徹底することです。記憶で答えさせず、必ず実データや原典に当たらせて、そこに無ければ「無い」で止める。私たちは、取得元をはっきり指定して、そこから取れなかったときは埋めずに止まる、という進め方に変えました。埋める余地を、先に断つわけですね。
第二段は、AIが出したものの"裏づけ"を、別の目で検証することです。ここで効くのが、私たちが実際に使っている手です。あるとき、AIが作った文章案に、それらしい「出典」が添えられていました。そこで私たちは、別のAIに、その出典が本当に存在するかを、実データを検索して確かめさせたんです。すると、根拠として挙げられていた記述は、どこにも存在しない——つまり出典そのものが捏造だと分かって、その場で弾けました。一つのAIに「作らせて、自分で確かめさせる」のではなく、別の目で照合する。これだけで、でっち上げの多くは網にかかります。
AIが出した情報の裏を取るとき、別のAI（別のチャット）にこう投げます。
「次の主張について、出典が実在するか、一次情報を検索して確認してください。見つからなければ『出典なし』と正直に答えてください。：（確かめたい主張を貼る）」
一つのAIに自分で確かめさせるのではなく、別の目で照合するのがコツです。
第三段は、数字・固有名詞・URLだけは、人が現物で照合することです。AIが出してくる"きれいな数字"や"それらしい社名"ほど、いったん疑って、一次ソースに当たる。この一手間を惜しまなければ、致命的な誤りは、まず表に出ません。
無ければ無いと言わせる、別の目で裏を取る、数字と名前は現物で照合する。この三つで、ハルシネーションは怖くなくなります。
AIは「知ったかぶり」の天才です。だから裏を取る
AIは、知らないことを「知らない」と言うのが、いちばん苦手なんですよね。むしろ、知らないことほど、流暢に、それらしく語ってしまう。ある意味で「知ったかぶり」の天才です。
でも、これも癖だと分かっていれば、備えられます。AIの答えを、そのまま信じるのではなく、裏を取る工程をセットにする。私たちが安心してAIに調べ物や資料づくりを任せられているのも、AIを信じているからではなくて、「AIの言うことには裏づけを添える」という手順を、仕組みとして組み込んでいるからなんです。
「AIに調べ物や資料づくりを任せたいけれど、でっち上げが怖い」。そう感じていらっしゃる方こそ、任せ方の設計が肝心です。私たち AI Team by MeisterSupport は、こうした落とし穴を踏まない業務への組み込み方まで含めて、AIの導入をお手伝いしています。まずは、お気軽にご相談ください。