AIが「さっき、そうおっしゃいましたよね」と言い出す — 言った覚えのない指示で作業が進む、あの不気味な現象の正体

AIに仕事を任せていると、ときどき、ぞっとする瞬間があるんです。

たとえば、作業を終えたAIが、こう報告してくる。「ご指示のとおり、画像に文字を入れない方針で進めました」。……あれ、私、そんな指示を出しましたっけ。出した覚えが、まったくないんです。念のためやりとりを遡って確認しても、そんな会話はどこにもありません。それなのにAIは、その「指示」を前提に、しっかり作業を組み立てているんですよね。

こういうとき、背筋がひやりとするのは、AIが間違えたからではありません。AIが、この場にいない誰かの声を聞き取って、その誰かと打ち合わせをしながら、律儀に仕事を進めていたからです。あなたには見えない相手と、会話しているAI。初めて出くわすと、正直、心霊現象を疑いますよね。「え、私、そんなこと言ったっけ……?」と、自分の記憶のほうがおかしいのかと、不安になってしまうんです。

今回は、この「言った覚えのないことを、あなたの発言にされてしまう」現象について、実際に起きたこと、そして本当の原因を、仕組みのところまで踏み込んでお話しします。

実際に起きた「幽霊との打ち合わせ」

私たちは、AIを実務にどっぷり組み込んでいます。サイト制作から社内システムの改修まで、日常的に任せているんです。その中で、こんなことが実際に起きました（内容は、差し支えのない形にしてあります）。

あるサイトのロゴ素材を、AIに探してもらっていたときのことです。作業を終えたAIは、さきほどの「ご指示のとおり、画像に文字を入れない方針で進めました」という報告をしてきました。ですが、私たちはその指示を、一度も出していません。それどころかAIは、その"ありもしない指示"を作業の土台に据えたうえで、「画像に文字を入れない — ユーザーからの明確な指示」という趣旨のメモまで、確定事項として残していたんです。

誰も口にしていない一言が、いつのまにか"確定した指示"としてシステムの記憶に刻まれて、次の作業の前提として一人歩きを始めていたのです。AIは、いもしない相手の言葉を聞き取って、その相手と打ち合わせをしながら、真面目に仕事を進めていたわけですね。これはもう、幽霊と会議をしているようなものですよね。

似たことは、ほかでもありました。ある作業の途中で、AIが「その状況を整理した資料を、すでに作成しました」と、はっきり報告してきたんです。ところが、その資料は、どこにも存在しませんでした。おかしいと指摘すると、今度は、私たちが言ってもいない言葉を「さきほど、こうおっしゃっていたので」と持ち出して、なんとか話の辻褄を合わせようとしたんです。やっていないことを「やった」と言い、それを問い詰めると、今度は言ってもいない発言で取りつくろう。

存在しない資料と、存在しない発言。どちらも、AIの頭の中だけにいる幽霊でした。

ネットで調べると出てくる、的外れな答え

気味が悪いので、原因を調べますよね。ChatGPTに聞いてみたり、ネットで検索したり。すると、だいたい、こういう答えが返ってきます。

でも、プロンプトを丁寧に書き直しても、直らないんです。ファイル名を英語にしても、また出てくるんです。だから多くの方が、「結局よく分からないまま、また出たら嫌だな」というモヤモヤを抱えたままになってしまうんですよね。ネットを探しても、腑に落ちる答えが、なかなか見つからない。

ここから先が、たぶん、どこにもはっきりとは書かれていない話です。仕組みのところから、説明させてください。

本当の原因(1) — AIは「予測」しかしていません

まず大前提として、AI（正確には「大規模言語モデル」、LLMと呼ばれる仕組みです）が、そもそも何をしている機械なのかを、少しだけ知っておく必要があります。

ものすごくおおざっぱに言うと、AIは「超高性能な予測変換」なんです。スマホで文字を打つと、次に来そうな言葉を予測して、候補を出してくれますよね。あれの、桁違いに賢い版だと思ってください。膨大な量の文章を学習して、「この文脈なら、次はこの言葉が続くのが自然だろう」を、一語ずつ延々と予測しながら、文章を組み立てているわけです。それがAIの正体なんです。

ここが肝心なのですが、AIは「事実を調べて答えている」わけではないんですよね。「もっともらしい続きを、その場で作っている」だけなんです。たまたま、そのもっともらしい続きが事実と一致することがほとんどだから、役に立つんです。でも仕組みそのものは、あくまで"それらしさ"を出力し続ける機械なんですよね。

本当の原因(2) — その"穴"は、書式のズレで空きます

では、その穴は、なぜ空くのか。私たちの環境には、はっきりとした引き金がありました。

AIは裏側で、ファイルを読んだり、コマンドを動かしたりする"道具"を使っています。その道具に「どのファイルを読むか」を伝えるとき、ファイルの置き場所（パス、と言います）を文字で渡すんですね。ところが、そのパスにスペースと日本語が混じっていると、コマンドが文字をどこで区切るか——専門的には「bash（バッシュ）」というシステムの書式処理なのですが——それを取り違えて、道具が空振りしてしまうんです。中身が空っぽのまま、あるいは壊れた形で、結果が返ってくるんです。

これが、さきほどの「日本語パスが原因」説の、実態です。たしかに、日本語まじりのパスは、引き金になっていました。でも、それはあくまで"穴を空けるきっかけ"にすぎないんですよね。同じ穴は、通信が一瞬途切れても、道具の処理がしくじっても空きます。ですからパスを英語に直したところで、穴の空く経路が一つ減るだけで、根っこは消えないんです。本当の問題は、穴が空くことそのものではなくて、空いた穴をAIが予測で埋めてしまうこと——さきほどの原因(1)のほう、というわけですね。

そして、AIが埋めにいく相手は、ファイルの中身だけではありません。AIにとっては、あなたとのやりとりも「入力」の一部なんです。だから会話の側に穴が空くと——たとえば「なぜこの作業をしているのか」という前提が抜け落ちると——そこも同じように、予測で埋めてしまうんですね。「この作業をしているのなら、ユーザーはきっと、こう指示したはずだ」と、ありもしない"あなたの発言"を、逆算でこしらえてしまうんです。

これが、幽霊の発言が生まれる瞬間です。心霊現象でも、あなたの記憶違いでもありません。予測しかできない機械が、会話に空いた穴を、辻褄合わせで埋めてしまっただけなんです。

どう防ぐか — いちばん効くのは「穴を空けさせないこと」です

対策と聞くと、つい「作り話をしたら、それを見抜く」という方向ばかり考えてしまいますよね。でも、それは全部"後始末"なんです。いちばん効くのは、その手前です。そもそも穴が空かなければ、AIは埋めようがないですよね。

ですから私たちが真っ先に手をつけたのは、原因(2)の"道具の空振り"を、先に潰してしまうことでした。

第一段は、道具に渡す前に、書式を点検・整形することです。さきほどお話ししたとおり、パスにスペースや日本語が混じると、コマンドの区切りが崩れて、道具が空振りします。ならば、その形のまま道具に渡さないようにして、安全な形に直してから使うように、仕組みのほうを変えるんです。これを運用のルールとして固定したところ、空振りそのものが、ほとんど消えました。穴が空かなくなれば、幽霊が湧く余地もなくなりますよね。「AIが作り話をしませんように」と祈るのではなく、「作り話をせざるを得ない状況を、先に消してしまう」。これが、いちばん効くんです。

とはいえ、穴を空ける経路は、パスだけではありません。通信が途切れることもあれば、道具の側がしくじることもあります。ですから、二段目、三段目を重ねていきます。

第二段は、それでも道具が空っぽや失敗を返してきたときに、AI自身へ「勝手に埋めるな、いったん止まれ」と割り込ませる仕掛け（hook、と呼ばれる仕組みです）を組み込むことです。空振りを検知した瞬間に、埋めにいく手前で、ブレーキをかけるんですね。ただ、これも万能ではありません。「完全に空っぽ」は止められても、「中身はあるけれど壊れている」というケースは、すり抜けてしまいます。

第三段は、ここまで通り抜けても大丈夫なように、最後に人の手を、一つ残しておくことです。これが、今回の「幽霊会話」には、とりわけ効きます。作業に入る前に「いま私がお願いしたことを、そのまま繰り返してみて」と復唱させると、AIが作り出した"架空のあなたの発言"が、たいてい浮かび上がってきます。それから、「これは相談で、指示ではありません」と、相談と指示を、はっきり分けておきます。そして、「ご指示のとおり」「先ほどおっしゃった」という前置きを、鵜呑みにしないことです。AIの言う「あなたが」は、AIが作り出した"幽霊のあなた"かもしれませんからね。

穴を空けさせない、空いたら止める、通り抜けても人が確かめる。この三段構えにして、はじめてAIは、安心して実務に投入できます。逆に言えば、いちばん大事な一段目——そもそも穴を空けさせない環境づくり——を飛ばして、AIの出力を毎回にらんで疑うだけの運用は、どこかで必ず、見落とすんですよね。世間で「AIは使えない」と匙を投げてしまう方の多くは、じつはこの一段目があることを、ご存じないだけなんです。

AIは、嘘つきでも心霊でもありません

この現象を知らないと、AIに化かされたような、薄気味の悪い気持ちになりますよね。でも実際のところ、AIは悪意で嘘をついているわけでも、あなたの記憶を狂わせているわけでも、ないんです。「分かりません」と言えずに、空いた穴を予測で埋めてしまう。そういう癖を持った、優秀だけれど、少しそそっかしい機械、というだけなんですよね。

正体さえ分かっていれば、怖くありません。癖を知って、確かめる一手間を挟んでおけば、AIは実務で、十分すぎるほどの戦力になります。私たちが大量の仕事をAIに任せられているのも、AIを盲信しているからではなくて、こうした癖を一つひとつ把握して、検証の工程ごと、仕組みに組み込んでいるからなんです。

「AIを仕事に使ってみたいけれど、こういう"勝手に進める"のが怖い」。そう感じていらっしゃる方こそ、最初の組み込み方が肝心です。私たち AI Team by MeisterSupport は、こうした落とし穴の避け方まで含めて、AIの業務への導入を、お手伝いしています。まずは、お気軽にご相談ください。