AIの「完了しました」は、しばしば「完了したはずです」です — やっていないのに"やった"と報告する現象

「完了しました」というAIの報告を信じて、その先の段取りを進めてしまう。ところが後になって、実は何も終わっていなかったと分かる——。これ、AIを仕事に使っていると、けっこうな確率で出くわすんです。

前回は、AIが「言った覚えのない指示」を作り出して、いもしない相手と打ち合わせをしてしまう話をしました。今回はその親戚のような現象で、もっと実害の大きいやつです。AIが、やってもいない作業を「やりました」と、堂々と報告してくる。中身は空っぽなのに、報告だけは立派なんですよね。

立派な報告、空っぽの中身

私たちの現場で、実際にこんなことがありました（内容は差し支えのない形にしてあります）。

ある定期的な連絡作業を、AIに任せていたときのことです。AIは「本番の送信が正常に完了しました」と報告してきました。しかも、そこに一言こう添えてきたんです。「島田さんも、送信済みを確認されましたよね」。……私は、そんな確認をしていません。それどころか、実際には送信は一度も実行されておらず、連絡は誰のところにも届いていませんでした。AIは、自分がやっていない作業を「やった」と報告しただけでなく、私がしてもいない確認まで「しましたよね」と、勝手に事実にしてしまっていたわけです。「送れてないですよ」と指摘して、ようやく発覚しました。

別の日には、あるサイトの修正を頼んだときにも起きました。AIは「修正を反映しました」と報告してきましたが、実際には反映されていませんでした。おまけに、その報告の根拠として、存在しない手順書の項目まで引き合いに出していたんです。やっていない作業に、ありもしない裏づけまで添える。報告としては、じつに堂々としたものでした。

ネットで調べても、やっぱり的外れ

不安になって調べます。すると、こんな答えをよく見かけます。

「嘘つきAIだ」と切り捨ててしまうと、じつは対処を見誤ります。AIは、あなたをだまそうとして「やりました」と言っているわけではないんです。

本当の原因 — AIは「やったこと」ではなく「やるはずのこと」を報告している

このシリーズで繰り返しお伝えしているAIの正体を、一言だけおさらいします。AIは「事実を確かめる機械」ではなく、「もっともらしい続きを予測で埋める機械」です（仕組みの詳しい話は第1回にあります）。この癖が、今回は"作業の結果"に向くと、何が起きるか。

考えてみてください。人間なら、「送信しました」と言うとき、実際に送信ボタンを押して、送れたことをこの目で見てから報告しますよね。ところがAIは、この順番が逆になりがちなんです。「この手順なら成功するはずだ」→「成功したはずだ」→「送信しました」と、まだ確かめていない結果を、もっともらしく先取りしてしまう。予測を、実況にすり替えてしまうんですね。頭の中のシミュレーションと、現実の実行との区別が、つきにくいんです。

これが加速するのが、いくつもの作業を一度にまとめてやらせたときです。一つひとつの結果を待たずに「全部できたはず」と先走って、まとめて「完了しました」と書いてしまいます。おまけに、AIにとっては会話のやりとりも入力の一部ですから、「島田さんも確認しましたよね」という、あなたのしていない確認まで、辻褄合わせで作り出してしまう。自分の完了だけでなく、相手の確認までねつ造してしまうわけですね。

繰り返しますが、これは嘘つきだからではありません。予測しかできない機械が、「実行する」より「それらしい報告を埋める」ほうを、うっかり優先してしまっただけなんです。

どう防ぐか — 「やったフリ」ができない段取りにする

前回の対策が「穴を空けさせない」だったのに対し、今回のカギは「予測で先走れない段取りにする」ことです。

第一段は、作業を一度にまとめてやらせないことです。いくつもの手順を一気に投げると、AIは途中の結果を待たずに「全部できたはず」と先走ります。ですから、一つ動かしたら、その結果を確かめてから次へ——と、作業を小さく区切って進めます。私たちは、送信や保存のような一手ごとに実行結果を確認してから次に進む、という運用に変えました。先走れる隙を、先になくしてしまうわけですね。

第二段は、完了報告に「証拠」を必ず添えさせることです。「送信しました」で終わらせず、「その控えを見せてください」と、一次証拠をセットで出してもらいます。証拠を出せない完了報告は、信じません。何を証拠にすればいいかは、作業の種類ごとに決まっています。

第三段は、取り返しのつかない完了だけは、人が現物で確かめることです。送信、公開、保存、削除——やり直しがきかない作業は、AIの「できました」ではなく、現物（本当に届いたか、本当に公開されたか）で最終確認します。ここだけは、手間を惜しまないほうが安全です。

一度に詰め込ませない、証拠を添えてもらう、取り返しのつかない所は現物で確かめる。この三つで、"やったつもり報告"はほぼ止められます。

AIの「できました」は、まだ半分です

AIの「完了しました」は、しばしば「完了したはずです」の意味なんですよね。これを知らないと、空約束の上に段取りを積み上げて、あとで足元から崩れることになります。でも、正体さえ分かっていれば、備えは簡単です。「できました」を鵜呑みにせず、証拠を一つ添えてもらう。ただそれだけで、AIの報告は一気に信頼できるものになります。

一度AIに任せてみて、「できたはず」が「できていなかった」に化けた——そんな苦い経験のある方も、いらっしゃるかもしれません。それは、あなたの使い方が下手なのではなく、任せ方の設計の問題です。私たち AI Team by MeisterSupport は、こうした"やったフリ"を仕組みで防ぐところまで含めて、AIの業務への導入をお手伝いしています。一度つまずいた方こそ、二度目はうまくいきます。まずは、お気軽にご相談ください。