「うちのAI、最初は優秀だったのに、最近なんだか挙動が変だ」。
もし心当たりがあるなら、原因はAIの性能ではなく、あなたがAIに渡してきた「メモ」と「指示書」にあるかもしれません。
この記事では、AIを業務で使い込むほど挙動がおかしくなっていく仕組みと、その対策——指示書の棚卸し——についてお話しします。AIが勝手に作り話をする話は、以前のシリーズで書きました。今回はその逆です。人間側が渡している情報のほうが腐っていく、というお話です。
ちょっと直したら、気楽にメモリに追加していませんか
最近のAIには、便利な記憶の仕組みがあります。
「今後はこのルールでやって」と一言伝えれば、AIがメモを取って、次回から覚えていてくれる。修正のたびに同じ説明を繰り返さなくて済むわけです。僕もこれが気に入って、ちょっと直したら気楽にメモリに追加する、という使い方をしてきました。
社員に「これ、マニュアルに書いといて」と言うのと同じ感覚ですね。
ところが、この気楽さが後から効いてくるんです。
便利なはずのメモが、エラーの原因になっていました
うちで実際に起きたことをお話しします。
AIが以前取ったメモの中に、「詳しくは○○のファイルを参照」という形のものがありました。ところがその参照先のファイルは、とっくに役目を終えて片付けられていたり、置き場所が変わって見つからなくなっていたりする。すると AIはメモを頼りに存在しないファイルを探しに行って、逆にエラーを吐く原因になっていたんです。
助けるためのメモが、転ばせる原因になっている。皮肉な話ですよね。
しかも厄介なのは、エラーで止まってくれるのはまだマシなケースだということです。
指示書の「腐り方」は3つあります
整理すると、AIに渡した情報は3つのパターンで腐っていきます。
1つ目は、参照先の消失です。メモが指しているファイルや資料がもう存在しない。これはエラーになるので、まだ気づけます。
2つ目は、古い間違いの取り込みです。昔のファイルには、当時の勘違いや、その後訂正された内容がそのまま残っています。AIは古い参照を読むと、過去の間違いや矛盾を素直に取り入れてしまいます。素直さは AIの美点ですが、ここでは裏目に出ます。しかもエラーにならないので、気づきにくい。挙動が「なんとなくおかしい」という形でじわじわ現れます。
3つ目は、指示書そのものの矛盾です。AIには、動作の前提を規定する指示書を渡せるのですが、せっかく動作を規定しているのに、その中に間違った情報や矛盾が混ざっていたり、存在しないファイルを参照させていたりしたら、AIだって困ってしまいます。
新しく入った社員に、古い就業規則と、もう存在しない部署のマニュアルを渡している。そんな状態を想像してもらうと、近いと思います。真面目な社員ほど、渡されたとおりに動いて変な結果を出しますよね。AIも同じです。
対策は棚卸しです — 消す・直す・昇格させる
では、どうするか。対策は地味で、定期的な棚卸しに尽きます。
AIに溜まったメモと指示書を開いて、1件ずつ、3つに仕分けします。
- 消す。もう使わないメモ、役目を終えた参照は削除する
- 直す。内容は生きているが情報が古いものは、今の正しい内容に書き換える
- 昇格させる。「これは恒久ルールだ」というものは、その場しのぎのメモから、正式な指示書のほうへ移す
ポイントは、「増やす」時ではなく「見直す」時間を先に予定に入れてしまうことです。メモは日々の作業の中で勝手に増えていきます。棚卸しは意識しないと一生やりません。ここも人間の会社のマニュアル整備と同じですね。
見直しの観点は3つだけ
棚卸しといっても、見るポイントはシンプルです。メモ1件ごとに、3つだけ確認します。
- 参照先は実在するか。指しているファイルや場所が今もあるか
- 今も正しいか。その後の変更や訂正で、内容が古くなっていないか
- 他と矛盾していないか。別のメモや指示書と食い違っていないか
うちではこの整備を、AIのコストを圧縮する「AI内分業」の土台として位置づけています。窓口役のAIが書いた指示書どおりに現場役のAIが動くには、渡す情報が正確であることが大前提だからです。地味な作業ですが、この見直しをやり切っておくだけで、分業がスムーズに回り、結果として毎月数十万円のコスト減につながっていくはず、というのがうちの見込みです。
分業の設計そのものと、定型業務の作り込みについては、それぞれ別の記事と別の記事でお話ししています。
まとめ: AIの賢さは、メンテナンスで決まります
AIの挙動がおかしくなっていく原因は、多くの場合、AI本体の劣化ではありません。人間側が渡してきた情報が、静かに賞味期限を迎えているだけです。
だとすれば、打ち手も明確です。疑う前に、棚卸し。メモと指示書を最新の正しい状態に保つこと自体が、AIという社員への、いちばん確実な教育投資なんです。
「うちのAI環境、どこから見直せばいいのか分からない」という方は、私たち AI Team by MeisterSupport が環境の棚卸しからお手伝いしています。まずはお気軽にご相談ください。