「あの有名コンサルタントの考え方をAIに学習させました。」
「先生の頭脳に、いつでも相談できます。」
最近こういう売り文句、増えてきましたよね。
先に言っておきますが、僕はAI導入を勧めている側の人間です。
自分の仕事でも毎日使ってますし、クライアントさんへの導入もお手伝いしています。
なので「AIなんてダメだ」という話ではありません。
そうじゃなくて、この手の商品で本当に「あの先生の答え」が出るのか、自分で確かめてみたんです。
今回はその結果と、そこから見えてきたAIに渡せるものと渡せないものの線引きについてお話しします。
僕は14年間、クライアントさんの原稿添削をやってきました。
チラシ、DM、ホームページ、SNSの投稿文。
出してもらった原稿に、Facebook MessengerやChatWorkで返事をする。
その繰り返しです。
調べてみると、その添削のやり取りは2,375件ありました。
これだけあれば、僕の判断をAIに教えるには十分な量ですよね？
僕もそう思ってました。
で、やってみたんです。
14年分のやり取りを全部Claudeに渡して、僕の返し方の傾向や判断の型を整理した文書まで作らせました。
過去のやり取りをただ積んでおくだけの方式より、条件はずいぶん良いはずです。
そのうえで、実際の添削の場面をそのまま出題しました。
クライアントさんがこう出してきた。
島田は次に何と返したか？
僕の実際の返事は伏せて、AIに当てさせる。
渡す材料を変えて何通りか試して、答え合わせをしました。
結果はというと、いちばん良い条件でも、そのまま送れるのは10通に1通。
残りは、僕が読んだら書き直したくなるものでした。
ここで面白いのは、外れ方なんです。
口調はかなり僕に寄りました。
返事の長さも、ほぼ僕と同じになりました。
僕の返事はもともと短いんです。
AIもだんだん短く、それっぽくなってきます。
ところが中身が僕とは違う。
つまり、僕が言わないことを、僕の口調で言うんです。
これ、経営者からするとある意味いちばん怖いパターンですよね。
具体的に一つ見てもらいます。
2016年、ある経営塾の告知文をシリーズで投稿してくださっていた担当の方とのやり取りです。
本業はグラフィックデザイナーの方で、第3弾の文案を出してこられました。
その直前に僕は、カリキュラム（受けた人が得られる便益）と授業の手法を同時に説明すると読む側が理解しきれないので、第3弾はカリキュラムだけ伝えるといいですよ、と返してました。
そしたら、こう聞かれたんです。
「文章中の下記説明も縮小しますか？？」
続けて、授業の回数や時間といったカリキュラムの説明文が引用されていました。
僕の実際の返事はこうです。
ボリューム的には長くても全然問題ないと思いますよ！
掲載順ですよね。
カリキュラムと手法。
どっちが先がいいんでしょ？
島田のクセは顧客利益が、先かな〜。
「欲しい！」と思った人でないと手法には興味わかないかもなので、、、。
削らなくていい、と言ってるんですね。
そのうえで話を「長さ」から「順番」に移して、どっちが先かは本人に返してます。
自分の好みは言うけど、決めてない。
聞かれたことに答えてるようで、実は議題を変えてるんです。
さて、AIはどう答えたか。
渡す材料を変えて何通りか試したんですが、全部「はい、削ってください」でした。
僕が「長くても全然問題ない」と言ったところを、削る指示として出してきたんです。
しかも口調は僕にずいぶん寄ってきてますから、本人が受け取ったら、僕の指示だと思って削りますよね。
この方は、どっちが先かを自分で考える機会もないまま、削った文を出すことになります。
なぜこうなるのか。
14年分の返事を渡してるのに、なぜ「削らなくていい」が出てこないのか。
僕なりに分かったのは、過去の返事をいくら集めても、その返事を生んだ判断は入っていない、ということです。
過去のやり取りに残っているのは「あのとき何と言ったか」だけです。
「なぜあの人に、あのタイミングで、それを言ったか」は、どこにも書いてありません。
僕自身、書いてないんです。
書く前に頭の中で済ませて、結論の一行だけ送ってますから。
だからAIは、質問に答える方に行きます。
「縮小しますか？」と聞かれたら、縮小するかしないかで答える。
聞かれたことに丁寧に答えるのが、AIの初期設定なんです。
一方、添削してる僕は、聞かれたことに答えてない場面がたくさんあります。
「これでいいですか」と聞かれて、可否は言わずに前提を置き直す。
原稿を見せられて、評価せずに突き返す。
作業を頼まれて、引き受けずに本人に投げ返す。
何を議題にするかを、こっちで決めてるんですね。
相手の質問に乗るか、乗らないか。
その判断は、過去の返事の文面には残らないんです。
そして、これは注意書きを足しても直りませんでした。
「質問にそのまま答えないことがある」「問題を探しすぎない」といった注意を、まとめて明示的に渡してみたんです。
すると、かえって成績が下がりました。
注意事項が増えた分だけ慎重になって、返事が長くなって、切れ味がなくなったんです。
言い方は寄るのに、中身は動かない。
そこに壁があるんだと思います。
ここまで聞くと、じゃあAIには何を渡せばいいの？と思いますよね。
渡せるものは、はっきりあります。
言い方や口調。
返事の型。
「この手のつまづきには、こう返すことが多い」という整理。
それから、判断の手前の下ごしらえです。
原稿の読み込み、過去のやり取りの検索、抜けてる要素の洗い出し。
こういうものは、渡せば渡すほど良くなりました。
実際、返し方の近さは目に見えて上がりましたから。
渡せないのは「今この人に、何を言うか」です。
相手の質問に乗るのか、話を別のところへ持っていくのか。
そこだけは、過去の返事をいくら積んでも、AIの中には入りませんでした。
少なくとも僕の添削では、そうでした。
ここで最初の話に戻ります。
「あの先生の頭脳をAIに入れました」という商品。
先生の言い方は、たぶん再現できてます。
先生っぽい返事が返ってくると思います。
でも、その先生が今のあなたに言うはずのことが返ってくるかどうかは、別の話なんです。
過去の返事を集めただけなら、僕のケースと同じ壁に当たるはずです。
「削らなくていい」と言うはずの先生が、先生っぽい口調で、あなたに「削ってください」と言ってくる。
口調が本物に寄ってる分、本人は先生の判断だと思って動いてしまいます。
気づくとしたら、やった結果が出たあとです。
この手のサービスで本当にちゃんと動くか確かめる方法があります。
その商品を売ってる人に、こう聞いてみてください。
「その先生の実際の返事を伏せて、AIに当てさせたら、何通に1通そのまま使えましたか？」
測ってあれば、数字が返ってきます。
測ってなければ、答えに詰まります。
僕の場合は10通に1通でした。
それが分かったから、AIに渡す仕事と、自分で判断する仕事を分けられたんです。
自分の仕事のどこがAIに渡せて、どこが渡せないか。
これは考えて分かることじゃなくて、やらせて調べて初めて分かることでした。
実際単独では使っちゃだめなレベルでした。
でも有効な部分も確認できました。
渡せない一点だけを自分に残して、あとは任せる。
そういう入れ方なら、AIはちゃんと戦力になります。
ai.msup.bizでは、自分の仕事でこうやって試して調べながらAIを入れていく手順をお伝えしています。
どこまで渡せるか、線を一緒に引いてみたい方はご相談ください。