「専門家の考え方を全部読み込ませたら、AIがその人の代わりになる」
最近よく聞く話ですよね。
本当かどうか、僕は自分を材料にして測ってみました。
今回はその測り方と、出てきた結果をそのままお話しします。
同じ手順で追試ができるように書きますので、AIをお仕事に入れようとしてる方も、技術屋さんも、読んでみてください。
材料は僕自身の添削です。
14年分、Facebook Messenger と ChatWork に残っていたクライアントとのやり取りを全部引っ張り出しました。
添削のやり取りとして拾えたのが2,375件、相手は184名。
これを整理したうえで、Claude に僕の代わりをやらせてみたわけです。
まず一番気を使ったのが、課題の作り方です。
「クライアントがこう出してきた。島田は次に何と返したか」
この形で100問作りました。
正解は、僕が実際に送った次の1通、逐語です。
僕が書きそうな文章、ではダメで、本当に送った文章だけを正解にします。
そして、その正解が問題文に混ざっていないことを機械で照合しました。
なぜここまでやるかというと、この照合を怠ると数字が丸ごとウソになるからです。
次に、AIに渡す材料を4段階に変えました。
一つ目は課題だけ。
二つ目は、クライアントのつまづきの型ごとに僕がどう返すかを書いた回答方針を足したもの。
三つ目は、さらに返し方の設計図を足したものです。判断の規則、やらないこと、言い回し帳ですね。
四つ目は、そこに失敗しやすい点の対策まで足したもの。
材料を足していくほど僕に近づくのか、それを見る作りです。
100問を4条件で解かせ、採点まで含めて全部で500回動かしました。
途中で止まったものはゼロ、正解漏れもゼロ。
これが最後の測定の条件です。
採点したのは4つです。
一つ目、そのまま送れるか。僕がそのまま送信ボタンを押せる返事かどうか。
二つ目、中身が合っているか。指摘している内容が僕の実物と同じか。
三つ目、返し方が似ているか。
四つ目、長さ。僕の実物の何倍の長さか。
上手いかどうかではなく、僕と同じかどうかを測っています。
ここを取り違えると、AIの上手な返事を高く採点してしまうんですよね。
上手な返事なら、僕でなくても書けます。
で、結果です。
そのまま送れる返事は、100通のうち、課題だけの条件で2通。
回答方針を足して3通。
返し方の設計図まで足して10通。
失敗の対策まで足したら、4通に下がりました。
長さも、最初は僕の2.95倍もダラダラ長かったのが、設計図を足したら0.94倍。
ほぼ僕と同じ長さです。
言い方は渡せます。
ところが中身の一致は、4条件とも14〜16%。
何を渡しても、動かなかったんです。
知識を増やせば近づく、という前提がここで崩れました。
さらに、失敗の対策を足した条件では、そのまま送れる返事が10通から4通に減り、長さも0.94倍から1.23倍に戻りました。
注意事項が増えた分だけ慎重になって、長くなって、切れ味が落ちたんですね。
言い聞かせるほど良くなるわけじゃないんです。
これも、追試される方には先に知っておいてほしいところです。
では、動かなかった中身とは何なのか。
一つ実例を出します。
ある告知文の添削で、クライアントが「縮小しますか？？」と聞いてきた場面です。
僕の実際の返事はこうでした。
「ボリューム的には長くても全然問題ないと思いますよ！」
そのあと論点を掲載順に移して、どっちが先がいいでしょうね、と決めずに投げ返しています。
一方でAIは、4条件とも「はい、削ってください」でした。
僕がはっきり否定した方向を、そのまま指示として出したんです。
これ、聞かれた質問には正しく答えてるんですよ。
でも僕は、その質問自体が論点じゃないと思ったから、土俵を変えました。
AIは質問に答える存在として振る舞い、僕は議題を設定する存在として振る舞っています。
この違いは知識の量じゃなくて、初期設定の違いです。
だから統計を渡しても、規則を渡しても、注意を足しても、中身の一致は動かなかったんです。
14〜16%という数字は、そういう意味です。
最後に、この結果をどこまで一般化していいか。
まず、今回はRAGそのものの検証ではありません。
ベクトル検索で似た事例を引いて渡したのではなく、整理して蒸留した文書を渡し、規則まで足しています。
RAGが渡すのは過去の出力そのものですから、今回はそれより手厚い条件です。
手厚い側で中身が動かなかった、という読み方になります。
次に、つまづきや指摘の型の分類はLLMに任せたもので、境界の事例には揺れがあります。
添付のチラシや画像の中身は読んでいません。
2024年以降のFacebookは欠落していて、その期間はChatWork側で補っています。
そして何より、これは1名の専門家の、1領域の話です。
僕の添削で測ったら、こうでした。
それ以上のことは、この数字からは言えません。
それでも、測って初めて分かったことがあります。
文書として整っているかどうかと、再現できるかどうかは、別物でした。
渡せるものと渡せないものが、やらせて調べたら数字で分かれたんです。
これが今回の一番の収穫だと思っています。
自分の仕事でも同じ測り方をしてみたい、という方は ai.msup.biz へご相談ください。
何が渡せて何が残るか、やらせて調べるところからご一緒します。