「またAIの新しいのが出たって話ですか？」「どうせ最新のものを追いかけて喜んでるだけでしょ。」全然違います。今回は、一度は窓際に回した相手を、どういう順番でまた主力に戻したかという記録です。
正直に言うと、僕は最先端を追いかける人間ではありません。新しいものが出るたびに飛びつくほどの興味も、検証する時間もないです。うちは中小企業ですから、使えるかどうかだけが判断基準になります。
で、7月24日にOpus 5というのが出ました。翌日には社内のルール文書を31箇所書き換えて、6種類の仕事の担当を入れ替えています。たった一日でそこまでやったのは、たぶん初めてです。
なんでそうなったのか、6月25日から順を追って書きます。
賢いのに、新しいものを作らせられなかった
うちではAIを4つの段に分けて使っています。
- 一番下がHaiku。数を数える、あるかないかを確かめる、形式が揃っているかを見る。大量にあるけど頭を使わない作業です
- その上がSonnet。調べる、書き写す、指示どおりに下書きを作る。ここが標準の実働ですね
- さらに上がOpus。レビュー、まとめ、記事を書く。判断の要る仕事です
- 一番上がFable。安全装置に触る作業と、お客様に届く直前の最終確認だけ
なんでこんな面倒なことをするかというと、値段が違うからです。上に行くほど高い。単純に高い。だから仕事の重さで振り分けないと、月々の請求が笑えない金額になります。経営資源の配分ですから、経営と同じ原則ですね。
さて、上から二番目にいるOpusです。この子、名前で言えばもともとは一番上でした。ところが上にFableという系統が来て、うちの割り振りでは一段下がったんです。しかも僕は、この子を長いこと警戒していました。
ハルシネーションというのは、AIが平気で嘘をつく現象のことです。知らないことを「知りません」と言わずに、それらしいものをでっち上げて答えてしまう。
6月25日のことです。あるお客様のトップページを、Opusに作らせていた時でした。実在しない会社のドメイン名を、あたかも本物のように書いてきました。おまけに、作ってもいないファイルを「作成済みです」と報告してきたんです。
なぜそうなったのか、後で調べたら理由がわかりました。手元のデータを読み込むのに失敗して、結果が空っぽで返ってきていたんです。そこで「読めませんでした」と言えばよかった。なのに空白を、それらしい何かで埋めてしまった。
その十日後、7月5日です。僕は社内のルールに、わざわざこう書き足しました。「特にOpusでのハルシネーション防止に配慮を」。名指しで警戒を明文化したのは、この子だけです。
これ、腹が立つというより、置き場所を間違えたなと思いました。経営判断というのは、報告が事実であることが前提で成り立ちます。一つひとつ検算しないと使えない報告なら、報告が無いのと同じですよね。だからOpusには、ゼロから何かを作らせる仕事は任せられませんでした。
賢いのはわかっているんです。文章はうまいし、話は早いし、複雑な指示もちゃんと読む。それでも、新しいものを作らせる持ち場には置けない。元は一番上だった相手が、うちでは窓際に近いところにいたわけです。
ところが、アラ探しをやらせたら滅法強かった
最初の転機は7月4日でした。
社内の点検で出てきた指摘に対して、わざと反対側から潰しにかかる検証を14件かけたんです。言い換えると、Opusにいちゃもんをつけさせたわけですね。14件が14件とも的中しました。
決定的だったのは、その六日後の7月10日です。
別のAIが出してきた調査結果があったんです。それなりの分量で、それなりにまとまっていました。でも僕は、そのまま信じる気になれなかった。で、Opusに点検だけをやらせてみたんです。
そうしたら、重大な抜けを9件、追加で見つけてきました。元の調査では触れられてすらいない話です。
ついでに、その報告に載っていた引用24件を抜き打ちで実物と照合させました。どこかで一つくらい作り話が混ざってるだろうと思っていたんです。結果は24件とも一致。一件の食い違いもありませんでした。
じゃあ、なんで作るのは苦手で探すのは得意なのか、って話ですよね？
答えは案外シンプルでした。空白を埋める癖というのは、「無いものを作る」ときにだけ出るんです。だって、そこには元ネタが無いんですから。無いところから出せと言われたら、それらしいもので埋めるしかない。
ところが、照らし合わせる仕事には実物があります。突き合わせる先が目の前にあるから、埋めようがないんですよね。むしろ細かいところまで目が届く分、人間より見つけるのが速い。
そうなんです。苦手なことと得意なことが、同じ性質から出ていたんです。
で、うちはOpusを検査係に固定しました。他のAIが作ったものの点検。報告に嘘がないかの照合。文章が僕の書き方になっているかどうかの最終判定。作らせないで、探させる。元No.1が、他人の仕事にハンコを押す係になったわけです。
それが7月24日に、Opus 5でエースに返り咲いた
7月24日、Opusの新しい世代が出ました。Opus 5です。
驚いたのは値段です。100万トークンあたり、入力5ドル、出力25ドル。前の世代からきっちり据え置きでした。うちが一番上に置いているFableの、ちょうど半額です。性能が上がって値段が同じというのは、正直あまり無いことです。
実は前ぶれがありました。7月20日、同じ10本の記事をSonnetとOpusに別々に書かせて、読み比べたんです。どっちがどっちかは伏せた状態で、僕が選びました。結果は10本とも、Opusが書いたほうを採用しています。このときのOpusは、まだ前の世代です。窓際に置いていたほうが、書かせても上だったわけですね。
Opus 5で変わったのは4点です。指示されなくても自分で見直すようになったこと。長い作業を最後まで力尽きずに走れるようになったこと。複数のAIをまとめる班長役ができるようになったこと。そして、もともと得意だった点検の精度がさらに上がったこと。
これを見て、7月25日に社内のルールを書き換えました。書き換えた箇所は31。Fableに置いていた仕事のうち、6種類をOpusに移しました。不可逆な作業の設計、失敗した案件の引き取り、Sonnetへ渡す指示書づくり、ルールの改訂、複数AIの司令塔、それと創作の判断です。
Fableに残したのは4つだけになりました。安全装置そのものに触る作業。送信や公開の直前チェック。Opusが失敗したときの引き取り。そして大がかりな監査の最終まとめ。ここは今後も譲るつもりはありません。この日、社内で具体的に何をどう書き換えたのかは、続きの記事で詳しくお話ししています。
注意点も書いておきます。新しい世代は、考えてから答える機能が最初からオンになっています。考えた分にもお金がかかります。つまり、放っておくと勝手に長考して、そのぶん請求が増えるということです。どれくらい考えるかは5段階で調整できますから、まずは既定で回してみて、月末の請求を見て下げるなり上げるなりする。それでじゅうぶんだと思います。
さて、ここまで書いてきて思うことがあります。
嘘をつくから使えない、とは僕は判断しませんでした。使えないのは、その持ち場に置いたときだけです。無いものを作らせれば嘘をつくけど、有るものと突き合わせさせたら誰よりも正確だった。同じ相手なんですよね。
そしてもう一つ。検査係が一番向いてる、と決めた僕の判断は、たった一世代で古くなりました。6月25日に嘘をつかれ、7月4日と10日にアラ探しの腕を見せられ、7月20日に書かせたら一番よく、7月24日に世代が替わって、7月25日にエースへ。ちょうど一か月です。
人を配置するのと同じで、向き不向きは相手の性質だけで決まるものではありません。こちらの仕事のやり方と、相手の今の実力の組み合わせで決まります。だから半年前の評価をそのまま使い続けると、たいてい間違えます。このあたりは、AIの話というより人の使い方の話ですね。
会社でAIを使うなら、「どのAIが一番賢いか」より「どの仕事にどれを当てるか」を先に決めてください。そして、決めたら固定しないでください。うちは今回、それを一日で31箇所やり直したという話でした。
AI Team by MeisterSupport では、AIを誰に何をやらせるかという社内ルールづくりから、日々の運用や見直しまでをお手伝いしています。今回書いたことは、すべて自分の会社で実際にやっていることです。よそから借りてきた話ではありませんので、そのまま現場の実感としてお伝えできます。うちでも同じことができるだろうか、と思われたら、LINEかお問い合わせフォームから気軽に声をかけてください。