ChatGPTがすごい、Geminiがすごい、という話は、もうずいぶん聞き慣れてきました。
その次に話題になっているのが、ローカルLLMです。
きっかけは、情報漏洩のニュースです。
どこかの会社から個人情報が流出したという話を聞くたびに、「OpenAIやAnthropicに、うちのデータを入れて大丈夫なの？」という声が上がります。
一応、契約の上では、入れたデータは守られることになっています。
とはいえ、海の向こうの会社に顧客情報を預けるわけですから、心情的にはなかなか信用しきれないですよね。
治療院の先生なら、なおさらです。
電子カルテには、患者さんの個人情報と症例が結びついて入っています。
これだけは絶対に流出させられないので、できればClaudeのようなクラウドのAIには入れたくない。
そう考えるのは、当然のことだと思います。
そこで注目されているのが、ローカルLLMです。
いま普通に使っているAIは、こちらの情報をアメリカのサーバーに渡して、向こうで考えてもらって、返事を受け取っています。
そのやり取りを、まるごと自分のパソコンの中で済ませてしまうのがローカルLLMです。
情報が外へ出ていかないので、漏洩の心配をしなくて済むようになります。
聞こえはいいですよね。
では実際に、仕事を任せられるところまで来ているのか。
僕が自分のパソコンに入れて試してみた結果をお話しします。
自分のMacBook Proでも動くと聞いて、入れてみたら
去年までは、ローカルLLMを動かすのは大ごとでした。
Mac Studioを4台つなげて、それでようやく、どっこいどっこい動くかなと言われていたくらいです。
小さな会社が気軽に手を出せる話ではなかったんですね。
ただ、ローカルLLMのほうも、小さく作る工夫がどんどん進んでいます。
4台つなげて動かすような大きなモデルとは別に、パソコン1台で動かせる大きさのモデルが出てきました。
今年発売のMacBookなら、そういうモデルがそこそこ動くんじゃないか、というところまで来ています。
僕が使っているMacBook Proはメモリが32GBのモデルなので、その大きさなら動かせるわけです。
そろそろ時代かなと思って、実際に入れていろいろ試してみました。
選んだのは、評判ではSonnet 5と遜色がないと言われているモデルです。
Sonnet 5というのは、ClaudeのAIのモデルの一つです。
そのくらい賢いなら、パソコンの中だけで仕事を回せるかもしれない、と期待していました。
で、入れてみた結果です。
クソバカでした。
全然使い物にならないんです。
どのくらい使い物にならないのか、試したときのやり取りをそのままお伝えしますね。
大阪の地下鉄の駅を聞いてみたら、何が返ってきたか
試しに聞いてみたのは、大阪の地下鉄、御堂筋線の駅です。
「難波駅の次の駅は？」
返ってきた答えは、新大阪でした。
おかしいな、難波の次は大国町やろ、と思いました。
大阪以外の方に分かるように言うと、隣の駅を聞いたのに、全然違う駅が返ってきたということです。
それならと、聞き方を変えてみました。
「御堂筋線の駅名を、南から順番に挙げてください」
すると、いきなり天王寺から始まったんです。
天王寺より南にある、あびこもなかもずも、どこかへ行ってしまいました。
天王寺の次は、動物園前。
ここまでは順調です。
ところが、その次が難波なんですね。
動物園前と難波の間にあるはずの大国町が、すっぽり抜けています。
さっき難波の次を聞いたときに答えられなかった大国町を、ここでもまた忘れているわけです。
そこから先は、並びがどんどんおかしくなっていきました。
変な並びのまま、森ノ宮という駅が出てきます。
森ノ宮は御堂筋線ではなく、中央線の駅です。
そして森ノ宮の次に出てきたのが、西森ノ宮でした。
そんな名前の駅は、どこにも存在しません。
大阪の人でなくても、これはまずいと分かりますよね。
知らないことを知らないとは言わずに、それらしい駅名を自分でこしらえてしまっているんです。
「嘘をついちゃダメ」と言い聞かせて抑えることもできないレベルでした。
正直、ダメだこりゃと思いました。
駅名なら、まだ笑い話で済みます。
でも、これが顧客の情報の整理や、お客様への返事の下書きだったらと思うと、笑えないですよね。
評判のいいモデルが、なぜここまで間違えるのか
理由は、量子化という仕組みにあります。
Claudeのような本来のAIは、巨大なサーバーに入るほどの大きさがあります。
そのままでは、パソコンには入りきりません。
そこで中身を小さく詰め直して、パソコンに入るサイズにします。
これを量子化といいます。
小さく詰めるときは、よく使われる大事な情報だけを選んで残します。
だから、日本の首都はどこか、といった誰でも知っていることなら、ちゃんと答えられるんです。
ところが御堂筋線の駅の並びのように、知っている人が限られる知識は、これくらいは入れなくてもいいだろうと外されてしまいます。
その外された知識を聞かれた結果が、新大阪であり、西森ノ宮だったわけです。
小さくしすぎると、やっぱり賢くはならないんですね。
分からないなら、ネットで調べさせればいいのでは、と思われるかもしれません。
実際、ローカルLLMにもネット検索をさせることはできます。
でも、もともと情報を外に出したくなくて、パソコンの中だけで動かしているんですよね。
機密が漏れないことを考えたら、ネットにはつながずに処理させる必要があります。
そうなると、頼れるのは小さく詰めた中身だけです。
速さも、仕事で使うには厳しいものがありました。
迷惑メールかどうかを1通チェックさせるだけで、5秒ほどかかります。
M5のMacBook Proでも、この速さです。
朝に届いたメールをまとめて仕分けさせようとしたら、待ち時間だけでかなりの時間を取られてしまいますよね。
もっと大きなモデルを載せれば、賢くなるのでは。
そう思いますよね。
ところが、大きなモデルを動かそうとすると、メモリが32GBでは正直足りません。
普段パソコンとして買っている機種では間に合わず、プロ向けの上位の機種が必要になります。
そうなると、予算が一気に50万円を超えてしまうんです。
それでも顧客情報を守りたい会社は、どうすればいいのか
お金をかけて、それでこの賢さです。
よほどセキュリティを守らなければいけない分野でもない限り、今わざわざ選ぶ理由は見当たらないと思っています。
もう一つ困るのが、任せ方です。
AIの答えがあてにならないので、AIの判定に頼らず、機械的な計算やチェックで確かめられる仕組みを別に組まないと、怖くて任せられません。
でも、AIの判断に頼れないのなら、最初からAIを使わなくていいという話になってしまいます。
なんのためにAIを入れたのか、分からなくなりますよね。
アリババが社運をかけて作っているQwenでも、今はこんな状態です。
AIの新しいニュースが出るたびに、すごい、すごいと驚いてみせる人がいます。
いわゆるAI驚き屋の人たちは、こんなに高性能なら全然任せられる、と言います。
でも、自分で入れて試してみると、現実はこんなものです。
顧客情報が心配なら、今はクラウドのAIを、データの扱いの設定をきちんと確かめたうえで使うほうが現実的です。
ローカルLLMは、いずれ手元のパソコンでも十分に使える日が来ると思います。
その日が来るまでは、焦ってハイスペックモデルを買わずに待っていて大丈夫です。
それでもローカルLLMが気になる方は、入れる前に、答えが合っているかを自分ですぐ判断できる質問を一つ用意しておいてください。
地元の駅の並びでも、自社の商品の名前でも構いません。
見るのは、知らないことをそれらしくこしらえないかどうかです。
AIがもっともらしい嘘をつくことをハルシネーションといいますが、これを起こさないのが、優秀なモデルの目安とも言えます。
しかも、嘘をつくなとプロンプトで工夫しなくても、それができているかどうか。
そこができていたら、ひとまずは良いモデルと思っていいでしょう。
評判の数字よりも、その一問の答えのほうが、よほど正直に実力を教えてくれますよ。
ai.msup.bizのAI導入サポートでは、顧客情報を扱う会社が、どのAIをどこまで使えば情報を守りながら仕事を任せられるかを、一緒に整理するところから始めています。
ローカルLLMにするか、クラウドのAIのままでいくか迷っている方も、お気軽にご相談ください。