ローカルLLMを自分のPCに入れてみました。
税理士という仕事柄、AIにお客さまの情報を扱わせるときは、セキュリティ面がどうしても気になります。
ただ、今回LM Studioを入れた一番の理由は、セキュリティというより、自分のPCだけでAIが動くところを見てみたかったからです。
ガジェットも好きなので、単純に面白そうでした。
LM Studioを入れてみた
普段はChatGPTやClaudeを使っています。
ファイルを触ってもらったり、メールやfreeeと連携したりする使い方にも興味があります。
一方で、お客さまの情報をクラウド上のAIに渡すことには抵抗があります。
領収書をAIに読み込ませて経理をしたり、freee MCPを使ったりできれば便利そうですが、そのあたりは少し気になります。
そこで試してみたのがLM Studioです。
ローカルLLMは設定が難しそうなイメージでしたが、動かすだけなら、LM Studioをインストールしてモデルをダウンロードするだけでした。
どのモデルを入れればよいのかは分からなかったので、ChatGPTやClaudeに聞きながら選びました。
入れたのはGemma 4 12B QATです。
モデルの容量は7GBほどでした。
最初に聞いたのはHello World
モデルを読み込んで、最初に入力したのは「Hello World」です。
返事が来たときは、たった7GBほどのデータで、自分のPCの中だけでAIが動いているのがすごいなと思いました。
次に、自分の経費の領収書から取り出した文字を入力して、書類の発行者を一言で答えてもらいました。
これは正しく答えました。
「法人税法22条について」とも聞いてみました。
回答はざっくりしていましたが、簡潔にまとまっていて、このくらいの質問なら問題なさそうでした。
ただ、この時点では仕事に使えると思ったわけではありません。
実験として面白い、という感覚です。
本当に自分のPCだけで動いているのか確認するため、LM Studioでモデルを読み込んだあと、有線のインターネット接続を切って質問してみました。
普通に返事が来ました。
PCのファンは「シャー」と鳴る
使ったPCのスペックは次のとおりです。
| 項目 | スペック |
|---|---|
| CPU | AMD Ryzen 7 9800X3D |
| GPU | NVIDIA GeForce RTX 5070 Ti 16GB |
| メモリ | 32GB DDR5 |
| ストレージ | 2TB NVMe SSD |
返答はChatGPTなどのクラウドAIと比べると、明らかに遅いです。
GPUメモリは16GBのうち14GB前後を使っていました。
PC本体のメモリもかなり使います。
それより気になったのは、ファンの音でした。
質問すると、ファンが「シャー」と大きな音を立てます。
PDFを読み込ませたり、freee MCPでデモデータを取り込もうとしたりすると、「Error terminated」と表示されることもありました。
PDFについてはClaudeに聞き、コンテキストの長さなどの設定を変更したら動きました。
PDFのほうは動きましたが、freee MCPはまだ「Error terminated」のままです。
PCのスペックによって設定を自分で触る必要があるので、現状ではすぐ仕事に使うのは難しそうです。
その後、自分の経費の領収書を読み込ませてファイル名を変えるところまで試しました。
その話は別の記事に書きます。
【余白ログ】
昨日は少し熱が出たけど、わりとすぐ治りました。
