Uncensoredはオープンウェイトモデルで言われる「無検閲モデル」にちなみ、他では聞けない現場の話を、CTOと緩やかに語らっていくPodcastです。
第1回は株式会社ベースマキナCEO髙橋誠二さんをパーソナリティに、supa, inc. CEOの田中さんが語ります。なにやら最近GPUを買って、ローカルLLMを試しているとのこと。使ってみて感じた面白さ、どんな使い方が向いているのか、NVIDIAとMac miniの性能の違い、量子化の手法の違いなどdeepな部分まで踏み込んで話を聞きました。
PodcastはSpotifyとApple Podcastから視聴いただけます。
(以下、敬称略)
手元で動く、そして思ったより速い
ローカルLLMとは、クラウドのAPIを呼ぶのではなく、自分のマシンの上でAIモデルを動かすことです。実際にGPUを買って触ってみてどう感じたのか、という問いへの田中の答えは、「まず、おもしろい」でした。自分の手元のパソコンでAIが本当に動き、しかも思ったより速い。この体感が、触ってみての第一印象だったと語ります。
おもしろさの理由は、次の2点。
DeepSeekのように、大手クラウド事業者(ハイパースケーラー)のモデルに近い性能が出るモデルも、意外と手元で動く
GPU専用の高速なメモリ(VRAM)に全部載せなくても、SSDや通常のRAMにパラメータを置けば動く
NVIDIAとMac miniは何が違うのか
手元でローカルLLMを動かす機材には、ゲーミングPCのGPUを転用するもの、Mac miniのようなMacを置くものなどがあります。それらの違いを以下のように語ります。
Mac miniは、CPUとGPUが同じメモリを使う「ユニファイドメモリ」で、帯域も速い。ハードウェア面では、NVIDIAに負けていない
違いは、NVIDIAの上に積み上がったCUDAのエコシステム。動かしたいモデルや、小さくても賢い量子化済みのモデルが、CUDAを前提に作られていることが多い
512GBのメモリはMac miniなら数百万円、NVIDIAのVRAMで揃えると1,000万円を超える
CUDAとは、NVIDIAのGPUでプログラムを動かすための基盤。ハードウェアだけでなく、その上のソフトウェアまで含めて、NVIDIAが強いと言われる理由になっています。利用者としても、その差を感じるのかという問いには、「自分でCUDAをいじることはほぼないが、動かしたいモデルがCUDAに依存していることが多い」との答え。
この中で話題に挙がったのが、量子化です。量子化とは、計算に使う小数の桁数を減らして、モデルのメモリ使用量を小さくする工夫。桁を半分にすればメモリも半分になる一方、計算は粗くなります。最新世代のNVIDIAのGPU(Blackwell)は、NVFP4という形式をハードウェアのレベルで扱えるため、容量を小さくしながらモデルの賢さを保てるそう。ソフトウェアとハードウェアがセットになったエコシステムの上にモデルの開発が乗っている点が、NVIDIAの強みとのこと。
具体的なモデルについては、頭の良さでは圧倒的にDeepSeekという見方に。DeepSeek、Qwen、Kimiなど、主要なモデルはNVFP4に量子化されたものがHugging Faceで公開されていることが多く、この大きさでこの賢さが出るのか、と感じる場面がよくあるそう。
「GPUを買わないと動かせない」という境目はどこにあるのかという問いに対しては、モデルの大きさ(パラメータ数)で考えるとの説明も。
Kimi K3は約3兆パラメータで、量子化しないとメモリも3テラ級になり、SSDに逃がしても大きすぎて動かせない
GLM-5.3は約7,000億パラメータで、数百GBに量子化すれば、VRAMにも、SSDや通常のメモリにも載る。Mac miniでも動くので、話題に上がりやすい
触って分かった面白さ
ソフトウェアエンジニアとして何がおもしろいのか、という問いに対しては3つの点が語られています。
環境構築をAIに任せられる
本来は、PythonとCUDAを入れ、依存関係を解決して、ようやくモデルを動かせる。今回は自分のホストマシンにClaudeからSSHでコマンドを送らせて、環境のセットアップをまとめて任せたそう。難しいはずの作業が、AIで簡単にできてしまう。ソフトウェアの世界で起きていることが、手元のGPUの世界でも同じように起きる。モデルが動いたあとの最適化までClaudeがやってくれる点に、すごさを感じていると語りました。
触れるレバーが多い
GPUでモデルを動かすときは、渡せるオプションが非常に多いとのこと。たとえば、先の文字を何個先まで先読みして並列に予測するか、を指定するものも。LLMは文字列を1文字ずつ予測し、出力をつなげてまた入力に戻す、という処理を繰り返しています。そこで2個先、3個先を予測しながら並列で動かすと、予測が外れた分の計算は無駄になるものの、全体は速くなる。動かすといっても、いじれるレバーがたくさんある。この点も、驚いたことの1つとのこと。
ハードウェア全体を想像できるように
普段のソフトウェア開発では、CPUとGPUがどうつながっているか、その速度がどうかを、あまり気にしない。ところがLLMを動かすと、処理の詰まりどころ(ボトルネック)がどこにあるかを考えるようになるといいます。候補は、CPUの処理、GPUの処理、GPUとVRAMの間の帯域、CPU側のメモリの帯域など。ハードウェア全体を頭の中で想像する機会が増え、仕組みの解像度が上がる。チューニング中に「VRAMの帯域が足りないから遅い」と体感として分かるのが、実機を触るおもしろさだという。推論APIを呼ぶだけでは、たどり着けない所という見方も。
動かしてみてわかった使い道
動かせるようになると、次に出てくるのは「これを動かして何をするのか」という問い。ただ質問をする、文章をまとめるといった用途なら、GPUを買うよりClaudeを使えばよい。買った立場としては、ほかのユースケースを探すようになる、というのが実感とのこと。
Claudeを普段使いしていると費用が高いので24時間動かす発想にならないが、手元にGPUがあると動かし続けられるものはないかと考える
最近考えているのは、他社への提案として、社内のメールを常に監視し、見落としているアクションや、フィッシングメールを見つけてアラートを出す仕組み
速さが要らないなら、高いGPUは要らない
人が寝ている間に長く動かす仕事は、途中で脱線せず、ミスも少なくあってほしいので、モデルに求める品質が高くなり、マシンのリソースも多く要るのではないか。髙橋のこの疑問に対して、田中は「遅くてよいなら、必ずしも高いGPUは要らない」というスタンスを示しました。理由は次の3点。
質問してすぐ答えがほしい場合と違い、裏でメールを見続けるバッチ処理なら、遅くても困らない
速さが要らないなら、大きなモデルをGPUのメモリに載せなくても、SSDや通常のメモリに置いて動かせる。発言によると、2TBのメモリを積んだMacなら、1.5TB分のパラメータを置ける。SSDから毎回取ってくるので、とても遅いが、動く
高いGPUが必要になるのは、速く楽に動かしたいとき。モデルの中身は、大きな演算を繰り返しているだけなので、演算に必要な値をどこかに置ければ動く。GPUを買い始めて気づいた点だという
ただし、現状の制約も。RAMの価格が上がっていて、発言によると、最近は1GBあたり1万円ほどになっているそう。
「小さめのものを並列に揃えるクラスターの組み方もある」という話題から、NVIDIAの強みがもう1つ挙がりました。複数のGPUを、1つの大きなGPUのように扱えること。本来は、GPU-01にはこれを置き、GPU-02にはこれを置く、と利用者が管理する必要があるが、その手間なしに使える。ほどほどのGPUを寄せ集めて、大きなGPUのように使う道もあるとのこと。
これから始める人へ
初心者にとってはGPUを買う前に手元のパソコンや、少し新しく買ったものでローカルLLMを動かし、チューニングの楽しさを味わうところから始めるのがおすすめ、というのが田中のスタンス。
個人でも会社のR&Dでも、まず集められるリソースから考えればよく、調達部隊を持つような重い話ではないと分かったことが今回の学びでした。
HelloCloud編集部 国内GPUクラウド「HelloCloud」を提供する株式会社HelloCloudの編集部です。GPUクラウドの仕組みや料金の見方、LLMの推論・学習に使う環境づくり、データの保存先や契約条件の確かめ方を、AI開発に関わるエンジニアや導入を判断する方に向けて解説しています。記事は調査会社や省庁の発表、各社の公式な料金ページ・利用規約などの一次情報をもとに作成し、料金や仕様の変更にあわせて内容を更新しています。



