ローカルLLMの作り方と必要スペック

「ローカルLLMを入れる」と言うとモデルのことだけを考えがちですが、社内で使える形にするには次の4層が要ります。どれもオープンソースで揃います。

①だけなら1時間で動きます。業務で使える状態にするのは②〜④のほうで、構築の手間の大半はここにあります。とくに④は機器の値段に含まれない工程なのに、無いと元の禁止に戻る部分です。ここは前の記事の「機器の値段に含まれない工程がある」で詳しく書きました。

機器選びで最初に決まるのはメモリ容量です。計算はおおまかに次の式で足ります。

「量子化」は、モデルの重みを粗い精度で保存して容量を減らす手法です。4ビットにすると容量は元の3割程度になり、精度の低下は多くの業務用途で許容範囲とされています。社内利用で現実的なのは4ビット前提で、上の係数0.6で見積もると次の目安になります。

出所：係数と容量別の目安は株式会社AX「LLMのメモリ要件」、mypcrig「メモリ容量別 動かせるモデル早見表 2026」、自作.com「VRAM容量別 ローカルLLM動作ガイド 2026」。いずれも参考値。

見落としやすいのが「KVキャッシュ」です。これは会話の文脈（コンテキスト）を保持するためのメモリで、扱う文書が長いほど、同時に使う人が多いほど増えます。70Bクラスを4ビットで128Kコンテキストまで使うと、KVキャッシュだけで約40GB、重み本体に匹敵する量が要るという試算があります〈出所：mypcrig「コンテキスト長とVRAMの関係 2026」〉。「長い議事録を丸ごと入れて要約させたい」用途なら、上の表より1段大きい機器を見てください。

もう1つ、メモリの「帯域」が速度を決めます。容量が同じ32GBでも、帯域が3倍違えば1人あたりの応答速度は3倍近く違います。次の章と機器別の表で数字を示します。

①推論エンジンの選択は、「同時に何人が使うか」で決まります。1人で使うなら両者の速度はほぼ同じで、人数が増えるほど差が開きます。

出所：Particula「Ollama vs vLLM in 2026」、runaihome「vLLM vs Ollama: When Each One Wins」、SitePoint「Ollama vs vLLM Benchmark 2026」。数値は測定環境で大きく変わる参考値。

実務での使い分けは単純です。1台で試す段階は Ollama、部門に出す段階で vLLM に載せ替える。この順で組むと、モデルの選定や業務の切り分けを Ollama で先に済ませてから、本番の推論基盤を組めます。前の記事で書いた「スモールスタート（1部門・1台）」がちょうど vLLM に載せ替える段です。

前の記事で示した機器3択について、速度の参考値を並べます。繰り返しますが、筆者の実測ではなく公表ベンチマークからの引用で、機種・量子化・コンテキスト長で大きく変わります。桁を読む材料としてお使いください。

出所：Mac はmypcrig「Mac mini M4 実測ベンチマーク 2026」・runaihome「Mac Studio M4 Max vs Mac mini M4 Pro」・シンギュラリティ実験ノート（Qwen3.8-27B）／DGX Spark と RTX 5090 はFloat16・lecompute／Tenstorrent はThe Register・公式仕様。

読み方のコツは2つです。1つ目、「載る」と「使える速度で動く」は別。DGX Spark は128GBあるので70Bが載りますが、2.7 tok/s は1人が待てる速度ではありません（人が読む速度に追いつくには日本語で10 tok/s台は要る、というのが筆者の目安です。出所のある数値ではありません）。2つ目、帯域が速度を決める。同じ273 GB/s の Mac mini と DGX Spark は、1人で使ったときの速度が同じ帯域に縛られます。大きなモデルを載せたいのか、中くらいのモデルを速く回したいのか、先に決めてください。

おおまかに言えば、「1部門10〜30人で27〜32Bのモデルを使う」なら、メモリ32GB以上・帯域500 GB/s前後・vLLM が動く機器が1つの現実的な線です。ここに Mac Studio、Tenstorrent、あるいは業務用GPUが入ってきます。

まず1台で動かす最短の作り方（3ステップ）。自分のパソコンで試すだけなら、次の3つで動きます。

1. Ollama を入れる。公式サイトからインストーラを取得します（Windows・Mac・Linux）。コマンドを打たずに画面で操作したい場合は LM Studio でも同じことができます
2. モデルを動かす。ターミナル（WindowsはPowerShell）で ollama run gemma3 と打つと、初回はモデルを自動で取得し、そのまま会話できます。GPUが無いパソコンでは自動でCPUで動きます。モデル名は、上の早見表のメモリに合わせて Ollama のモデル一覧から選び替えてください（出所：Google「Run Gemma with Ollama」）
3. ブラウザの画面を付ける。ChatGPTのような画面で使うなら Open WebUI です。pip install open-webui で入れて open-webui serve で起動し、http://localhost:8080 を開きます。Python 3.11 が推奨されています（出所：Open WebUI 公式 Quick Start）

ここまでは個人の検証です。社内の業務で使える形にするのは、下の7つの手順で、機器を買う前に1〜2を、買ってから3〜7を進めます。順番を守るのが一番の近道で、機器から始めると余った性能に払うか、足りない性能で我慢することになります。

1. 載せる業務を決める。「社外に出せない情報が入る業務」を業務名で挙げ、最初に載せる1〜3業務に絞る。ここで同時利用人数の見当がつく
2. モデルを決める。用途（要約・下書き・翻訳・文書検索）と日本語性能で候補を2〜3本。商用利用のライセンスを必ず確認する（Gemma 4・Qwen3の35B以下・DeepSeek は緩い。Llama は表示義務あり。Qwen は同じ名前でもライセンスが違うモデルが混在するので、配布元のLICENSEファイルを実際に開く。出所：Gemma 4 の Apache 2.0 化（Impress Watch）・Qwen3 公式ブログ・DeepSeek LICENSE-MODEL・Llama 4 Community License）
3. 機器を決める。02章の式で必要メモリを出し、03章で同時人数からエンジンを決め、04章で帯域を見る。Tenstorrent なら PCIe 5.0 x16・ATX 3.1電源・Linux のホストが別途要る
4. 推論エンジンを入れる。まず Ollama で1モデル動かし、業務1つを実際に回す。ここで「使える／使えない」を1行で書く。使えないなら機器を買う前に戻る
5. ゲートウェイと画面を置く。LiteLLM で窓口を1つにし、Open WebUI などで社員が使える画面にする。部門・人ごとの認証をここで入れる
6. 利用記録を組む。誰が・いつ・どのモデルに・何を入れたかを残し、日次・月次の要約が出る形にする。監査・認証で説明できる粒度まで
7. 検証して、ルールと一緒に渡す。速度・精度・同時利用を測り、利用範囲の線引きと運用ルール（新モデルの検証を誰がいつやるか）を文書にして引き渡す

4番で書いた「使える／使えない」の1行が、この後の全部の判断の土台になります。筆者もいま手元でこの4番を進めている段階で、実測が出たらこの記事の参考値を実測に置き換えます。

1（載せる業務）や2（モデル）で止まっている場合は、お問い合わせから、載せたい業務と使う人数をお送りください。必要なメモリの桁と、Ollama・vLLMのどちらで組むかをお返しします。

公表されている構築記録や仕様書で繰り返し報告されている詰まりどころです。筆者の実体験ではなく、事前に知っておくべき点として挙げます。

最後の2つが、費用の記事で書いた「機器を買っただけでは使われない」の技術側の正体です。構築とルールは同じ工程で、片方だけでは業務に乗りません。ルール側の作り方は中小企業の生成AI社内ガイドラインの作り方に、両方をまとめて外に頼む場合の範囲と料金はサービス案内にあります。