ローカルLLMツールカタログ — 自分のMac/PCで動かすAI
Ollama、llama.cpp、LM StudioからvLLMまで — 用途別整理
クラウドAPIは便利だ。でも社内文書をGPTに送れない環境、月額API費用が負担な個人プロジェクト、飛行機の中でコーディングする場面 — ローカルLLMが必要な瞬間は思った以上に多い。
Ollama — まずこれを入れる
brew install ollama
ollama run llama3.1
これで終わり。Dockerのようにモデルをpullしてすぐ使う。OpenAI互換API（localhost:11434）も自動起動。既存のOpenAI SDKコードのbase_urlを変えるだけでローカルモデルに切り替わる。
M1以上のMacならMetal加速が自動適用。RAM 8GBで7Bモデル、16GBで13Bモデルが快適に動く。
llama.cpp — Ollamaのエンジン
Ollamaが内部で使う推論エンジン。C/C++製、GGUFフォーマットの量子化モデルをCPUで動かす。Apple Silicon、CUDA、ROCm、Vulkan全対応。直接触る機会は少ないが、量子化レベルの制御やモデル変換が必要なら直接操作。
LM Studio — GUIが欲しい人向け
HuggingFaceからモデル検索、ワンクリックダウンロード、チャットUIですぐ使える。非開発者でも使えるレベル。内部はllama.cpp。OpenAI互換ローカルサーバーも起動可能。
GPT4All — オフライン専用デスクトップアプリ
Nomic製。インストールしてすぐチャット。ローカル文書（PDF、txt）を埋め込んでRAG検索も可能。Ollamaより機能は限定的だが、「インストール→即チャット」が目標の非開発者向き。
vLLM — プロダクション向けサービング
自社GPUサーバーでLLMをサービングする用途。PagedAttentionでメモリ効率が高く、continuous batchingで同時リクエスト処理が速い。NVIDIA GPU必須。チーム利用ならこれ。
Text Generation WebUI — 実験用オールインワン
GradioベースWeb UI。モデルロード、チャット、パラメータ調整、LoRA適用、APIサービング全部できる。複数バックエンド選択可能。高機能だが設定が複雑。
LocalAI — OpenAI APIドロップイン代替
OpenAI APIと同一エンドポイントをローカルで提供。LLMだけでなく画像生成（Stable Diffusion）、音声認識（Whisper）、TTS、エンベディングまで全てローカル。
どのツールを使うべきか
個人開発者が最初に: Ollama。5分で完了。
コーディング補助が目的: Ollama + Continue（VS Code）またはLM Studio + Continue。
非開発者/オフラインチャット: LM StudioまたはGPT4All。
社内GPUサーバーでチーム利用: vLLM。
既存OpenAIコードをローカル化: Ollama（シンプル）またはLocalAI（画像/音声も）。
ほとんどの場合、Ollamaで始めて必要に応じて他のツールに広げればいい。
キーコンセプト
Ollama — brew install → ollama runで5分以内にローカルLLM開始
llama.cpp — Ollamaの内部エンジン。GGUF量子化モデルをCPU/GPUで実行
LM Studio / GPT4All — GUIでモデル管理＋チャット。非開発者でも使用可能
vLLM — GPUサーバーでチーム単位のプロダクションサービング。PagedAttentionでメモリ効率化
LocalAI — OpenAI API完全互換。LLM＋画像＋音声＋エンベディング全てローカル
メリット
- ✓ データが外部に出ない — 社内文書、個人情報処理に安全
- ✓ API費用ゼロ — 電気代だけで無制限推論
- ✓ オフライン動作 — 飛行機、地下鉄、VPN遮断環境でも可能
- ✓ カスタマイズの自由度 — 量子化レベル、システムプロンプト、LoRA適用まで完全制御
デメリット
- ✗ 性能限界 — GPT-4o/Claudeレベルはローカルでは現実的に難しい
- ✗ RAM/VRAM制約 — 大きいモデルほどハードウェア要求が高い
- ✗ 日本語性能 — 英語対比でまだ格差があるモデルが多い