로컬 LLM 도구 카탈로그 — 내 Mac/PC에서 돌리는 AI

클라우드 API는 편하다. 근데 사내 문서를 GPT에 보내기 어려운 환경, 월 API 비용이 부담되는 개인 프로젝트, 비행기 안에서 코딩하는 상황 — 로컬 LLM이 필요한 순간은 생각보다 많다.

Ollama — 가장 먼저 깔아볼 것

# 설치 (macOS)
brew install ollama

# 모델 받고 바로 대화
ollama run llama3.1
ollama run codellama
ollama run gemma2

이게 끝이다. Docker처럼 모델을 pull해서 바로 쓴다. OpenAI 호환 API(localhost:11434)도 자동으로 뜬다. 기존에 OpenAI SDK를 쓰는 코드에서 base_url만 바꾸면 로컬 모델로 전환된다.

M1 Mac 이상이면 Metal 가속이 자동 적용된다. 8GB RAM이면 7B 모델, 16GB면 13B 모델이 쾌적하게 돌아간다. GPU가 없는 리눅스 서버에서도 CPU만으로 동작한다 — 느리지만 된다.

모델 선택이 고민이면 llama3.1:8b부터 시작하면 된다. 범용 성능이 좋고 한국어도 나쁘지 않다.

llama.cpp — Ollama의 엔진

Ollama가 내부적으로 쓰는 추론 엔진이다. C/C++로 작성되어 있고, GGUF 포맷의 양자화 모델을 CPU에서 돌린다. Apple Silicon, CUDA, ROCm, Vulkan 전부 지원.

직접 쓸 일은 많지 않다. Ollama가 알아서 래핑해주니까. 근데 양자화 수준을 직접 제어하거나, 특수한 모델 변환이 필요하면 llama.cpp를 직접 만져야 한다.

# HuggingFace 모델 → GGUF 변환
python convert_hf_to_gguf.py ./my-model --outtype q4_K_M

# 직접 실행
./llama-cli -m model.gguf -p "Hello" -n 128

LM Studio — GUI가 필요한 사람

HuggingFace에서 모델을 검색하고, 클릭 한 번으로 다운로드하고, 채팅 UI에서 바로 쓴다. 비개발자도 쓸 수 있을 정도로 쉽다. 내부적으로 llama.cpp를 쓴다.

OpenAI 호환 로컬 서버도 켤 수 있어서, 다른 앱에서 API로 호출하는 것도 가능하다. Mac/Windows/Linux 전부 지원.

코딩 어시스턴트로 쓰려면 LM Studio에서 deepseek-coder-v2나 codellama를 띄우고 Continue(VS Code 확장)에서 연결하면 된다.

GPT4All — 오프라인 전용 데스크톱 앱

Nomic이 만든 데스크톱 앱. 설치하면 바로 쓸 수 있고, 모델도 앱 안에서 다운로드한다. 로컬 문서(PDF, txt 등)를 임베딩해서 RAG 검색까지 된다.

Ollama보다 기능이 제한적이지만, "설치 → 바로 대화"가 목표인 비개발자에게는 이쪽이 더 맞다.

vLLM — 프로덕션 서빙

로컬이라기보단 자체 서버에서 LLM을 서빙할 때 쓴다. PagedAttention으로 메모리 효율이 높고, continuous batching으로 동시 요청 처리가 빠르다.

pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --dtype auto

OpenAI 호환 API가 나온다. NVIDIA GPU가 필수(CUDA). Mac에서는 안 돌아간다. 사내 GPU 서버가 있고 여러 사람이 동시에 쓰는 환경이면 이게 답.

Text Generation WebUI (oobabooga) — 실험용 올인원

Gradio 기반 웹 UI. 모델 로딩, 채팅, 파라미터 조절, LoRA 적용, API 서빙까지 전부 된다. llama.cpp, Transformers, ExLlamaV2 등 여러 백엔드를 선택 가능.

기능이 많은 대신 설정이 복잡하다. Ollama로 부족한 게 생기면 그때 써봐도 늦지 않다.

LocalAI — OpenAI API 드롭인 대체

OpenAI API와 동일한 엔드포인트를 로컬에서 제공한다. LLM뿐 아니라 이미지 생성(Stable Diffusion), 음성 인식(Whisper), TTS, 임베딩까지 전부 로컬로 돌린다.

Docker 이미지로 배포되어 있어서 docker run으로 바로 띄울 수 있다. 여러 AI 기능을 한 서버에서 돌리고 싶으면 이걸 쓴다.

어떤 도구를 써야 하나

개인 개발자가 처음 시작: Ollama. 5분이면 된다.

코딩 보조가 목적: Ollama + Continue (VS Code) 또는 LM Studio + Continue.

비개발자/오프라인 채팅: LM Studio 또는 GPT4All.

사내 GPU 서버에서 팀 단위 서빙: vLLM.

OpenAI API를 쓰는 기존 코드를 로컬로 전환: Ollama(간단한 경우) 또는 LocalAI(이미지/음성까지).

파라미터 실험, LoRA 테스트: Text Generation WebUI.

대부분의 경우 Ollama로 시작해서 필요에 따라 다른 도구로 확장하면 된다.