📚
Pre-training
대규모 데이터로 범용 지식을 학습하는 단계
Pre-training은 LLM 학습의 첫 번째 단계로, 수조 개의 토큰(책, 웹페이지, 코드 등)에서 자기지도학습(self-supervised learning)을 수행합니다. GPT 계열은 "다음 토큰 예측"(Causal Language Modeling), BERT는 "마스킹된 토큰 예측"(Masked Language Modeling) 방식을 사용합니다. 이 과정에서 문법, 상식, 추론, 코딩, 수학 등 범용 능력이 자연스럽게 형성됩니다. 수천 개의 GPU로 수주~수개월이 걸리며, 비용이 수천만 달러에 달하기도 합니다. Pre-training만으로는 지시를 따르거나 대화하는 능력이 없어, 이후 Fine-tuning과 RLHF가 필요합니다.
핵심 개념
1
대규모 텍스트 코퍼스 수집 (웹 크롤링, 책, 코드, 논문 등)
2
데이터 전처리 — 중복 제거, 유해 콘텐츠 필터링, 토큰화
3
모델 아키텍처 초기화 (Transformer 기반, 무작위 가중치)
4
다음 토큰 예측 학습 반복 — "The cat sat on the [?]" → "mat" 예측
5
수천 GPU × 수주~수개월 훈련 (분산 학습)
6
Base Model 완성 — 텍스트 완성은 가능하지만 대화/지시 따르기는 아직 불가
장점
- ✓ 비지도(라벨 없는) 데이터만으로 학습 가능
- ✓ 범용 지식과 추론 능력 형성
- ✓ 다양한 downstream task에 활용 가능
- ✓ 스케일링에 따라 emergent ability 출현
단점
- ✗ 막대한 비용 (GPU, 전력, 데이터)
- ✗ 학습 데이터의 편향과 유해 콘텐츠 흡수
- ✗ 환각(hallucination) 기본 내재
- ✗ 대화/지시 따르기 불가 (추가 학습 필요)
사용 사례
GPT-4 Base Model 학습
LLaMA / Mistral 오픈소스 모델
Claude Base Model
BERT / RoBERTa 사전학습