🔗
Chain-of-Thought (CoT)
단계별 추론으로 복잡한 문제 해결
Chain-of-Thought(CoT)는 2022년 Google Brain이 제안한 프롬프팅 기법입니다. 기존에는 LLM이 질문→답변을 직접 생성했지만, CoT는 중간 추론 단계를 명시적으로 생성하게 합니다. "Let's think step by step"이라는 한 문장만 추가해도(Zero-shot CoT), 수학 문제 정확도가 17%→78%로 급등했습니다. Few-shot CoT는 추론 과정이 포함된 예시를 제공하여 더 정확한 추론을 유도합니다. 이 기법은 현대 LLM의 "reasoning" 능력의 기반이 되었고, OpenAI의 o1/o3, Claude의 Extended Thinking 등으로 발전했습니다.
핵심 개념
1
문제 제시 — 복잡한 수학/논리/코딩 문제
2
CoT 프롬프트 추가 — "단계별로 생각해보세요" 또는 추론 예시 제공
3
LLM이 중간 추론 단계를 텍스트로 생성 ("먼저 A를 구하면..., 다음으로 B는...")
4
각 단계의 결과가 다음 단계의 입력으로 활용
5
최종 답변 도출
6
검증: Self-Consistency — 여러 번 추론하여 다수결로 최종 답 선택 (선택적)
장점
- ✓ 복잡한 문제에서 정확도 대폭 향상
- ✓ 추론 과정이 투명 → 디버깅 가능
- ✓ 프롬프트만으로 적용 (모델 수정 불필요)
- ✓ 대형 모델에서 효과 극대화 (emergent ability)
단점
- ✗ 추론 토큰 추가로 비용/지연 증가
- ✗ 소형 모델에서는 효과 미미
- ✗ 잘못된 추론 단계가 오답으로 이어질 수 있음
- ✗ 단순한 문제에는 불필요한 오버헤드
사용 사례
수학 문제 풀이 (GSM8K 벤치마크)
코드 디버깅/생성
논리 추론 퍼즐
OpenAI o1/o3 모델의 핵심 기술
Claude Extended Thinking