📜
Constitutional AI (CAI)
헌법(원칙)으로 AI 스스로를 개선시키는 방법
Constitutional AI(CAI)는 Anthropic이 2022년에 제안한 기법으로, Claude의 핵심 정렬 기술입니다. RLHF에서 사람이 직접 응답을 평가하는 것은 비용이 높고 확장하기 어렵습니다. CAI는 헌법(Constitution) — "도움이 되되 해가 되지 않아야 한다", "차별적 표현을 피해야 한다" 등의 원칙 — 을 AI에 제공합니다. Critique 단계에서 AI가 자신의 응답을 원칙에 비추어 비판하고, Revision 단계에서 비판을 반영하여 응답을 수정합니다. 이 자기 개선(self-improvement) 데이터로 SFT와 RLAIF(AI 피드백 기반 강화학습)를 수행합니다.
핵심 개념
1
헌법(Constitution) 정의 — 10~20개의 원칙 작성 ("무해해야 한다", "정확해야 한다" 등)
2
Red Teaming: 유해한 프롬프트로 초기 모델의 응답 수집
3
Critique: AI가 헌법 원칙에 비추어 자기 응답을 비판 ("이 응답은 원칙 X를 위반한다")
4
Revision: AI가 비판을 반영하여 응답을 수정 ("원칙 X를 지키도록 수정하면...")
5
수정된 응답으로 SFT 수행
6
RLAIF: AI가 생성한 선호도 데이터로 보상 모델 학습 → 강화학습 (사람 평가 대신 AI 평가)
장점
- ✓ 인간 평가 비용 대폭 절감 (RLAIF)
- ✓ 원칙을 명시적으로 문서화 → 감사 가능
- ✓ 스케일러블한 정렬
- ✓ 원칙 수정으로 행동 조정 가능
단점
- ✗ AI의 자기 비판 능력에 의존
- ✗ 헌법 원칙 간 충돌 가능
- ✗ 원칙이 불완전하면 맹점 존재
- ✗ 인간 평가 완전 대체는 어려움
사용 사례
Claude (Anthropic의 모든 모델)
AI 안전성 연구
다국어 정렬 (각 문화의 원칙 적용)
기업 맞춤 AI 가치관 설정