📊
Eval-Driven Development
평가(Eval) 기반으로 AI 시스템을 반복 개선
Eval-Driven Development는 AI 시스템 개발에 TDD(Test-Driven Development)의 철학을 적용한 방법론입니다. 프롬프트를 수정하거나, 모델을 바꾸거나, RAG 파이프라인을 개선할 때, "감"이 아니라 정량적 평가 지표로 판단합니다. 평가 데이터셋(질문-정답 쌍)을 준비하고, 자동화된 Eval 파이프라인으로 정확도, 관련성, 유해성 등을 측정합니다. LLM-as-a-Judge(GPT-4가 응답 품질을 평가)도 널리 사용됩니다. Braintrust, Langsmith, Humanloop 등의 도구가 이 워크플로우를 지원합니다.
핵심 개념
1
평가 데이터셋 구축: 입력(질문) + 기대 출력(정답/기준) 쌍
2
평가 기준 정의: 정확도, 관련성, 유해성, 형식 준수 등 점수화 기준
3
현재 시스템으로 평가 실행 → 베이스라인 성능 측정
4
프롬프트/모델/RAG 등 변경 후 동일 평가 재실행
5
성능 비교: 변경이 개선인지 퇴보인지 데이터로 판단
6
반복: 평가 → 개선 → 재평가 사이클
장점
- ✓ 객관적 데이터 기반 의사결정
- ✓ 퇴보(regression) 방지
- ✓ 팀 간 일관된 품질 기준
- ✓ CI/CD 파이프라인에 통합 가능
단점
- ✗ 좋은 평가 데이터셋 구축이 어려움
- ✗ LLM-as-Judge의 편향 가능
- ✗ 평가 비용 (대량의 LLM 호출)
- ✗ 정량화하기 어려운 품질 요소 존재
사용 사례
프롬프트 엔지니어링 A/B 테스트
RAG 파이프라인 최적화
모델 버전 업그레이드 검증
AI Agent 품질 관리
프로덕션 모니터링