🌀
Hallucination (환각)
AI가 사실이 아닌 내용을 그럴듯하게 생성하는 현상
환각(Hallucination)은 LLM이 사실이 아닌 정보를 그럴듯한 텍스트로 생성하는 현상입니다. Intrinsic Hallucination(학습 데이터와 모순되는 내용)과 Extrinsic Hallucination(학습 데이터에 없는 내용을 지어내기)으로 나뉩니다. 원인은 LLM의 학습 방식 자체에 있습니다. LLM은 "다음 토큰 확률"을 최대화하도록 학습되지, "사실을 말하도록" 학습되지 않았습니다. 통계적으로 가장 그럴듯한 다음 단어를 생성하기 때문에, 사실과 허구를 구별하지 못합니다. RAG, Grounding, RLHF 등으로 완화할 수 있지만 완전한 해결은 아직 어렵습니다.
핵심 개념
1
사용자가 특정 사실에 대해 질문
2
LLM이 학습 데이터에서 관련 패턴을 검색 (정확한 기억이 아닌 확률적 생성)
3
관련 정보가 불충분하면, 통계적으로 그럴듯한 내용을 "지어냄"
4
높은 자신감(confidence)으로 틀린 정보를 제시
5
사용자가 사실 확인 없이 수용할 위험
6
완화 방법: RAG(외부 문서 참조), Grounding(출처 인용), 불확실성 표현("~일 수 있습니다")
장점
- ✓ 환각 연구를 통해 LLM의 한계 이해 → 안전한 활용
- ✓ 환각 감지/완화 기술 발전의 동기
- ✓ Factuality 벤치마크 발전
단점
- ✗ 의료/법률 등 고위험 분야에서 심각한 문제
- ✗ 사용자가 환각을 감지하기 어려움
- ✗ 현재 기술로 완전 제거 불가능
- ✗ LLM 신뢰도 저하
사용 사례
존재하지 않는 논문/법률 인용
잘못된 역사적 사실 생성
가상의 API/함수 제안
잘못된 수학 계산 과정
존재하지 않는 인물/사건 서술