🎨
Diffusion Model
노이즈를 점진적으로 제거하여 이미지 생성
Diffusion Model은 열역학의 확산 과정에서 영감을 받았습니다. Forward Process에서 원본 이미지에 가우시안 노이즈를 단계적으로 추가하여 완전한 노이즈로 만듭니다. Reverse Process에서 신경망(U-Net 또는 DiT)이 각 단계에서 노이즈를 예측하고 제거하여 이미지를 복원합니다. 학습 시에는 임의의 노이즈 수준에서 추가된 노이즈를 예측하도록 학습합니다. 텍스트 조건부 생성은 CLIP 텍스트 인코더의 임베딩을 Cross-Attention으로 주입합니다. Stable Diffusion은 Latent Space에서 확산을 수행하여 연산을 64× 절감합니다.
핵심 개념
1
Forward Process: 원본 이미지 x₀에 가우시안 노이즈를 T 단계에 걸쳐 점진적으로 추가 → xT (순수 노이즈)
2
학습: 임의의 단계 t에서 추가된 노이즈 ε를 예측하도록 U-Net/DiT 학습
3
텍스트 조건부: CLIP 텍스트 인코더가 프롬프트를 임베딩 → Cross-Attention으로 U-Net에 주입
4
Reverse Process: xT(순수 노이즈)에서 시작, 매 단계 예측된 노이즈를 제거
5
Latent Diffusion: VAE로 이미지를 잠재 공간(Latent Space)에 압축 후 확산 수행 (64× 연산 절감)
6
Classifier-Free Guidance: 조건부/무조건부 예측을 혼합하여 텍스트 조건 강화
장점
- ✓ GAN 대비 학습 안정적
- ✓ 다양하고 고품질의 이미지 생성
- ✓ 텍스트 조건부 생성 강력
- ✓ 이미지 편집/변환에도 활용 가능
단점
- ✗ 생성 속도 느림 (수십 단계 역확산 필요)
- ✗ 높은 GPU 메모리 요구
- ✗ 텍스트-이미지 정렬 불완전할 수 있음
- ✗ 유해 콘텐츠 생성 위험
사용 사례
Stable Diffusion / SDXL / SD3
DALL-E 3 (OpenAI)
Midjourney
Imagen (Google)
Sora — 동영상 생성 (Video Diffusion)