🎨
拡散モデル（Diffusion Model）
ノイズを段階的に除去して画像を生成
Diffusion Modelは熱力学の拡散過程からインスピレーションを受けています。Forward Processで元画像にガウシアンノイズを段階的に追加して完全なノイズにします。Reverse Processでニューラルネットワーク（U-NetまたはDiT）が各段階でノイズを予測・除去して画像を復元します。学習時には任意のノイズレベルで追加されたノイズを予測するよう学習します。テキスト条件付き生成はCLIPテキストエンコーダの埋め込みをCross-Attentionで注入します。Stable DiffusionはLatent Spaceで拡散を行い計算を64倍削減します。
キーコンセプト
1
Forward Process: 元画像x₀にガウシアンノイズをTステップにわたって段階的に追加 → xT（純粋なノイズ）
2
学習: 任意のステップtで追加されたノイズεを予測するようU-Net/DiTを学習
3
テキスト条件付き: CLIPテキストエンコーダがプロンプトを埋め込み → Cross-AttentionでU-Netに注入
4
Reverse Process: xT（純粋なノイズ）から開始、各ステップで予測ノイズを除去
5
Latent Diffusion: VAEで画像を潜在空間（Latent Space）に圧縮後拡散を実行（64倍計算削減）
6
Classifier-Free Guidance: 条件付き/無条件予測を混合してテキスト条件を強化
メリット
- ✓ GAN比で学習が安定的
- ✓ 多様で高品質な画像を生成
- ✓ テキスト条件付き生成が強力
- ✓ 画像編集/変換にも活用可能
デメリット
- ✗ 生成速度が遅い（数十ステップの逆拡散が必要）
- ✗ 高いGPUメモリ要求
- ✗ テキスト-画像の整列が不完全な場合がある
- ✗ 有害コンテンツ生成のリスク
ユースケース
Stable Diffusion / SDXL / SD3
DALL-E 3（OpenAI）
Midjourney
Imagen（Google）
Sora — 動画生成（Video Diffusion）