👥
RLHF
人間フィードバックに基づく強化学習
RLHFはOpenAIのInstructGPT論文で普及した技法で、ChatGPTの核心技術です。Pre-training → SFT（Supervised Fine-Tuning） → RLHFの3段階パイプラインで進行します。まず人間が直接作成した模範応答でSFTを行い、次にモデルが生成した複数の応答を人間がランク付けしたデータで報酬モデル（Reward Model）を学習します。最後にPPO（Proximal Policy Optimization）アルゴリズムで報酬モデルのスコアを最大化するようLLMを更新します。この過程を通じてモデルが「役に立ち、無害で、正直な」応答を生成するよう整列（Alignment）されます。
キーコンセプト
1
第1段階SFT: 人間が作成した模範応答で指示追従（Instruction Following）を学習
2
第2段階報酬モデル学習: 同じプロンプトに対しモデルが複数応答を生成 → 人間がランク付け
3
ランキングデータで報酬モデル（Reward Model）を学習 — 「良い応答」のスコアを高くするように
4
第3段階PPO強化学習: LLMが応答生成 → 報酬モデルがスコア付け → 高スコアを得る方向に重みを更新
5
KLダイバージェンスペナルティで元モデルから離れすぎないよう制約
6
繰り返してモデルが人間の選好に合う応答を生成するよう収束
メリット
- ✓ 人間の価値観に合った応答を生成
- ✓ 有害/偏った出力の減少
- ✓ 指示追従能力の劇的向上
- ✓ 数値化しにくい「品質」を学習可能
デメリット
- ✗ 人間による評価コストが高い
- ✗ 報酬ハッキング（Reward Hacking） — スコアだけを上げる小細工を学習
- ✗ PPO学習の不安定さ
- ✗ 評価者の偏りがモデルに反映
ユースケース
ChatGPT（InstructGPT → GPT-3.5 → GPT-4）
Claude（Constitutional AI + RLHF）
Gemini
有害コンテンツ拒否の学習