🌀
ハルシネーション（幻覚）
AIが事実ではない内容をもっともらしく生成する現象
ハルシネーション（Hallucination）はLLMが事実ではない情報をもっともらしいテキストとして生成する現象です。Intrinsic Hallucination（学習データと矛盾する内容）とExtrinsic Hallucination（学習データにない内容を作り出す）に分けられます。原因はLLMの学習方式自体にあります。LLMは「次のトークン確率」を最大化するよう学習されており、「事実を述べるよう」学習されていません。統計的に最もありそうな次の単語を生成するため、事実と虚構を区別できません。RAG、Grounding、RLHF等で緩和できますが、完全な解決はまだ困難です。
キーコンセプト
1
ユーザーが特定の事実について質問
2
LLMが学習データから関連パターンを検索（正確な記憶ではなく確率的生成）
3
関連情報が不十分な場合、統計的にもっともらしい内容を「作り出す」
4
高い自信（confidence）で誤った情報を提示
5
ユーザーが事実確認なしに受け入れるリスク
6
緩和方法: RAG（外部文書参照）、Grounding（出典引用）、不確実性の表現（「〜かもしれません」）
メリット
- ✓ ハルシネーション研究を通じてLLMの限界を理解 → 安全な活用
- ✓ ハルシネーション検出/緩和技術発展の動機
- ✓ Factualityベンチマークの発展
デメリット
- ✗ 医療/法律等の高リスク分野で深刻な問題
- ✗ ユーザーがハルシネーションを検出しにくい
- ✗ 現在の技術で完全除去は不可能
- ✗ LLM信頼度の低下
ユースケース
存在しない論文/法律の引用
誤った歴史的事実の生成
架空のAPI/関数の提案
誤った数学計算過程
存在しない人物/事件の記述