音声モデルの進化
ルールベース → ディープラーニングパイプライン → トークンベース → 統合マルチモーダル
音声合成技術は5段階の大きな転換を経てきました。
第1世代（1960s〜1990s） — ルールベース/連結合成: 音素別の音声断片を録音してつなぎ合わせ（concatenative）またはフォルマント合成規則で生成。ロボットのような音声が特徴。
第2世代（2000s〜2015） — 統計的パラメトリック: HMM（Hidden Markov Model）ベース。音声の統計モデルを学習してパラメータから生成。自然さは向上したが依然として機械的。
第3世代（2016〜2022） — ディープラーニングパイプライン: Tacotron/FastSpeechがテキスト→メルスペクトログラムを生成、WaveNet/HiFi-GANがボコーダーとして波形に変換。人間に近い自然さを達成。しかしテキストエンコーダー→メルデコーダー→ボコーダーという多段階パイプラインが必要。
第4世代（2023〜現在） — トークンベースLLM方式: Neural Audio Codec（EnCodec、SoundStream）でオーディオを離散トークンに変換。Transformerがテキストトークン→オーディオトークンを生成。VALL-E、Bark、GPT-SoVITSが代表的。3秒の音声だけで話者複製（Zero-shot）、感情/抑揚の自然な伝達。
第5世代（未来） — 統合マルチモーダルモデル: GPT-4oのようにテキスト・音声・画像を一つのトークン空間で処理。別途TTSモジュールなしでend-to-endの自然な会話。リアルタイム感情理解と音声表現が統合。
キーコンセプト
第1世代: 音素DBから断片を探してつなぎ合わせ（Concatenative） — 単調で不自然
第2世代: HMMで音声パラメータをモデリング → ボコーダーで合成 — 自然さ↑、しかし機械的
第3世代: Tacotron/FastSpeech（テキスト→メル）+ WaveNet/HiFi-GAN（メル→波形） — 人間レベルの自然さ
第4世代: Neural Audio Codecでトークン化 → Transformerがトークン生成 — Zero-shot音声複製が可能
第5世代（未来）: テキスト+音声+画像を一つのトークン空間で統合処理 — 真のマルチモーダル対話AI
メリット
- ✓ 世代ごとに自然さと表現力が飛躍的に向上
- ✓ トークンベースでLLM技術を音声に直接適用
- ✓ Zero-shot音声複製でデータ収集負担を軽減
- ✓ 統合マルチモーダルはリアルタイム対話AIの核心
デメリット
- ✗ ディープフェイク/ボイスフィッシング悪用リスクが急増
- ✗ トークンベースモデルの学習データが大量に必要
- ✗ リアルタイムストリーミングでの遅延時間の課題
- ✗ 話者の同意なき音声複製の倫理問題