🎵
オーディオトークン化（Neural Audio Codec）
オーディオを離散トークンに変換してLLMのように処理
Audio Tokenizationは音声/オーディオAIのパラダイムを変えている核心技術です。かつてのTTSはテキスト→メルスペクトログラム→波形という連続的なパイプラインでしたが、Neural Audio Codecはオーディオを「トークン」に変換します。MetaのEnCodec、GoogleのSoundStreamが代表的です。オーディオをエンコーダーで圧縮した後、Residual Vector Quantization（RVQ）で複数階層の離散コードブックインデックスに変換します。最初のコードブックは意味/韻律情報（semantic）、以降のコードブックは音質の詳細（acoustic detail）を担当します。こうして作ったトークンシーケンスをTransformerで生成すれば、テキスト生成と同じ方式で高品質オーディオを作成できます。VALL-E、Bark、GPT-SoVITS等がこのパラダイムを活用しています。
キーコンセプト
1
オーディオ波形をCNNエンコーダーで潜在表現（latent）に圧縮
2
Residual Vector Quantization（RVQ）: 潜在表現を複数階層のコードブックで量子化
3
第1段階コードブック: 意味/韻律情報（semantic tokens） — 最も重要な情報
4
第2〜8段階コードブック: 音質の詳細（acoustic tokens） — 段階的にディテールを追加
5
CNNデコーダーが量子化されたコードからオーディオ波形を復元
6
結果: オーディオがテキストのように離散トークンシーケンスで表現 → Transformer入力可能
メリット
- ✓ オーディオをテキストのようにTransformerで処理可能
- ✓ LLMの発展を音声/オーディオにそのまま適用
- ✓ 非常に高い圧縮率（24kHz → 1秒あたり75トークン）
- ✓ マルチモーダル統合モデルの基盤（テキスト+オーディオが同じトークン空間）
デメリット
- ✗ 量子化過程での音質損失
- ✗ コードブックサイズ/階層数のチューニングが必要
- ✗ 長いオーディオでの一貫性維持が困難
- ✗ 学習データが大量に必要（コーデック自体の学習）
ユースケース
VALL-E（Microsoft） — 3秒の音声で複製
Bark（Suno） — テキスト→音声+音楽+効果音
MusicGen（Meta） — テキスト→音楽生成
GPT-SoVITS — Few-shot音声合成
AudioLM（Google） — オーディオ連続生成