Audio Tokenization (Neural Audio Codec)
오디오를 이산 토큰으로 변환하여 LLM처럼 처리
Audio Tokenization은 음성/오디오 AI의 패러다임을 바꾸고 있는 핵심 기술입니다. 과거 TTS는 텍스트→멜 스펙트로그램→파형이라는 연속적인 파이프라인이었지만, Neural Audio Codec은 오디오를 "토큰"으로 변환합니다. Meta의 EnCodec, Google의 SoundStream이 대표적입니다. 오디오를 인코더로 압축한 뒤 Residual Vector Quantization(RVQ)으로 여러 계층의 이산 코드북 인덱스로 변환합니다. 첫 번째 코드북은 의미/운율 정보(semantic), 이후 코드북들은 음질 세부사항(acoustic detail)을 담당합니다. 이렇게 만든 토큰 시퀀스를 Transformer로 생성하면, 텍스트 생성과 동일한 방식으로 고품질 오디오를 만들 수 있습니다. VALL-E, Bark, GPT-SoVITS 등이 이 패러다임을 활용합니다.
핵심 개념
오디오 파형을 CNN 인코더로 잠재 표현(latent)으로 압축
Residual Vector Quantization(RVQ): 잠재 표현을 여러 계층의 코드북으로 양자화
1단계 코드북: 의미/운율 정보 (semantic tokens) — 가장 중요한 정보
2~8단계 코드북: 음질 세부사항 (acoustic tokens) — 점진적으로 디테일 추가
CNN 디코더가 양자화된 코드로부터 오디오 파형을 복원
결과: 오디오가 텍스트처럼 이산 토큰 시퀀스로 표현됨 → Transformer 입력 가능
장점
- ✓ 오디오를 텍스트처럼 Transformer로 처리 가능
- ✓ LLM의 발전을 음성/오디오에 그대로 적용
- ✓ 매우 높은 압축률 (24kHz → 초당 75토큰)
- ✓ 멀티모달 통합 모델의 기반 (텍스트+오디오 같은 토큰 공간)
단점
- ✗ 양자화 과정에서 음질 손실
- ✗ 코드북 크기/계층 수 튜닝 필요
- ✗ 긴 오디오에서 일관성 유지 어려움
- ✗ 학습 데이터 대량 필요 (코덱 자체 학습)