음성 모델의 진화
규칙 기반 → 딥러닝 파이프라인 → 토큰 기반 → 통합 멀티모달
음성 합성 기술은 5단계의 큰 전환을 거쳐 왔습니다.
1세대 (1960s~1990s) — 규칙 기반/연결 합성: 음소별 음성 조각을 녹음하여 이어붙이기(concatenative) 또는 포먼트 합성 규칙으로 생성. 로봇 같은 음성이 특징.
2세대 (2000s~2015) — 통계적 파라메트릭: HMM(Hidden Markov Model) 기반. 음성의 통계적 모델을 학습하여 파라미터에서 생성. 자연스러움이 향상되었지만 여전히 기계적.
3세대 (2016~2022) — 딥러닝 파이프라인: Tacotron/FastSpeech가 텍스트→멜 스펙트로그램 생성, WaveNet/HiFi-GAN이 보코더로 파형 변환. 인간에 가까운 자연스러움 달성. 하지만 텍스트 인코더→멜 디코더→보코더라는 다단계 파이프라인이 필요.
4세대 (2023~현재) — 토큰 기반 LLM 방식: Neural Audio Codec(EnCodec, SoundStream)으로 오디오를 이산 토큰으로 변환. Transformer가 텍스트 토큰→오디오 토큰을 생성. VALL-E, Bark, GPT-SoVITS가 대표적. 3초 음성만으로 화자 복제(Zero-shot), 감정/억양 자연스러운 전달.
5세대 (미래) — 통합 멀티모달 모델: GPT-4o처럼 텍스트·음성·이미지를 하나의 토큰 공간에서 처리. 별도 TTS 모듈 없이 end-to-end로 자연스러운 대화. 실시간 감정 이해와 음성 표현이 통합.
핵심 개념
1세대: 음소 DB에서 조각을 찾아 이어붙이기 (Concatenative) — 단조롭고 부자연스러움
2세대: HMM으로 음성 파라미터 모델링 → 보코더로 합성 — 자연스러움 ↑, 그러나 기계적
3세대: Tacotron/FastSpeech(텍스트→멜) + WaveNet/HiFi-GAN(멜→파형) — 인간급 자연스러움
4세대: Neural Audio Codec으로 토큰화 → Transformer가 토큰 생성 — Zero-shot 음성 복제 가능
5세대(미래): 텍스트+음성+이미지를 하나의 토큰 공간에서 통합 처리 — 진정한 멀티모달 대화 AI
장점
- ✓ 세대마다 자연스러움과 표현력 비약적 향상
- ✓ 토큰 기반으로 LLM 기술을 음성에 직접 적용
- ✓ Zero-shot 음성 복제로 데이터 수집 부담 감소
- ✓ 통합 멀티모달은 실시간 대화 AI의 핵심
단점
- ✗ 딥페이크/보이스피싱 악용 위험 급증
- ✗ 토큰 기반 모델의 학습 데이터 대량 필요
- ✗ 실시간 스트리밍에서 지연 시간 과제
- ✗ 화자 동의 없는 음성 복제 윤리 문제