🔊
Text-to-Speech (TTS)
텍스트를 자연스러운 음성으로 변환
현대 TTS는 과거의 규칙 기반/연결 합성에서 딥러닝 기반으로 진화했습니다. Tacotron/FastSpeech 같은 모델이 텍스트를 멜 스펙트로그램으로 변환하고, 보코더(WaveNet, HiFi-GAN)가 이를 파형으로 변환합니다. 최신 기술은 LLM 기반 TTS(VALL-E, Bark)로, 텍스트 → 오디오 토큰 → 파형 과정을 거칩니다. 3초의 참조 음성만으로 목소리를 복제하는 Zero-shot Voice Cloning이 가능해졌고, OpenAI의 GPT-4o는 텍스트 이해+음성 생성을 하나의 모델에서 처리합니다.
핵심 개념
1
텍스트 전처리: 정규화, 음소(phoneme) 변환, 운율 분석
2
텍스트 인코더: 음소 시퀀스를 잠재 표현으로 변환
3
디코더: 잠재 표현 → 멜 스펙트로그램 (시간-주파수 표현) 생성
4
보코더 (HiFi-GAN, WaveNet): 멜 스펙트로그램 → 오디오 파형 변환
5
최신 LLM 기반: 텍스트 → 오디오 토큰(Neural Codec) → 파형
6
후처리: 노이즈 제거, 볼륨 정규화
장점
- ✓ 인간과 구별 어려운 자연스러운 음성
- ✓ Zero-shot 음성 복제
- ✓ 감정/억양/속도 제어 가능
- ✓ 다국어 지원
단점
- ✗ 딥페이크/사기 악용 위험
- ✗ 감정 표현이 아직 불완전한 경우
- ✗ 긴 텍스트에서 안정성 저하
- ✗ 화자 동의 없는 음성 복제 윤리 문제
사용 사례
OpenAI TTS / GPT-4o 음성 모드
ElevenLabs 음성 클로닝
오디오북 자동 생성
실시간 AI 음성 어시스턴트
다국어 동시통역 TTS