AI가 만들어내는 나만의 목소리(SK AI SUMMIT 발표 사례)

2025년 11월 4일 열린 SK AI SUMMIT 2025 둘째 날 Special Session에서 SK플래닛 김우주 매니저가 AI Voice Conversion 기술을 발표했다. 핵심은 단순한 Text2Speech를 넘어, 입력 화자의 발화 패턴과 리듬을 유지하면서도 목표 화자의 음색과 톤으로 바꾸는 방식이다.

기존 Speech Voice Conversion은 Source와 Target 모두 음성을 입력으로 받아, source의 내용과 리듬은 살리고 target의 화자 특성만 입히는 구조다. 여기에 Text까지 포함하면 TTS with voice conversion에 가까워지며, 실제 서비스 수준의 자연스러운 합성을 위해서는 Denoising, Speech Enhancement, Source Separation 같은 전처리도 필요하다.

Singing Voice Conversion은 구조는 비슷하지만, 노래의 내용, 리듬, 멜로디를 유지한 채 target 화자의 음색으로 재생성한다. 여기에 pitch 조건과 보컬·반주를 합치는 Mixing 단계가 추가되며, 결국 내가 부르는 다른 가수의 노래처럼 들리는 결과를 만든다.

파이프라인은 Feature Extractor와 Generator 중심으로 정리된다.

• Feature Extractor

  • Mel-Spectrogram으로 음성의 주파수 특성과 프로소디를 표현
  • Pitch Extractor가 F₀(Fundamental Frequency) 곡선을 추출해 음높이 변화를 정리
  • Semantic Encoder가 가사·리듬·멜로디 같은 내용 정보를 분리
  • Style Encoder가 음색, 톤, 발성법 같은 스타일 정보를 인코딩

• Generator

  • Timbre Extractor가 target 음색을 정제해 timbre leakage를 줄임
  • Length Regulator가 semantic 정보와 acoustic frame 길이를 맞춰 정렬
  • **Diffusion Transformer Decoder (U-DiT)**가 style, pitch, semantic을 결합해 고품질 Mel-Spectrogram을 생성
  • **Vocoder (BigVGAN)**가 이를 실제 waveform으로 복원해 최종 음성을 완성

이 구조의 핵심은 Zero-Shot VC Network다. 훈련 데이터에 없던 새로운 화자도 짧은 5~10초 분량의 음성만으로 변환·합성이 가능하도록 일반화하며, 화자 특성과 발화 스타일을 분리해 제어한다.

품질 평가는 Speaker Cosine Similarity로 화자 유사도를, F₀ Correlation과 F₀ RMSE로 피치 궤적의 유사성과 오차를 본다. 음색이 잘 맞을수록 similarity는 높아지고, 피치가 자연스럽게 유지될수록 correlation은 높고 RMSE는 낮아진다.

한계도 분명하다. 실시간 대응에는 GPU 자원 부담이 크고, 고품질 음성·노래 데이터는 부족하며 저작권 이슈도 있다. 또한 변환 후 원 화자의 음색이 흐려지거나 유사한 스타일로 수렴할 수 있어, 모델 경량화, 데이터 증강, speaker embedding 정교화, style extractor fine-tuning 같은 보완이 필요하다.