ElevenLabs, AI 음성 생성 원리와 탐지 방법 공개

• 합성 음성은 음성 데이터 수집, 신경망 AI 모델 학습 또는 파인튜닝, 텍스트 기반 오디오 생성의 3단계 과정을 통해 생성됨
• 2025년 조사에서 소비자의 70%가 AI 음성 에이전트를 식별할 수 있다고 답했으나, 실제로는 90%가 이를 정확히 판별하지 못함
• 음성 클로닝은 두 가지 등급으로 나뉨: 인스턴트 클로닝은 2분 미만의 오디오로 가능하고, 프로페셔널 클로닝은 더 높은 충실도를 위해 30분에서 3시간까지의 샘플과 신원 확인이 필요함
• 현대 AI 음성은 프로소디(리듬과 억양)와 문맥 인식 덕분에 자연스러움을 구현하며, 텍스트 의미에 따라 전달 방식을 조정함

음성 합성 기술

• 신경망 텍스트-음성 변환 모델은 대규모 데이터셋에서 발음과 리듬을 학습하며, 사전 녹음된 소리를 조합하던 기존 표준 모델을 대체함
• 생성형 텍스트-음성 변환 모델은 텍스트의 의미를 활용해 감정, 속도, 강조를 결정하며, 지시를 통해 전달 방식을 커스터마이징할 수 있음
• Voice Design을 사용하면 인간 오디오 녹음 없이 텍스트 설명만으로 합성 음성을 생성할 수 있음

탐지 및 보안

• 탐지 도구는 워터마크 오디오의 출처를 확인하는 워터마크 탐지와 AI 생성 확률을 추정하는 분류기 기반 탐지로 구성됨
• 합성 음성의 흔한 징후에는 고르지 않은 속도, 이상한 호흡 소리, 발음 오류, 밋밋하거나 부적절한 감정이 포함됨
• ElevenLabs는 자사 모델로 생성된 오디오를 식별하는 Speech Classifier를 제공하며, 딥페이크 탐지 이니셔티브를 위해 Reality Defender와 파트너십을 맺음