오디오 딥페이크 탐지: 통계 분석 대 워터마킹의 사기 방지 전략

AI 음성 합성 기술의 확산으로 인간 귀로는 딥페이크 식별이 불가능해짐에 따라, 사기 및 정치적 선전 목적의 AI 음성 탐지가 중요해졌다. 연구에 따르면 인간의 탐지 능력은 우연과 차이가 없다.

통계적 탐지 기법

기존 도구는 기계 학습으로 오디오 패턴을 분석한다. 과정은 세 단계다.

• 전처리: 오디오를 스펙트로그램 데이터로 변환
• 특징 추출: 합성 음성 특유의 피치, 톤, 타이밍 불규칙성 식별
• 분류: 확정적 답변 대신 신뢰도 점수 산출

이러한 도구는 학습 데이터에 의존하므로 새로운 음성 클로닝 아키텍처가 등장할 때마다 재학습이 필요하다.

워터마킹 기술

워터마킹은 오디오에 들리지 않는 수학적 서명을 삽입해 결정론적 검증을 가능하게 한다. 서명 추출, 키 매칭, 출처 확인 과정을 거치며 정확한 판정을 내리지만 특정 공급업체에 종속된다. 예를 들어 ElevenLabs의 Audio Detector는 ElevenLabs 제품 생성 음성은 높은 정확도로 검증하지만 타사 워터마킹은 탐지하지 못한다.

탐지 스택 구축

은행 등 대규모 사기 탐지가 필요한 조직은 단일 도구가 아닌 다층적 접근이 필수다. 견고한 음성 탐지 스택에는 다음이 포함돼야 한다.

• 주요 합성 공급업체용 오디오 워터마킹 탐지기
• 오디오 확률 점수를 매기는 음성 분류기
• 통화 메타데이터 분석을 위한 전화 및 네트워크 텔레메트리
• 화자 의도와 사기 위험을 평가하는 행동 생체 인식

워터마킹은 특정 출처에 대해 정확도가 높으나, 다양한 오디오 소스를 실시간으로 모니터링하려면 통계 분류기 및 기타 텔레메트리와 결합해야 한다.