스피커 디아라이제이션이란

**스피커 디아라이제이션(Speaker Diarization)**은 스피커 수를 모르는 오디오 스트림을 입력받아, 누가 언제 말했는지를 나타내는 라벨이 붙은 타임라인을 생성하는 과정입니다. 시스템은 화자의 실제 신원을 알지 못하지만, 서로 다른 사람임을 구분하여 녹음 전체에서 일관된 라벨을 유지합니다.

이 기술은 회의록, 콜센터 분석, 인터뷰 전사, 팟캐스트 편집 등 화자 구분이 필수적인 멀티스피커 오디오 활용의 핵심입니다. 디아라이제이션은 화자가 바뀌는 시점을 찾는 **스피커 세그멘테이션(Speaker Segmentation)**과, 목소리를 실제 이름과 매칭하는 **스피커 식별(Speaker Identification)**과는 구별됩니다.

대부분의 디아라이제이션 시스템은 네 가지 단계의 파이프라인을 따릅니다.

• 음성 활동 감지(VAD): 침묵, 배경 소음, 음악 등을 제거하고 실제 음성만 추출합니다.
• 세그멘테이션: 화자가 바뀌는 것으로 추정되는 지점(음색 변화, 휴지 등)에서 오디오를 분할합니다.
• 임베딩 추출: 각 음성 구간의 음성 특성을 수치 벡터로 변환하여 화자 임베딩을 생성합니다.
• 클러스터링: 같은 화자의 임베딩을 그룹화하여 라벨을 부여합니다. 화자 수는 사전에 알 수 없으므로 알고리즘이 이를 추론합니다.

최종 출력은 시간 범위에 연결된 익명 화자 라벨과 전사본입니다. 성능은 전체 정확도를 측정하는 **디아라이제이션 에러 레이트(DER)**와 모든 화자에 걸쳐 정확도가 유지되는지 확인하는 **자카드 에러 레이트(JER)**로 평가됩니다.