ArtifactNet: 코덱 물리학으로 AI 생성 음악을 탐지하는 경량 포렌식 프레임워크

Suno, Udio, MusicGen, Stable Audio 같은 상용 AI 음악 생성기는 모두 Residual Vector Quantization (RVQ) 를 거친다는 점을 탐지의 출발점으로 삼는다.

RVQ는 연속 오디오를 이산 코드북 벡터로 매핑하며, 이 과정에서 생기는 양자화 갭은 비가역적이다. 인간 음악만으로 학습된 음원 분리 모델이 AI 생성 오디오를 처리하면, 이 갭이 비정상적으로 크고 구조화된 재구성 잔차로 드러나고, 이것을 포렌식 신호로 사용한다.

기존 탐지기인 CLAM, SpecTTTra는 학습 분포 안에서는 동작하지만 새로운 생성기에는 쉽게 무너진다. 반면 ArtifactNet은 “어떻게 들리는가”가 아니라 “왜 물리적으로 다른가”를 잡아낸다.

구성은 총 4.0M 파라미터다.

• ArtifactUNet (3.6M): STFT magnitude에 대해 [0, 0.5] 범위의 곱셈 마스크를 예측하는 bounded-mask UNet
• 2단계 지식 증류: Demucs v4의 잔차를 교사로 사용
• 7채널 HPSS 포렌식 피처: 잔차를 조화음/타악음 성분으로 분해하고, 시간 미분과 spectral flux를 결합
• 경량 CNN (0.4M): 4초 세그먼트를 처리하고 곡 단위로 중앙값 판정

포렌식 근거로는 음원 분리 잔차의 유효 대역폭을 측정했다(n=94).

• 인간 음악: 평균 1,996 Hz
• AI 평균(22개 생성기): 291 Hz
• Suno v3.5: 170 Hz
• Riffusion: 219 Hz
• MusicGen: 255 Hz

생성기 구조와 무관하게 모든 AI 생성기가 대체로 200 Hz 부근에 몰렸다.

ArtifactBench 성능은 6,183트랙, 22개 생성기, 학습-테스트 중복 없음 기준이다.

• ArtifactNet: F1 0.983, FPR 1.5%, 4M parameters
• CLAM: F1 0.758, FPR 69.3%, 194M parameters
• SpecTTTra: F1 0.771, FPR 19.4%, 19M parameters

특히 CLAM은 실제 음악을 AI로 오탐하는 비율이 **69.3%**라 판별기로서 사실상 쓸 수 없는 수준이라고 지적한다. SONICS/MoM 벤치마크는 real 세트가 YouTube ID 중심이라 삭제·비공개 문제로 원본 기준 비교가 어렵고, ArtifactBench는 직접 수집·검증한 real 파티션으로 동일 조건 비교를 제공한다.

한계도 분명하다.

• 44.1kHz 입력이 필요
• 저비트레이트 MP3에서는 FPR 약 8%
• 단일 패스 Demucs 세탁 공격 시 **TPR 94%**로 감소
• 최신 Udio TPR 87%

데모, 논문, 모델과 벤치마크가 함께 공개됐고, 모델은 CC BY-NC 4.0 라이선스로 배포된다. 특허는 KR + PCT로 출원 중이다.