분리된 시간적 깊이 Diffusion Transformer를 이용한 메모리 효율적 오디오 합성

애플의 AFM 3 Core Advanced 온디바이스 파운데이션 모델을 기반으로 하는 Siri Expressive Voices는 실시간으로 풍부하고 설정 가능한 음성을 생성한다. 이를 위해 애플은 **AMX(Apple Matrix Coprocessor)**의 제한된 컴퓨팅 및 메모리 예산 내에서 작동하는 효율적인 디토크나이저(Detokenizer) 아키텍처를 도입했다.

핵심 기술은 시맨틱 오디오 토큰을 RVQ(Residual Vector Quantization) 표현으로 변환하는 것으로, 스트리밍 인코더, 시간적 디코더, 깊이 디코더가 결합된 3개 컴포넌트 설계를 통해 시간적 처리와 깊이 처리를 체계적으로 분리했다. 특히 DiT(Diffusion Transformer) 스타일의 스테이지 컨디셔닝을 사용하는 재사용 가능한 단일 깊이 디코더를 통해 기존의 다중 디코더 구조를 대체했다.

주요 기술적 특징은 다음과 같다:

• 고정 윈도우 KV 캐싱을 활용한 인과적 슬라이딩 윈도우 어텐션으로 시퀀스 길이에 관계없이 일정한 메모리 복잡도 유지
• AMX 배포 시 생성 단계당 약 10ms 소요 (실시간 대비 약 16배 빠름)
• 피크 런타임 메모리 약 21MB, 온디바이스 자산 329MB의 매우 작은 메모리 점유율
• 기존 트랜스포머 및 GAN 기반 방식의 선형/이차적 메모리 스케일링 문제를 해결

이 아키텍처는 실제 애플 기기의 Siri Expressive Voices에 적용되어 사용자가 음성의 속도(Pace)와 표현력(Expressivity)을 조절할 수 있게 한다. 기존 온디바이스 TTS 시스템 대비 **MOS(Mean Opinion Score)**가 전체적으로 +0.28(4.15 vs 3.87) 상승했으며, 특히 대화형 음성에서는 +0.42(4.24 vs 3.82)의 성능 향상을 기록했다.