FireRedAudio, 9B 통합 오디오 LLM 공개

FireRedTeam이 FireRedAudio와 FireRedTTS3를 Hugging Face와 GitHub에 공개했다. FireRedAudio는 9B 파라미터 LLM을 기반으로 하며, 오디오 인코더(이해)와 RedAE 경로(생성)의 표현을 분리(decoupled)하는 설계로 ASR, 오디오 이해, 제로샷 TTS, 지시 기반 TTS, 음성 편집 등을 단일 모델로 수행한다.

1시간 분량의 오디오에 대해 정확한 시간 기반 정렬(temporal grounding)과 추론이 가능하며, MMAU, MMSU, Seed-TTS-Eval 등 주요 벤치마크에서 경쟁력 있는 성능을 보였다. FireRedTTS3는 의미적으로 풍부해진 음성 표현을 활용한 통합 음성 생성 및 편집 모델이다.