추천YuE2-3B: Suno v5 넘은 오픈소스 음악 생성, 악보 편집까지 지원

가사와 스타일 프롬프트만으로 보컬과 반주가 포함된 완곡을 생성한다. WildSongBench 기준 Suno v5를 상회하는 SongBench 평균 점수 6.9632를 기록하며 오픈소스 모델 중 최고 성능을 입증했다.

생성된 곡은 ABC 악보 형식의 편집 가능한 스코어로 제공된다. AI 에이전트가 사용자의 피드백을 반영해 화성, 멜로디, 가사를 수정하면 모델이 이를 즉시 반영해 새로운 버전을 렌더링한다. 기존 생성형 AI의 '블랙박스' 한계를 넘어 세밀한 음악적 조정이 가능하다.

기존 음원을 재해석하는 커버 생성 기능도 지원한다. 원곡의 멜로디를 추출해 새로운 스타일로 편곡할 수 있으며, SHS100K 벤치마크에서 높은 정확도를 보인다. 24GB VRAM을 갖춘 GPU에서 양자화 없이 48kHz 스테레오 오디오를 로컬로 처리한다.

RTX 4090 기준 3.6분 분량의 곡을 약 71초 만에 생성한다. AR-NAR Mixture-of-Transformers 구조와 Flow Matching을 결합해 악보 계획과 음향 합성을 분리 수행하며, Hugging Face 생태계와 연동해 파이프라인을 유연하게 구성할 수 있다.