애플칩 음악생성

ACE-Step 1.5를 MLX로 Apple Silicon에서 돌려본 실사용 메모다.

모델은 2단계 구조다. 먼저 언어 모델이 곡의 템포, 키, 구조, 편곡, 가사 등을 계획하고, 그 뒤 diffusion transformer가 실제 오디오를 생성한다.

• 메모리: 추론 중 활성 사용량이 4GB 미만 수준으로 유지됐다. 모델 로드 시에는 더 올라가지만, 16GB면 여유가 있고 8GB도 가능하나 빡빡하다.
• 속도: M2 Air 기준 60~90초 트랙 생성에 2~4분 정도 걸렸다. M3 Pro는 대략 2배 빠르다. M1도 동작하지만 긴 출력에서 체감상 느리다.
• 정밀도: 기본은 fp16, bf16도 가능했고, 청감상 품질 차이는 크지 않았다고 한다.
• 품질: PyTorch/CUDA 기준 구현과 비교해도 블라인드로 구분하기 어려울 정도였고, 일부 결과가 약간 나빠 보여도 시드 차이 수준으로 보였다.

잘 되는 영역도 비교적 분명하다.

• 로파이, 시네마틱, 힙합, 트랩, 앰비언트, 일렉트로닉 같은 기악 장르
• 영어/스페인어 보컬, 일본어/힌디어도 사용 가능
• 음색 디스크립터가 실제 결과에 반영됨: 예를 들어 warm analog tape saturation, dry stadium kick, vinyl crackle 같은 표현이 소리에 영향을 준다
• BPM과 키 지시도 꽤 정확하게 따라간다

한계도 있다.

• 복잡한 프롬프트는 5~10회 재시도가 필요할 수 있다
• 빠른 보컬은 발음 선명도가 클라우드 상용 모델보다 약하다
• 특정 악기나 편곡 위치를 직접 제어하는 기능은 없다
• 곡 내부 전환부가 다소 급하게 들릴 수 있다

추가로, 저장소는 LoRA 어댑터도 지원해서 소수 레퍼런스로 스타일을 학습하는 흐름이 가능하다고 적었다. 작성자는 이를 Mac 앱 LoopMaker로도 묶어뒀지만, 처음엔 MLX와 Python으로 직접 돌려보는 걸 추천한다.