Meta, 816B MoE 모델 Muse Spark Open 공개

Meta가 오픈 웨이트 프론티어 멀티모달 MoE 모델 Muse Spark Open을 공개했다. 이 모델은 미국 오픈 웨이트 모델 중 가장 강력한 성능을 자랑하며, 기존 소형 밀집 모델 Muse Glimmer의 MoE 확장판으로 소개됐다.

아키텍처 및 사양

모델은 총 816B 파라미터를 보유하며, 토큰당 42B 활성 파라미터를 사용한다. 주요 아키텍처 세부 사항은 다음과 같다:

• 컨텍스트 윈도우: 최대 1M 토큰 (max_position_embeddings 1,048,576).
• 입력: 텍스트, 이미지, 오디오, 비디오.
• 출력: 텍스트.
• MoE 구조: 각 MoE 블록은 256개 전문가를 포함하며, 라우터가 토큰당 8개 전문가를 선택한다. 전문가가 전체 파라미터의 약 97%를 차지한다.
• 어텐션: QK-norm과 학습된 잔차 게이트가 적용된 그룹 쿼리 어텐션 (128개 쿼리 헤드, 16개 키-밸류 헤드, 헤드 차원 64).
• 인코더: 비전용 1.8B 파라미터 Perception Encoder와 초당 12.5 토큰을 생성하는 합성곱 피라미드 Audio Encoder.

배포 및 성능

Muse Spark Open은 BF16 (~1.5TB) 및 NVIDIA Blackwell GPU용 NVFP4 (4비트) 체크포인트로 제공된다. 816B 모델의 용량을 유지하면서 42B 모델 속도로 실행된다.

• 하드웨어 요구 사항: BF16은 4개 노드 x 8 H200 GPU (TP=32)가 필요하다. NVFP4는 단일 B200 노드에서 실행 가능하다.
• Llama.cpp: 사전 빌드된 바이너리와 통합. Mac M3 Ultra (512GB)에서 2비트 양자화 버전은 304 GB 메모리를 사용해 초당 18 토큰 속도를 달성한다.
• MLX: oQ3e 및 oQ4e 양자화를 지원한다. M3 Ultra에서 oQ3e는 약 344 GB 메모리를 사용하며, 1024 토큰 프롬프트 기준 초당 225 토큰 프리필 및 초당 21 토큰 생성 속도를 기록한다.
• SGLang 및 vLLM: 텍스트, 이미지, 오디오, 비디오 입력을 지원한다. NVFP4 변형은 Blackwell 시리즈 GPU가 필요하다.

추론 및 도구 사용

모델은 low, medium, high, xhigh (정수 16, 64, 256, 512에 매핑)의 설정 가능한 노력 수준으로 추론을 강제한다. 추론을 완전히 비활성화할 수 없으며, 간단한 작업에는 low가 권장된다. Harmony 기반 채널 템플릿을 통해 텍스트 및 멀티모달 도구 호출을 지원한다.

파인 튜닝

전체 816B 체크포인트에서 LoRA 파인 튜닝이 지원된다. 64개 H100 GPU (8개 노드 x 8개 GPU)를 사용하여 500단계 학습을 진행하면 약 2시간이 소요되며, 처리량은 초당 8,000 토큰이다. 이를 통해 평균 토큰 정확도가 **72%에서 84%**로 향상되고 손실 값이 1.26에서 0.57로 감소했다.