ZAYA1-8B, R1급 수학 성능
ZAYA1-8B: An 8B Moe Model with 760M Active Params Matching DeepSeek-R1 on Math
Zyphra가 760M 활성 파라미터 MoE 모델 ZAYA1-8B를 공개했다.
Zyphra가 ZAYA1-8B를 공개했다. 8.4B total / 760M active MoE 구조로, 자체 평가 기준 DeepSeek-R1급 수학 성능을 내는 소형 모델이다.
Zyphra 자체 벤치마크에서는 AIME 2026 89.1, HMMT 71.6, LiveCodeBench 65.8를 기록했다. base score와 RSA-boosted score를 따로 제시했으며, 수치들은 모두 Zyphra의 자체 평가다.
- Markovian RSA는 긴 reasoning chain을 한 번에 쌓지 않고 chunk 단위로 나눠, 각 단계의 tail만 다음 추론의 씨앗으로 넘긴다.
- 이 방식으로 context window를 제한하면서도 더 많은 test-time compute를 활용하도록 설계했다.
- Zyphra는 모델과 추론 방식을 함께 학습시켰고, 같은 RSA를 Qwen3-4B에 붙였을 때보다 성능 상승폭이 작다고 밝혔다.
학습은 AMD Instinct MI300X 기반 1,024노드 클러스터에서 전부 진행됐다. pretraining, midtraining, supervised fine-tuning까지 AMD 스택만 사용했다.
다만 범용 에이전트 성능은 약하다. BFCL-V4 39.22, TAU2 43.12로 tool calling이 약했고, IFBench 52.56, EQBench 72.95, Creative Writing 62.97도 강점은 아니다.
가중치는 Hugging Face에 Apache 2.0으로 공개됐고, Zyphra Cloud에서도 사용할 수 있다. 로컬 추론에는 Zyphra 포크의 vLLM이 필요하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.