Zyphra, ZAYA1-8B 공개

Zyphra가 ZAYA1-8B를 공개했다. 이 모델은 AMD Instinct MI300 스택에서 pretraining, midtraining, SFT까지 모두 수행한 첫 MoE 모델로, 10억 미만 활성 파라미터로 수학·코딩·추론 성능을 끌어올렸다.

• 아키텍처: Compressed Convolutional Attention(CCA), MLP 기반 expert router, learned residual scaling을 적용했다.
• 클러스터: 1,024개 MI300x 노드와 AMD Pensando Pollara 인터커넥트를 쓰는 IBM 구축 클러스터에서 학습했다.
• 후처리: SFT → reasoning warmup → RLVE-Gym → 수학/코드 RL → RLHF/RLAIF의 5단계 파이프라인을 거쳤다.

Markovian RSA도 함께 제시됐다. 병렬 다중 트레이스 생성과 고정 길이 chunking을 결합해 긴 추론을 처리하며, 기사 수치 기준으로 HMMT'25 89.6점을 기록해 Claude 4.5 Sonnet·GPT-5-High의 88.3점을 넘겼고, APEX-shortlist에서는 5.5M 토큰/문제 설정에서 DeepSeek-V3.2와 GPT-OSS-High를 앞섰다.

모델 가중치는 Hugging Face에서 공개됐고, Apache-2.0 라이선스로 배포된다. 서비스는 Zyphra Cloud의 serverless endpoint로도 제공된다.