15B 슈퍼넷 공개

SuperApriel-15B-Instruct는 15B 파라미터 token-mixer supernet으로, 하나의 체크포인트에서 8개 배포 프리셋을 선택해 32K 시퀀스 기준 1.0x~10.7x decode throughput을 제공한다.

• 기반 모델: Apriel-1.6-15b-Thinker
• 학습 1단계: frozen teacher로부터 stochastic distillation, 266B tokens 사용
• 학습 2단계: targeted SFT, 60B tokens 사용
• 구조: 48 decoder layers, 각 레이어에 4개 mixer 변형
• 컨텍스트 길이: 262K positions(runtime 의존)

프리셋은 품질과 속도를 절충하며, 예를 들어 all-attention은 74.2의 평균 정확도와 100% 품질 유지를 보이고, Reg|Lklhd-10은 10.69x 속도 향상 대신 평균 정확도가 57.2까지 내려간다.

벤치마크에서는 수학·추론·코딩 등 여러 항목을 함께 제시했고, 다른 하이브리드 모델과 비교해 Super Apriel의 속도/정확도 균형을 강조한다. 서빙은 vLLM + Fast-LLM plugin을 권장하며, single-preset mode와 런타임 전환이 가능한 supernet mode를 지원한다.