AI BriefingRSI 기반 801-30B-A3B-Base, Qwen3-30B-A3B 성능 상회
[Paper] No Second Run: Does RSI Stop at Frontier Pre-training? - 801-30B-A3B-Base Coming Soon
·2026.11.15 20:21
핵심 내용
Gair NLP가 RSI를 적용해 Qwen3-30B-A3B를 능가하는 801-30B-A3B-Base를 공개했다.
자세히 보기
- Gair NLP가 프론티어 사전학습에서 재귀적 자기 개선(RSI)을 전체 프로덕션 시스템에 적용한 첫 모델인 801-30B-A3B-Base를 공개함
- 30B-A3B MoE 아키텍처를 기반으로 11.8T 토큰을 3개월간 학습하여 구축함
- 베이스 모델 기준 Qwen3-30B-A3B와 Nemotron-3.5-Lightning-30B-A3B를 능가하며, 더 큰 규모의 Qwen3.5-35B-A3B에 이어 두 번째 성능을 기록함
- 경량 SFT(6B 토큰, RL 미적용)만으로 Qwen3.6-35B-A3B 등 완전한 후학습 모델을 포함한 4개 에이전틱 벤치마크에서 최고 평균 점수를 달성함
- 단일 사전학습 실행의 높은 비용과 비재현성 문제를 해결하기 위해 RSI를 더 작은 루프로 분해하는 방식을 적용함
- 베이스 모델과 경량 SFT 데이터는 곧 오픈소스로 공개될 예정임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
