Moonshot AI, 2.8T 파라미터 오픈웨이트 모델 Kimi K3.1 Pro 공개

• Moonshot AI가 총 파라미터 2.8T, 활성 파라미터 104B 규모의 오픈웨이트 네이티브 멀티모달 에이전틱 모델 Kimi K3.1 Pro를 공개함
• 1,048,576 토큰 컨텍스트 윈도우를 지원하며, Gated DeepSeek Sparse Attention(Gated DSA)을 적용해 롱컨텍스트 효율성을 향상시킴
• 벤치마크 결과 Terminal-Bench 4.0에서 65.7, SWE Marathon v1.1에서 51.7, GPQA-Diamond에서 94.2를 기록함
• 가중치는 Hugging Face에서 Kimi K3.1 Pro License로 제공되며, platform.kimi.ai를 통한 API 접근 및 vLLM, SGLang, TokenSpeed 추론 지원이 가능함

Architecture and Specifications

• Mixture-of-Experts(MoE) 아키텍처로 93개 레이어, 896개 전문가, 토큰당 16개 전문가 선택 구성을 채택함
• 어텐션 구성은 69개 KDA 헤드와 24개 Gated DSA 헤드로 이루어지며, 히든 차원은 7168임
• 비전 인코더는 401M 파라미터의 MoonViT-V2를 사용하며, MXFP4 가중치와 MXFP8 활성화 양자화를 지원함

Evaluation and Deployment

• 코딩 벤치마크는 Claude Code 하네스를 사용해 평가했으며, BenchCAD는 17,900개 작업 중 1,000개를 샘플링하여 수행함
• 에이전틱 벤치마크 점수는 HLE-Full 70.0, BrowseComp 92.1, Automation Bench-AA 73.3임
• API 사용 시 멀티턴 대화에서 이전 어시스턴트의 reasoning_content와 tool_calls를 전달해야 하며, reasoning_effort는 기본적으로 max로 설정됨