Kimi-K3.1-Pro: 2.8T MoE 아키텍처, 100만 토큰 컨텍스트

Moonshot AI가 공개한 Kimi K3.1 Pro는 텍스트와 이미지를 동시에 처리하는 오픈 웨이트 멀티모달 모델이다. 총 파라미터 2.8T 규모의 Mixture-of-Experts 구조를 채택했으며, 토큰당 104B의 활성 파라미터만 가동해 효율성을 높였다. 100만 토큰에 달하는 긴 컨텍스트 윈도우를 지원해 방대한 문서나 코드베이스를 한 번에 분석할 수 있다.

코딩, 3D 생성, 금융 리서치, 사실 정확도 등 에이전트 작업 전반에서 성능을 끌어올렸다. 특히 Gated DeepSeek Sparse Attention을 적용해 기존 K3 대비 장문 컨텍스트 모델링 효율을 개선했다. MXFP4 가중치와 MXFP8 활성화를 통한 양자화 인식 학습으로 메모리 사용량도 최적화했다.

Terminal-Bench 4.0에서 65.7점을 기록하며 Claude Opus 5.5와 유사한 수준의 코딩 능력을 보였다. HLE-Full w/ tools 벤치마크에서는 70.0점으로 상위권 성능을 입증했다. vLLM, SGLang, Transformers 등 주요 추론 프레임워크와 호환되어 OpenAI 호환 API를 통해 즉시 배포할 수 있다.

복잡한 도구 호출과 다단계 추론이 필요한 에이전트 시스템 구축에 적합하다. 긴 문맥을 유지하면서 정밀한 코드 생성과 데이터 분석이 요구되는 개발 환경에서 활용 가치가 높다. 자체 벤치마크인 Kimi Code Bench 3.0 Long-horizon에서도 61.2점을 얻으며 장기 과제 수행 능력을 확인했다.