Kimi-K3: 2.8T 파라미터 오픈웨이트 멀티모달 에이전트

2.8T 파라미터 규모의 오픈웨이트 멀티모달 에이전트 모델이다. Kimi Delta Attention과 Stable LatentMoE 아키텍처를 적용해 896개 전문가 중 16개를 활성화하며, Kimi K2 대비 약 2.5배의 확장 효율을 달성했다. 총 104B 파라미터가 작동하는 MoE 구조로, 100만 토큰 컨텍스트 윈도우를 지원한다.

텍스트, 이미지, 영상을 단일 모델에서 처리하는 네이티브 멀티모달 기능을 제공한다. 장시간 코딩 세션에서 대용량 저장소를 탐색하고 터미널 도구를 제어하며, GPU 커널 최적화나 칩 설계 같은 복잡한 엔지니어링 작업을 수행한다. 연구 보고서 작성부터 인터랙티브 시각화, 모션 디자인까지 지식 작업을 자동화한다.

MXFP4 가중치와 MXFP8 활성화를 사용하는 양자화 인식 학습으로 배포 효율을 높였다. FrontierSWE 벤치마크에서 81.2점을 기록하며 경쟁 모델 대비 높은 성능을 보인다. Kimi K3 라이선스 하에 전체 모델 가중치를 공개해 연구 및 상용 배포가 가능하다.