Moonshot AI, 2.8T 규모 Kimi K3 오픈 웨이트 공개
Kimi K3 모델 가중치 및 기술 문서 공개: 2.8T 오픈 모델의 아키텍처와 학습 레시피 심층 분석
·2026.07.29 09:30
문샷 AI가 2.78조 개의 매개변수를 가진 MoE 모델 Kimi K3의 가중치와 기술 문서를 공개했다.
문샷 AI(Moonshot AI)가 총 **2.78조 개(활성 1,042억 개)**의 매개변수를 보유한 네이티브 멀티모달 MoE(Mixture of Experts) 모델인 Kimi K3의 가중치와 47쪽 분량의 기술 문서를 Hugging Face를 통해 공개했다.
Kimi K3는 오픈 모델의 규모 경쟁을 넘어, 사전 학습 토대(Pre-training foundation)를 3T급으로 끌어올리는 동시에 강화학습(RL)과 추론(Reasoning), 그리고 100만 토큰의 긴 컨텍스트를 지원하는 데 초점을 맞췄다. 특히 Kimi K2 대비 약 2.5배의 스케일링 효율 개선을 달성했다.
주요 아키텍처 특징은 다음과 같다:
- 정보 흐름의 세 가지 확장: 시퀀스 길이(KDA), 네트워크 깊이(AttnRes), 모델 폭(Stable LatentMoE)을 통해 정보를 확장한다.
- 하이브리드 어텐션: KDA(69개)와 Gated MLA(24개) 레이어를 혼합하여 사용한다.
- Stable LatentMoE: 모델의 폭을 확장하면서도 연산 효율을 높이는 구조를 채택했다.
- 네이티브 멀티모달: MoonViT-V2 비전 인코더를 통합하여 시각 정보를 처리한다.
- 양자화 기술: MXFP4 가중치 및 MXFP8 활성값을 사용하는 양자화 인식 학습(QAT)을 적용했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.