Moonshot AI, 2.8T 규모 Kimi K3 공개

Moonshot AI가 자사의 최고 성능 모델인 Kimi K3를 공개했습니다. 이 모델은 2.8조(2.8T) 개의 매개변수를 가진 규모로, 문샷 AI는 이를 세계 최초의 오픈 3T급 모델이라고 소개했습니다.

주요 기술적 특징:

• 새로운 아키텍처: Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes)를 결합하여 정보 흐름을 최적화했습니다.
• MoE 구조: 896개의 전문가 중 16개만 활성화하는 Stable LatentMoE 프레임워크를 사용하여 연산 효율을 높였습니다.
• 멀티모달 및 컨텍스트: 네이티브 비전 능력을 갖추었으며, 100만(1M) 토큰의 긴 컨텍스트 윈도우를 지원합니다.
• 효율성: 이전 세대인 K2 대비 스케일링 효율을 약 2.5배 향상시켰습니다.

현재 Kimi K3는 API와 웹 서비스를 통해 즉시 사용 가능하지만, 전체 모델 가중치(Weights)는 2026년 7월 27일에 공개될 예정입니다. 해당 모델은 대규모 인프라를 전제로 설계되었으며, 특히 긴 호흡의 코딩 및 복잡한 추론 작업에 최적화되어 있습니다.