Moonshot AI, 2.8T 파라미터 Kimi K3 공개

Moonshot AI가 자사의 가장 강력한 모델인 Kimi K3의 가중치를 공개했습니다. 이 모델은 2.8T(2조 8천억) 파라미터 규모를 가진 세계 최초의 오픈 3T급 모델로 설계되었습니다.

주요 특징 및 기술 사양:

• 새로운 아키텍처: Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes)를 기반으로 하며, Stable LatentMoE 프레임워크를 통해 896개의 전문가 중 16개를 활성화하여 효율성을 극대화했습니다.
• 멀티모달 및 긴 컨텍스트: 텍스트, 이미지, 비디오를 동일 모델 내에서 이해하며, 100만 토큰의 컨텍스트 창을 지원합니다.
• 에이전트 역량: 코딩, 지식 작업, 복잡한 추론 및 시각적 도구 활용(CAD, 게임 개발, 칩 설계 등)에 최적화된 에이전트 기능을 제공합니다.
• 모델 규모: 총 파라미터 2.8T 중 활성 파라미터는 104B이며, 93개의 레이어로 구성되어 있습니다.

Kimi K3는 연구 및 배포를 위해 Kimi K3 라이선스 하에 오픈 웨이트로 제공됩니다.