Kimi K3의 설계 비밀은 사고 과정(Thinking Traces)에 있을지도 모른다

Moonshot AI의 최신 오픈 웨이트 모델인 Kimi K3가 Frontend Arena에서 Elo 1392를 기록하며 1위를 차지했습니다. 이는 이전 모델인 Kimi K2.6 및 K2.7 Code보다 월등히 높은 성적입니다.

Kimi K3의 핵심 성능 비결은 압도적인 양의 사고 토큰(Thinking Tokens) 사용에 있습니다. Kimi K3는 Claude Opus 4.8보다 12배 이상, Kimi K2.6보다 2배 이상 많은 추론 과정을 거칩니다.

분석 결과, Kimi K3는 단순한 추론을 넘어 사고 과정(Chain of Thought) 내에서 다음과 같은 에이전트적 워크플로우를 시뮬레이션합니다:

• 다단계 사고 단계: 계획 수립부터 의사 결정, 개별 컴포넌트 설계로 이어지는 단계적 접근
• 코드 기반 설계: 최종 결과물을 내기 전, 사고 과정 중에 직접 샘플 코드를 작성하여 상호작용을 정교하게 설계
• 코드 중심 추론: 이전 모델들과 달리, 추론 토큰의 상당 부분을 실제 코드를 작성하는 데 할당

이러한 독특한 CoT 접근 방식 덕분에 Kimi K3는 창의적인 컴포넌트 디자인과 외부 의존성 통합 능력이 크게 향상되었습니다.