29GB RAM으로 Kimi K3를 0.50 tok/s로 실행하기

**WASTE(Weight-Aware Streaming Tensor Engine)**는 C로 작성된 LLM inference engine으로, 별도 runtime 의존성 없이 Mixture-of-Experts 모델의 가중치를 디스크에서 필요한 만큼만 읽어 실행한다.

공개 가중치 **Kimi K3(2.78T parameters)**를 982GiB 컨테이너로 변환한 뒤, 64GB MacBook Pro에서 다음과 같은 성능을 확인했다.

• 최소 RAM: 29.05GiB
• 실제 실행 시 메모리 사용량: 46.24GB
• 속도: 0.49~0.54 tok/s
• 테스트 문장 생성 시간: 약 31초
• 모델을 축소·가지치기·distillation하지 않은 원본 구성

Kimi K3는 토큰마다 전체 파라미터의 약 **4%**만 활성화한다. WASTE는 반복 사용되는 model trunk를 메모리에 유지하고, 선택된 expert를 디스크에서 직접 스트리밍하며, 남은 RAM을 bounded expert cache로 활용한다. Expert 하나를 정확히 한 번의 read로 가져오도록 저장 형식을 구성했고, expert read와 연산을 겹쳐 약 1.6배의 개선을 얻었다.

PyTorch reference와 각 layer를 검증한 결과 최종 logits 차이는 3.6e-06, vision tower 차이는 2.3e-06으로 보고됐다. 다만 decode 단계에서 디스크 읽기가 55%, 연산이 **27%**를 차지해 현재 성능은 매우 느리며, 추가 최적화보다 더 빠른 디스크나 더 많은 RAM이 주요 개선 요인으로 제시됐다.

동일한 방식으로 Kimi-Linear 48B는 19GiB 컨테이너·1.87GiB RAM에서 10.7 tok/s로 실행됐다. WASTE는 아직 Kimi K3에 최적화된 구현이지만, 초대형 MoE 모델을 서버급 메모리 없이 단일 소비자용 시스템에서 로컬 실행할 수 있음을 보여주는 inference infrastructure 사례다.