WASTE 추론 엔진

WASTE는 호스트 메모리보다 훨씬 큰 모델을 로컬에서 실행하도록 설계된 오픈소스 추론 엔진이다. 첫 지원 모델은 2.78조 파라미터의 Mixture-of-Experts 모델 Kimi K3로, 원본 1.42TB 체크포인트를 982GB 컨테이너로 변환해 64GB 통합 메모리의 MacBook Pro에서 구동했다. 모델을 증류·가지치기하거나 축소한 변형이 아니라 전체 모델을 실행한다.

Kimi K3는 896개 전문가 중 토큰마다 16개만 선택한다. WASTE는 모델 트렁크를 메모리에 상주시킨 뒤, 전문가 가중치는 NVMe 저장장치에 두고 필요할 때 읽으며 남은 RAM을 제한된 전문가 캐시로 활용한다.

이 구조에서는 전체 모델을 메모리에 적재하는 대신 활성 전문가 데이터를 충분히 빠르게 읽는 것이 핵심이다. K3는 토큰마다 약 17GB의 전문가 데이터를 접근하므로 저장장치 대역폭과 캐시 동작이 성능을 좌우한다.

전문가별 행렬을 인접하게 배치해 한 번의 위치 지정 읽기로 불러올 수 있도록 했으며, 운영체제 페이지 캐시를 우회하고 엔진이 직접 전문가 캐시를 관리한다. 런타임은 외부 추론 의존성 없는 C로 작성됐고, Python은 변환과 검증에만 사용된다.

현재 제공되는 구성 요소는 다음과 같다.

• 임베드 가능한 C API
• CLI 클라이언트
• OpenAI 호환 HTTP 서버
• ARM·x86 CPU 구현
• macOS·Linux·Windows 지원
• Kimi K3의 텍스트·이미지 입력

64GB 메모리에서 K3를 실행할 때 예시 성능은 약 0.32토큰/초로, 대화형 애플리케이션에는 아직 느리다. 반면 19GB 컨테이너의 Kimi-Linear 48B는 같은 시스템에서 약 8.9토큰/초를 기록했다.

개발 과정에서는 비용이 큰 작업에 앞서 실제 사용 패턴을 재현하는 소규모 테스트를 수행했다. 1.42TB 소스 모델 다운로드와 약 1TB 규모의 변환 작업이 필요한 만큼, 저장장치 벤치마크도 WASTE의 비연속적 전문가 접근 패턴을 반영하도록 별도로 작성했다.

그 결과 외장 SSD는 약 0.94GB/s, 내부 SSD는 12.78GB/s를 기록했다. 일반적인 순차 읽기 성능만으로는 WASTE의 실제 병목을 파악하기 어려웠다는 설명이다.