FreeToken: 게이밍 PC에서 290B MoE 모델 인터랙티브 추론

데이터센터급 모델 서빙을 개인 하드웨어로 가져온 엣지 네이티브 MoE 서빙 엔진이다. 게이밍 PC나 워크스테이션에서 290B 이상의 프런티어 오픈 웨이트 모델을 인터랙티브 속도로 구동할 수 있다. NVIDIA RTX 30, 40, 50 시리즈 GPU를 네이티브로 지원하며, 소비자용 랩톱부터 데스크톱까지 다양한 환경에서 동작한다.

GPU, CPU, 호스트 메모리, 인터커넥트를 하나의 탄력적 추론 플랫폼으로 통합하는 것이 핵심이다. 대역폭 적응형 CPU-GPU 공동 실행과 글로벌 LRU 전문가 캐싱을 통해 효율성을 높였다. 런타임 중 VRAM을 전문가 캐시와 KV 메모리 간에 동적으로 재할당하며, 엔진 재시작이나 가중치 재로딩 없이 메모리 관리를 수행한다.

DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 등 다양한 프런티어 MoE 모델을 지원한다. MXFP4, NVFP4, FP8, BF16 등 여러 양자화 포맷을 처리하며, Anthropic 및 OpenAI 호환 API를 제공한다. 이를 통해 Codex, Claude Code 등 실제 코딩 및 도구 호출 에이전트와의 시ーム리스 연동이 가능하다.

반복 상태와 KV 캐시를 위한 시맨틱 앵커 체크포인트를 갖추고 있어 에이전틱 컨텍스트 편집 시 불필요한 재계산을 피한다. Windows와 Linux용 데스크톱 앱과 CLI를 제공하며, Apache-2.0 라이선스로 공개되어 있다. 로컬 환경에서 대규모 모델을 빠르게 실행하고 싶은 개발자에게 적합하다.