antirez/ds4 - Metal용 DeepSeek V4 Flash 로컬 추론 엔진

antirez가 DeepSeek V4 Flash 전용 로컬 추론 엔진 ds4.c를 공개했다. 범용 GGUF 러너가 아니라, Apple Metal GPU에 맞춘 네이티브 C 구현체로 설계됐고 핵심 경로도 DeepSeek V4 Flash에 특화돼 있다.

주요 특징은 다음과 같다.

• OpenAI / Anthropic 호환 HTTP API 서버를 내장해 Claude Code, opencode, Pi 같은 코딩 에이전트와 바로 연동할 수 있다.
• 100만 토큰 컨텍스트 윈도우와 강하게 압축된 KV 캐시를 지원하며, 디스크 KV 캐시 영속화도 제공한다.
• thinking, non-thinking, Think Max 모드를 지원하고, 도구 호출은 DeepSeek의 DSML 포맷과 Anthropic tool_use 블록으로 변환된다.
• llama.cpp와 GGML 생태계 위에서 만들어졌지만, 실행기는 Metal 전용이며 CPU 경로는 정확성 검증용 수준이다.

가중치는 이 프로젝트용으로 게시된 DeepSeek V4 Flash GGUF만 호환된다. 2비트 양자화는 MoE 전문가만 비대칭으로 양자화하는 방식이며, 128GB 메모리급 Mac에서도 동작하도록 설계됐다. q2, q4, 선택적 MTP(speculative decoding) 모델 다운로드 스크립트도 제공된다.

벤치마크도 함께 제시됐다. M3 Max 128GB와 M3 Ultra 512GB에서 q2/q4 변형의 prefill·decode 처리량을 측정했고, 긴 프롬프트에서도 높은 prefill 속도를 보였다. 다만 서버는 현재 단일 Metal 워커로 추론을 직렬화하므로 동시 요청 병렬 처리는 하지 않는다.