DeepSeek-V4, 100만 토큰 컨텍스트

DeepSeek가 V4를 공개했다. 핵심은 단순한 벤치마크 경쟁이 아니라, 에이전트가 긴 작업을 실제로 끝까지 수행할 수 있게 만든 장기 컨텍스트 설계다.

• DeepSeek-V4-Pro: 총 1.6T 파라미터, 49B 활성
• DeepSeek-V4-Flash: 총 284B 파라미터, 13B 활성
• 두 모델 모두 1M-token context window를 지원한다.

1M 토큰 기준으로 V4-Pro는 V3.2 대비 single-token inference FLOPs가 27%, KV cache가 10% 수준이며, V4-Flash는 FLOPs 10%, KV cache 7% 수준이다. 일반적인 GQA 8-head, BF16 기준과 비교하면 KV cache가 약 **2%**까지 줄어든다.

효율은 하이브리드 어텐션에서 나온다.

• CSA(Compressed Sparse Attention): KV를 4x 압축하고, 압축 블록 중 top-k만 선택한다.
• HCA(Heavily Compressed Attention): KV를 128x 압축한 뒤 dense attention을 적용한다.
• V4-Pro의 61층 스택은 초반 2개 층이 HCA이고, 이후 CSA와 HCA를 번갈아 배치한다.

에이전트용 후처리도 바뀌었다. 툴 호출이 포함된 대화에서는 reasoning을 사용자 메시지 경계까지 유지해 긴 작업의 상태가 끊기지 않도록 했고, |DSML| 토큰과 XML 기반 툴 호출 포맷을 도입해 JSON-in-string에서 자주 생기던 이스케이프 오류를 줄였다. RL 롤아웃용 인프라로는 함수 호출, 컨테이너, Firecracker microVM, QEMU VM을 하나의 Python SDK로 묶은 DSec를 사용한다.

성능은 전반적 SOTA는 아니지만 에이전트 작업에서 강하다. Terminal Bench 2.0 67.9, SWE Verified 80.6, MCPAtlas Public 73.6, Toolathlon 51.8을 기록했고, 내부 R&D 코딩 벤치마크에서는 67% 패스율로 Sonnet 4.5의 47%를 앞섰다. 긴 컨텍스트 검색인 MRCR 8-needle은 256K까지 0.82 이상을 유지하고 1M에서 0.59를 기록했다.