DeepEP V2 공개

DeepSeek가 DeepEP V2를 공개하며 Expert Parallelism을 전면 재구성했다.

• V1의 레거시를 정리하고, 더 적은 SM으로 동작하면서 더 큰 scale-up / scale-out 도메인을 지원한다.
• 백엔드를 NVSHMEM에서 더 가벼운 NCCL Gin으로 바꿨다.
• JIT 컴파일, 단일 API로 통합된 high-throughput/low-latency 경로, EP2048 지원, SM/QP 수의 분석적 계산을 제공한다.
• 실험 기능으로 0 SM Engram, 0 SM Pipeline Parallelism, 0 SM Context Parallelism all-gather를 추가했다.

내부 벤치마크에서는 8K tokens/batch, 7168 hidden dim, top-8 experts, FP8 dispatch, BF16 combine 조건에서 SM 24개 → 4~6개로 줄이면서도 동급 이상 성능을 유지했고, 최대 1.3배 peak performance와 최대 4배 SM 절감을 보고했다.

같은 발표와 함께 TileKernels 저장소도 공개됐다. TileLang 기반의 LLM용 GPU 커널 라이브러리로, MIT 라이선스로 공개되며 MoE routing, quantization(FP8/FP4/E5M6), transpose, Engram, Manifold HyperConnection, modeling 계층을 포함한다.