DeepInfer 오프라인 공개, 디코드 Wide-EP 구성 및 운영 지표 공유

• DeepSeek이 2026년 10월 20일 DeepSeek-V4.1-Flash 서비스용 추론 프레임워크 DeepInfer를 오프라인 추론 범위로 공개함
• NVIDIA SM100 GPU(B200, GB200 등)와 Huawei Ascend 950 NPU를 지원하며, Hopper 세대 GPU는 미지원함
• 공개 범위에는 온라인 서비스용 KV 캐시 시스템, 비전 인코더 분리 배포, 데이터 병렬 복제본 간 부하 분산 기능이 제외됨

기술적 특징 및 구성

• vLLM 기반 개발로 FlashMLA, DeepGEMM, DeepEP 등 커널 계층과 DSpark 추측 디코딩, SWA 바운디드 리플레이 엔진 기능 포함
• SWA 바운디드 리플레이를 통해 최근 128개 토큰만 재계산하여 디코더 프리필 연산량을 거의 절반으로 감소시킴
• DSpark 가변 길이 검증 적용 시 운영 지점(약 60개 시퀀스)에서 4~7% 처리량 이득 및 검증 토큰 수 약 30% 절감 효과

배포 및 운영 사양

• 최소 운영 단위는 프리필 64 GPU와 디코드 64 GPU 조합이며, 프리필:디코드 GPU 비율은 약 1:1로 설정됨
• KV 캐시 저장소로 3FS를 사용하며, SSD 공간 약 100PiB, 에이전트 트래픽 TTL 3일, 챗봇 트래픽 TTL 7일 적용
• 클러스터 하나가 하루 155조 토큰을 처리하며, GPU 시간당 매출은 할인 시간대 기준 38달러로 집계됨
• 라이선스는 DeepInfer가 Apache-2.0, 모델 가중치가 MIT이며, 기존 vLLM과 SGLang이 API 서빙 대안으로 제시됨