AI BriefingDeepSeek, DeepInfer 프레임워크 오픈소스 공개 및 V4.1 Flash 고처리량 배포 지원
·2026.10.21 09:00
핵심 내용
DeepSeek이 DeepInfer를 오픈소스로 공개하며 하루 155조 토큰 처리량을 달성했다
자세히 보기
- DeepSeek이 추론 프레임워크 DeepInfer와 deepseek-recipe 토큰 코덱을 오픈소스로 공개하여 NVIDIA 및 Huawei Ascend 하드웨어에서 DeepSeek V4.1 Flash의 고처리량 배포를 지원함
- 단일 클러스터 서비스 처리량이 하루 155조 토큰에 달하며, 비성수기 요금 기준 GPU당 시간당 총 수익은 38달러를 기록함
- 아키텍처는 분리된 Prefill(8-GPU 노드)과 Decode(64-128 GPU 슈퍼노드) 구조를 채택하고 전문가 병렬 로드 밸런싱을 적용하여 엔드투엔드 성능을 최적화함
- KVCache 관리는 Block KVCache(100 PiB 용량, 3-7일 TTL)에 3FS 분산 파일 시스템을, SWA KVCache에 로컬 메모리를 사용하여 단기 컨텍스트의 98% 이상 히트 레이트를 달성함
- DSpark 추측적 디코딩과 가변 길이 검증(6% 처리량 향상), 비동기 스케줄링을 적용하여 배치 처리 중 GPU 유휴 시간을 제거하는 성능 최적화를 수행함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
