AI BriefingDeepInfer: DeepSeek V4.1-Flash 전용 고성능 추론 프레임워크
deepseek-ai/DeepInfer
프로젝트 소개
DeepSeek의 대규모 프로덕션 서비스를 뒷받침하던 추론 엔진이 오픈소스로 공개됐다. 현재는 DeepSeek-V4.1-Flash 모델에 대한 오프라인 추론 기능을 제공한다. Apache 2.0 라이선스 하에 배포되며, NVIDIA SM100 GPU와 Huawei Ascend 950 NPU를 지원한다.
FlashMLA, DeepGEMM, DeepEP 등 자체 최적화 커널을 탑재해 성능을 끌어올렸다. DSpark 기반의 신뢰도 스케줄링 검증과 SWA 유한 리플레이를 통해 디코딩 속도를 가속한다. 또한 CPU 배치 스케줄링과 디바이스 실행을 오버랩하는 비동기 스케줄링을 기본으로 적용해 오버헤드를 최소화했다.
배치 구성에 따라 결과가 달라지는 문제를 방지하는 배치 불변 추론과 결정론적 샘플링을 지원한다. 정규식, JSON 스키마, EBNF 문법으로 생성 결과를 제한하는 구조화 출력 기능도 제공한다. vLLM을 기반으로 SGLang과 TensorRT-LLM의 아이디어를 더한 아키텍처를 갖췄다.
KV 캐시 시스템과 VE/Prefill/Decode 디아그리게이션, 로드 밸런싱은 이 릴리스에 포함되지 않았다. 해당 기능들은 이미 엔진 내부에 구현되어 있으나, 완전한 서비스 구성을 위해 별도 통합이 필요하다. 대규모 오프라인 배치 처리나 특정 하드웨어 환경에서의 DeepSeek 모델 추론이 필요한 개발자에게 적합하다.
deepseek-ai/DeepInfer
DeepInfer: High-performance, large-scale inference framework for DeepSeek models
Python
이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.