DeepSeek-V4.1-Flash-1017-NVFP4: 552B MoE 모델, 400GB로 압축한 NVFP4 체크포인트

DeepSeek-V4.1-Flash-1017의 NVFP4 양자화 버전이다. NVIDIA Model Optimizer를 활용해 라우팅 MoE 전문가를 W4A4 정밀도로 변환했으며, 체크포인트 크기는 약 400 GiB다. 원본 모델 대비 용량을 줄이면서 추론 성능을 유지하도록 설계되었다.

100만 토큰 컨텍스트를 지원하는 멀티모달 MoE 아키텍처를 기반으로 한다. 텍스트와 이미지 입력을 받아 텍스트를 출력하며, 552B 파라미터 중 프리필 시 8B, 디코딩 시 16B만 활성화된다. 196B Engram 조건부 메모리도 포함된다.

vLLM 배포를 위해 MXFP4 Engram 지원이 필수적이다. 표준 vLLM 이미지로는 로드할 수 없으며, 해당 기능을 추가한 빌드가 필요하다. NVIDIA Blackwell GPU, 특히 GB300 환경에서 최적화되어 있다.

GPQA Diamond 92.93%, MMMU-Pro 78.73% 등 벤치마크에서 원본 MXFP4 모델과 유사한 성능을 보인다. AI 에이전트, 챗봇, RAG 시스템 등 상용 및 비상용 배포를 위해 MIT 라이선스로 공개되었다.