AI BriefingDeepSeek-V4.1-Flash-1017, 12GB GPU에서 2.00 bpw로 100% 벤치마크 유지
[Release] ISTA GSQ-RCO GGUFs for DeepSeek-V4.1-Flash-1017
·2026.10.24 17:05
핵심 내용
ISTA DASLab이 DeepSeek-V4.1-Flash-1017용 GSQ-RCO 양자화 파일을 공개했다.
자세히 보기
- ISTA DASLab이 GSQ와 RCO 방식을 적용한 DeepSeek-V4.1-Flash-1017용 GGUF 양자화 파일 3종(IQ1_M, IQ2_XXS, IQ2_XS)을 공개함
- 2.00 bpw(IQ2_XXS) 환경에서 베이스 모델 대비 100.0%의 태스크 평균 점수를 기록했으며, AIME25, GPQA-Diamond, LiveCodeBench v6에서 동일한 결과를 보임
- llama.cpp가 해당 모델을 아직 지원하지 않아, 모든 빌드가 Strata 추론 엔진을 사용해 단일 12GB NVIDIA GPU에서 구동됨
- 릴리스에는 모델의 196.6B 파라미터 룩업 테이블을 담은 110.6GB Engram 파일(IQ4_NL)이 포함되어 있으며, 이는 디스크에 메모리 매핑되어 있음
- 양자화 과정에서는 스칼라 양자화에 GSQ를, 그래디언트 디센트를 통한 정확한 예산 집행에 RCO를 사용했으며, 1008개 텐서별 할당량이 제공됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
