AI BriefingISTA DASLab, 파라미터당 1비트 763B Coder 모델 공개
[Release] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder: a 763B model at 1 bit per parameter
·2026.11.02 23:33
핵심 내용
ISTA DASLab이 1비트 양자화 Coder 모델을 공개했다.
자세히 보기
- ISTA DASLab이 GSQ와 RCO를 적용해 DeepSeek-V4.1-Flash-1017 Coder 빌드를 공개함. 763.2B 파라미터 모델을 파라미터당 1.05비트로 압축함.
- 레이어당 라우팅 전문가 384개 중 192개를 제거해 트랜스포머 가중치를 138.2 GB에서 72.1 GB로 줄임.
- LiveCodeBench v6 점수는 88.57점으로, 베이스 모델의 89.71점 대비 98.7% 성능을 유지함.
- SWE-bench Verified 점수는 77.00점으로, 베이스 모델의 81.20점 대비 94.8% 성능을 유지함.
- GSQ(Gumbel-Softmax Quantization)는 그리드 할당과 그룹 스케일을 공동 학습하여 스칼라 및 벡터 양자화 간 격차를 줄임.
- RCO(Riemannian Constrained Optimization)는 KL 발산에 대한 경사 하강법을 통해 레이어별 정확한 전문가 예산을 강제함.
- llama.cpp b11870 이상 버전이 필요하며 Strata에서 실행됨. 공유 Engram 및 비전 프로젝터 파일은 미프루닝 릴리스와 동일함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
