AI Briefing#llm-quantization
#llm-quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
30B 모델 용량을 10GB로 줄이고 벤치마크 점수 89.4%를 복원해 24GB 맥북 구동이 가능해졌다.
llama.cpp 호환 GGUF 파일을 대상으로 VRAM 제약 환경에서 표준 양자화보다 높은 정확도를 제공하는 오픈소스 동적 양자화 도구 'Dynamic Quantiser'가 공개됐다.
Unsloth가 Qwen3.8-27B용 Dynamic v3.0 양자화 모델을 출시하며 정확도 향상을 입증했다.
행렬 분해를 통해 정확도 손실을 최소화하며 효율적인 삼항 양자화(Ternary Quantization)를 구현하는 새로운 PTQ 방법론을 제안함.