AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Unsloth가 Qwen3.8-27B용 Dynamic V3.1 양자화와 1비트 데이터 타입을 출시했다.
Nace 퀀트가 128K 컨텍스트에서 Unsloth와 EXL3보다 높은 정확도를 기록했다.
MACaQ가 커스텀 vLLM 커널로 저비트 KLD를 낮추고 추론 속도를 유지했다
신규 Arm NEON 커널이 llama.cpp 프롬프트 처리 속도를 최대 6.5배 높였다
Precision Numerics가 BF16 대비 9배 작은 1.8-bit MoE 모델 Boole-32B-A2.5B-Preview를 출시했다.
llama.cpp의 새로운 CUDA 커널이 추측적 디코딩 속도를 최대 34.9%까지 높였다.
KQuant가 Qwen 모델 KL 발산을 최대 3.7배 줄이고 M5 Pro 추론 속도를 높였다
Unsloth가 Qwen3.8-27B V3.1 GGUF를 출시해 정확도를 5-10% 높였다
Video Rebirth가 13.7B 파라미터의 HyperFlow H3 Flash를 공개했다.
Unsloth의 새 퀀트 방식이 토큰 사용량을 50% 줄이고 정확도를 15% 높였다
Unsloth가 Qwen3.8-Flash-Next용 GGUF를 출시해 정확도를 10-15% 개선했다.
Unsloth, DeepSeek-V4.1 벤치마크에서 GSQ-RCO 대비 10~20% 우위 입증했다
Swift GLM-5.3-Flash가 MMLU-PRO에서 사고 토큰을 61.4% 줄였다
1.58-bit MoE 모델이 12GB GPU에서 368K 컨텍스트를 지원한다.
ISTA DASLab이 DeepSeek-V4.1-Flash-1017용 GSQ-RCO 양자화 파일을 공개했다.
Base Compute가 Qwen3.8-27B용 BaseQuant V1을 출시했다.
Specter가 양자화 기반 추측적 오프로딩으로 MoE 추론 속도를 1.50배 높였다