#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AMD GPU 전반에 최적화된 새로운 추론 엔진 Hipfire와 mq4 양자화 방식이 공개되었습니다.
Qwen3.6 35B A3B를 Heretic으로 decensor한 버전이 공개됐다.
8GB VRAM·32GB RAM 환경에서 Q4_K_XL이 Q4_K_M보다 소폭 빠르고 출력 토큰도 적었다.
3070 8GB 환경에서 Qwen3.6-35B는 더 큰 quant가 더 높은 속도를 냈다.
MLX Q와 oQ의 양자화 단계를 KL divergence와 RAM으로 비교했다.
Max-and-Omnis가 Nemotron-3-Super-64B-A12B-Math-REAP의 GGUF 파일을 공개했다.
RTX 5060 Ti 16GB에서 Qwen3.6 27B IQ4_XS가 22 tok/s를 기록했다.
RTX 5070 12GB에서 Qwen3.6-35B-A3B가 64K context로 구동됐다.
MacBook Pro M5 Max에서 35B-A3B는 더 빨랐고, 27B는 더 깔끔했다.
Qwen3.6-27B를 Ampere GPU에서 돌리기 위한 4bit GPTQ-Pro 양자화 모델이 공개됐다.
Qwen3.6-27B는 27B dense 모델로 이전 초대형 MoE 플래그십을 뛰어넘는 코딩 성능을 내세운다.
Qwen3.6-27B의 무검열 Aggressive 버전과 K_P 양자화가 공개됐다.
Unsloth가 Qwen3.6-27B GGUF와 실행 가이드를 공개했다.
INT3 모델 압축과 INT2 KV 캐시를 묶은 Metal 커널 구현을 공개했다.
Hadamard rotation과 Lloyd-Max codebook으로 Gemma 4 E2B의 PLI를 2비트로 압축했다.
온디바이스 스트리밍 ASR이 CPU에서 8.20% WER와 0.56초 지연을 기록했다.
DeepSeek-R1-32B 기반 4-bit 추론모델을 20GB로 줄여 공개했다.
32GB VRAM에서도 llama.cpp --fit로 Qwen3.6 Q8을 256k 컨텍스트에 57 t/s로 구동했다.
같은 프롬프트로 9개 로컬 모델을 돌려, 양자화 제공자 차이와 코드 길이의 상관관계를 비교했다.
q1_0/q8_0 dot 경로를 최적화해 x86에서 최대 67배대 처리량 향상을 보고했다.
1.58비트 ternary 가중치로 8B 모델이 75.5점을 기록했다.
4개 과제·9개 데이터셋 벤치마크에서 LLM의 맥락 이해 한계를 검증했다.
Terminal-Bench 2.0에서 MiniMax M2.7은 41.3%로 M2.5보다 낮았다.
Kimi-K2.6의 GGUF Q4_X 변환본이 Hugging Face에 올라왔다.
AI Briefing