#quantization

#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Unsloth 압도

Gemma 4 26B-A4B GGUF에서 Unsloth 퀀트가 KLD 기준 대부분 최상위.

·1·2026.04.20 23시

Mistral Small 4 수정

Unsloth의 Mistral Small 4 GGUF가 chat template 수정과 함께 갱신됐다.

·1·2026.04.20 02시

KV 캐시 35%↓

Qwen 3.6 1M 컨텍스트에서 KV cache를 압축해 10.7GB→6.9GB로 줄였다.

·1·2026.04.19 11시

4-bit floating point FP4

FP4의 비트 구성, 값 범위, E2M1 형식을 설명한다.

·2·2026.04.19 02시

Qwen3.6 상륙

Qwen 3.6 35B-A3B를 Ollama용으로 양자화해 tools·thinking까지 지원한다.

·2026.04.18 23시

Qwen3.5 모델 quantization, 왜 커뮤니티 버전은 성능이 떨어지나

균일 quantization이 Qwen3.5의 민감한 레이어를 망가뜨린다.

·2·2026.04.18 21시

CPU 22토큰/초

Q4_K_M Qwen 3.6 35B A3B가 CPU에서 22토큰/초로 동작했다.

·1·2026.04.18 19시

MoE 54% 역전

RTX 5070 Ti에서 --n-cpu-moe로 Qwen3.6-35B-A3B 속도를 54% 끌어올림.

·2026.04.18 16시

Qwen 3.6 대승

30k LOC 에이전트 평가에서 Qwen 3.6 35B가 Gemma 4 26B를 앞섰다.

·2·2026.04.18 05시

MoE가 뒤집었다

듀얼 RTX 5060 Ti에서 Qwen 3.6-35B-A3B가 90K 컨텍스트 21.7 tok/s를 기록했다.

·2026.04.18 02시

맥에서 35B 실사용

SwiftLM이 24GB Mac에서 35B Qwen 모델을 40K~100K 컨텍스트로 구동한 결과를 제시했다.

·2026.04.18 01시

Unsloth가 벤치마크 1위

Qwen3.6-35B-A3B GGUF 벤치마크에서 Unsloth 양자화가 KLD 대비 용량 효율이 가장 좋다고 주장한다.

·2026.04.18 01시

Qwen 3.6 벤치

Qwen3.6-35B-A3B-UD-Q2_K_XL이 16GB VRAM 노트북에서 58회 툴콜을 98.3% 성공률로 처리했다.

·2026.04.17 21시

Qwen3.6-35B-A3B가 Claude Opus 4.7보다 더 나은 펠리컨 이미지를 생성함

로컬 Qwen3.6-35B-A3B가 Opus 4.7보다 펠리컨 SVG를 더 잘 그렸다.

·1·2026.04.17 19시

1.58비트 충격

Ternary Bonsai가 1.58비트 ternary 가중치로 8B·4B·1.7B 모델을 공개했다.

·1·2026.04.17 13시

Qwen35B 쾌속

M2 Ultra 64GB에서 Qwen3.5-35B-A3B Q8_K_XL은 생성 63 t/s를 기록했다.

·2026.04.17 11시

Qwen3.6 완전 해금

Qwen3.6-35B-A3B 무검열 Aggressive 버전과 K_P GGUF quants가 공개됐다.

·1·2026.04.17 09시

Ternary Bonsai 소개: 1.58비트로 최고 수준의 지능

PrismML이 1.58비트 ternary weights로 8B·4B·1.7B LLM인 Ternary Bonsai를 공개했다.

·1·2026.04.17 09시

RTX 5090 187t/s 벤치

RTX 5090 32GB에서 Qwen 3.6 35B A3B가 187t/s를 기록했다.

·1·2026.04.17 08시

Qwen 3.6 1L 벤치

RTX 2000 Ada 16GB에서 Qwen 3.6 35B를 프롬프트 400 t/s, 생성 24 t/s로 구동한 사례.

·2026.04.17 06시

3080서 40tok/s

turbo3로 12GB VRAM 3080에서 Qwen3.6 35B A3B를 260k ctx로 약 40 tok/s 달성.

·1·2026.04.17 05시

8x MI50에서 64 tok/s 피크

8x MI50 32GB에서 MiniMax M2.7 AWQ를 피크 64 tok/s로 돌린 벤치다.

·1·2026.04.17 02시

속도 과장 경계

DFlash는 MoE·양자화·동시사용·긴 컨텍스트에서 기대만큼 빨라지지 않는다.

·2026.04.16 21시

양자화 순위전

24GB VRAM 환경에서 GGUF 양자화 모델들의 MMLU 점수를 비교했다.

·1·2026.04.16 18시