AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
텐센트가 Sherry 알고리즘으로 Hy4 Preview 770B 모델을 214 GiB로 압축했다.
QUASAR가 Qwen3.5 등 4-bit QAT 체크포인트를 공개해 기존 대비 낮은 KL 발산을 달성했다.
Telperion이 Qwen3.8-27B의 KV 캐시 4배 압축 변형을 공개해 SWE 성능 6.58%를 개선했다.
NVIDIA가 2비트 양자화로 24GB에 담은 MoE 모델 Nemotron Bolt 3.5 74B A9B를 10월 15일 출시한다.
OpenBMB가 iPhone 17 Pro Max에서 13+ tokens/s 속도를 내는 MoE 비전 모델 MiniCPM-V 4.7을 출시했다.
Precision Numerics가 1-bit Qwen3 모델 Boole-1.7B를 공개했다.
Bonsai 3진법 모델이 FP16 지능의 98.2%를 유지하며 27B급 추론을 노트북에서 실행한다.
Samsung Labs가 Llama 3, Phi-4, Qwen3 등에서 가중치당 0.1비트까지 압축하는 LittleBit-2를 공개했다.
Qwen3.8 27B의 3비트 가중치로 R9700에서 캐시 용량을 늘려 에이전트 속도를 높였다.
Qwen3.8-Flash-Next 기반 오픈 웨이트 파인튜닝 모델 Victoria와 Maple이 공개됐다.
Hugging Face Transformers가 Apple Silicon Mac에서 llama.cpp ggml Metal 커널을 활용해 GGUF 모델을 역양자화 없이 압축 상태로 직접 추론하는 기능을 공개했다.
TextCLF가 캘리브레이션 불필요한 TQ 양자화 기법과 오픈소스 Quant Factory를 공개했다.
UkisAI가 Qwen 기반 Swift 시리즈를 공개해 사고 토큰을 최대 63.4% 줄이고 속도를 1.8배 높였다.
Hugging Face가 Transformers 라이브러리에 GGUF 형식 네이티브 지원을 추가해 로컬 양자화 모델의 디버깅과 유연한 사용을 가능하게 했다.
K2-Horizon 모델군의 GGUF 양자화 파일이 공개되었으나 현재는 llama.cpp 포크 버전을 사용해야 한다.
TextCLF가 캘리브레이션 데이터 없이 즉시 4비트 양자화가 가능한 오픈소스 도구 'Quant Factory'를 공개했다.
Gemma 4 31B 모델의 손실 없는 KV 캐시 절감 기법을 적용한 추론 엔진 'Gewell'이 공개되어 Blackwell GPU 환경에서 VRAM 효율과 처리량을 개선했다.
PrismML이 27B 멀티모달 LLM을 삼진 양자화해 FP16 대비 98.2%의 성능을 유지하는 'Ternary Bonsai 2 27B'를 공개했다.
외부 의존성 없이 Gemma 1/2/3의 텍스트 및 이미지 추론을 수행하는 단일 파일 C 기반 추론 엔진이 공개됐다.
AI 추론 수요 급증에 따라 Prefill과 Decode 단계로 워크로드를 분리하고, 메모리 병목을 해결하는 새로운 하드웨어 아키텍처와 양자화 기술이 부상하고 있다.
경사 하강법을 활용해 텐서별 최적 양자화 수준을 선택하는 Voodoo Dynamic Quant 도구가 MIT 라이선스로 공개됐다.
Pinterest이 Manas 플랫폼에 SSD 서빙과 양자화 기술을 도입해 서빙 비용을 최대 30% 절감했다.
Edge0가 SSD 전문가 스트리밍 기술로 35B MoE 모델을 3GiB 메모리로 실행하는 추론 프레임워크를 공개했다.