AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Pinterest이 Manas 플랫폼의 양자화와 SSD 서빙 도입으로 임베딩 검색 비용을 최대 30% 절감했다.
GGUF 모델 업로더 Bartowski가 새로운 텐서 레이아웃 맵을 적용한 양자화 모델의 성능 개선 연구를 공개했다.
NVIDIA Cosmos3 64B 모델의 INT4 양자화 버전이 CUDA와 MLX용으로 공개되어 로컬 실행이 가능해졌다.
NVIDIA가 양자화, 가지치기 등 6가지 최적화 기법을 통합한 Model Optimizer를 공개하여 vLLM, TensorRT-LLM 등 추론 엔진용 체크포인트 생성을 지원한다.
LLM 추론의 레이턴시와 처리량 트레이드오프를 관리하고 양자화, 추측 디코딩 등으로 효율적 프론티어를 확장하는 기술을 소개한다.
NVIDIA가 DeepSeek-V4-Pro-0813의 NVFP4 양자화 버전을 공개하며, 총 1.65조 파라미터 중 4천억 파라미터를 활성화하는 MoE 구조를 지원한다.
보정 과정이 없는 TQ 방식으로 양자화된 Qwen3-Coder-Next 4bit 모델이 공개되어 디스크 용량을 41.7GB로 줄였다.
IST-DASLab이 GSQ와 RCO 기술을 적용해 기존 대비 성능을 크게 개선한 Qwen3.8-27B GGUF 모델을 공개했다.
QUASAR QAT 알고리즘을 적용해 Qwen3.8-27B를 NVFP4로 양자화하여 BF16급 성능을 유지하는 체크포인트를 공개했다.
llama-cpp-turboquant에 ConvRot 양자화 방식이 추가되어 Q6 양자화 모델의 품질이 Q8 수준에 근접했다.
Escha Labs가 Qwen3.8-27B의 2bit 양자화 모델을 공개하며 FP8 대비 동등한 성능을 입증했다.
Liquid AI가 양자화 인식 증류(QAD)로 품질 저하를 최소화한 LFM2.5 Q4_0 모델을 공개했다.
Qwen3.8-27B의 검열을 제거한 abliterated 버전을 애플 실리콘용 MLX 형식으로 공개했다.
DFlash 개발자가 Qwen 3.8 27B와 Muse Glimmer를 지원하는 DFlash 2 버전을 공개하고 llama.cpp PR을 제출했다.
Qwen3.8-27B의 안전 정렬을 제거한 MLX 양자화 버전을 Apple Silicon용으로 공개했다.
24GB GPU 환경에서 Qwen3.8-27B가 코딩 및 추론 작업에서 가장 뛰어난 성능을 보였다.
Hadamard 회전과 Output-Fisher recovery를 결합해 Qwen 27B의 성능을 높인 3.62 bpw 양자화 기법 WarpQuant가 공개되었다.
bitsandbytes 개발자 Tim Dettmers가 새로운 양자화 방법론을 예고하며 높은 추론 성능을 제시했다.