AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Unsloth가 Blackwell GPU에서 Qwen3.6 모델의 추론 속도를 2.5배 향상시킨 NVFP4 양자화 모델을 출시했습니다.
llama.cpp의 ggml 라이브러리가 Ternary Bonsai 모델 지원을 위한 CPU용 Q2_0 양자화를 추가했습니다.
Sana 1.6B 텍스트-이미지 모델을 1.58비트 삼진법(Ternary)으로 양자화하여 크기를 8.6배 줄였다.
EdgeRazor는 다양한 하드웨어에 배포 가능한 혼합 정밀도 양자화 증류 기반의 LLM 경량화 프레임워크이다.
KV Cache의 양자화 손실을 줄이기 위해 스펙트럼 공분산 인지 회전을 사용하는 OSCAR 기술이 공개되었습니다.
Gemma 4 모델을 활용해 온디바이스 영어 튜터링 앱과 시각 지능 기반 서비스를 구현한 사례를 소개한다.
llama.cpp의 ggml-webgpu 구현에서 k-quants 모델의 행렬 곱셈(matmul) 최적화를 통해 추론 속도를 대폭 향상시켰습니다.
Gemma 4 QAT 모델용 MTP 헤드 공개와 llama.cpp 병렬 실행 오류 수정 소식이다.
MoE 모델을 엣지 디바이스에서 구동할 수 있도록 최적화하는 InstinctRazor 기술을 공개했다.
Google이 모바일 및 노트북 환경의 효율성을 높이기 위해 QAT 기술을 적용한 Gemma 4 모델을 출시했다.
Unsloth가 Gemma 4의 31B, 26B-A4B, 12B 모델용 MTP GGUF 가중치를 공개했다.
DeepLearning.AI에서 vLLM을 활용한 효율적인 LLM 추론 최적화 과정을 공개했다.
Huawei가 vLLM의 용량과 처리량을 동시에 개선하는 새로운 KV-cache 양자화 백엔드 KVarN을 공개했다.
팔면체 매개변수화와 결합 양자화를 통해 트랜스포머의 KV Cache 압축 성능을 극대화한 OCTOPUS가 공개되었다.
1-bit 및 Ternary 양자화를 통해 메모리 사용량을 1GB 내외로 줄인 초경량 이미지 생성 모델 Bonsai Image 4B가 공개되었다.
로컬 및 모바일 환경에서 강력한 성능을 발휘하는 차세대 컴퓨터 사용 에이전트 Holo3.1 시리즈가 출시되었다.
llama.cpp가 멀티 GPU 환경에서 --sm tensor 사용 시 KV 캐시 양자화가 작동하지 않던 문제를 해결했습니다.
로컬 디바이스에서 고품질 이미지 생성을 가능하게 하는 초경량 1-bit 및 Ternary Bonsai Image 4B 모델이 출시되었다.
MTP 헤드를 통합하여 별도의 드래프트 모델 없이 self-speculative decoding이 가능한 Qwen3.6 GGUF 모델이 출시되었다.
NVIDIA가 Alibaba의 Qwen3.6-35B 모델을 NVFP4 데이터 타입으로 양자화하여 공개했다.
PrismML이 WebGPU를 통해 브라우저에서 로컬 실행이 가능한 1-bit/ternary 기반 Bonsai Image 4B 모델을 공개했다.