AI Briefing#quantization
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Cactus가 14MB 크기의 온디바이스 에이전틱 LLM Needle 2를 공개했다.
LittleBit-2가 잠재 기하 정렬로 1비트 미만 LLM의 양자화 성능을 높였다.
Cloudflare가 Kimi와 GLM의 GPU 메모리 사용량을 줄이고 처리량을 높였다.
NanoQuant가 단일 H100 GPU로 70B LLM을 1비트 미만으로 압축한다.
Qwen3.6-35B-A3B 모델을 2비트로 양자화하여 저사양 GPU에서도 구동 가능한 Escha-W2를 공개했다.
llama.cpp의 포크 버전인 BeeLlama.cpp가 KV 캐시 양자화 효율을 높인 v0.4.1을 공개했다.
POCKET-Image는 글자 형태를 보존하는 파이프라인을 통해 온디바이스에서도 정확한 한글 렌더링을 구현한다.
audio.cpp 0.4가 Higgs Audio v3 TTS와 Fish Audio S2 Pro 등을 추가하며 35개 모델 패밀리를 지원하고 Q8 GGUF로 속도·VRAM을 개선했다.
Hugging Face Diffusers가 SVDQuant 기반 Nunchaku W4A4 양자화를 공식 통합해 VRAM 사용량을 절반으로 줄이고 추론 속도도 향상시켰다.
Bad Theory Labs가 8.39GB 단일 파일로 구동되는 27B 오픈웨이트 에이전틱 코딩 모델 BTL-3를 Apache-2.0 라이선스로 출시했다.
llama.cpp가 ROCm 환경에서 프롬프트 처리 속도를 15% 높이고 특정 양자화 버그를 해결하는 업데이트를 준비 중입니다.
Qwen2.5-Coder를 4-bit로 양자화해도 코드 생성 성능 저하가 거의 없다는 연구 결과가 발표되었습니다.
재구성 오차가 낮아도 다운스트림 작업 성능은 떨어질 수 있으며, 소비자에 따라 최적의 압축 코드가 달라짐을 입증했다.
llama.cpp의 CUDA 커널 최적화를 통해 Bonsai 모델의 추론 속도를 약 5% 향상시켰습니다.
PrismML이 Qwen 27B 모델을 1비트 및 삼진 방식으로 압축해 스마트폰에서도 구동 가능한 Bonsai 27B를 공개했다.
대규모 MoE 모델의 가중치를 디스크에 두고 필요한 부분만 스트리밍하여 저사양 PC에서도 실행 가능한 C 기반 추론 엔진이 공개되었습니다.