AI Briefing#gguf
#gguf와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#gguf와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Nace 퀀트가 128K 컨텍스트에서 Unsloth와 EXL3보다 높은 정확도를 기록했다.
Huawei CSL이 MACaQ 논문과 함께 Qwen3.6-35B-A3B-MACaQ-R GGUF 모델을 공개했다.
Unsloth가 Qwen3.8-27B V3.1 GGUF를 출시해 정확도를 5-10% 높였다
Unsloth의 새 퀀트 방식이 토큰 사용량을 50% 줄이고 정확도를 15% 높였다
Unsloth가 Qwen3.8-Flash-Next용 GGUF를 출시해 정확도를 10-15% 개선했다.
Unsloth, DeepSeek-V4.1 벤치마크에서 GSQ-RCO 대비 10~20% 우위 입증했다
1.58-bit MoE 모델이 12GB GPU에서 368K 컨텍스트를 지원한다.
ISTA DASLab이 DeepSeek-V4.1-Flash-1017용 GSQ-RCO 양자화 파일을 공개했다.
Base Compute가 Qwen3.8-27B용 BaseQuant V1을 출시했다.
LiquidAI가 15개 언어 지원 온디바이스 인코더 LFM2.5-Encoder 350M과 230M을 공개했다.
ISTA-DASLab이 3.50 bpw에서 BF16급 성능을 내는 Qwen3.8-Flash-Next 양자화 모델을 공개했다.
Hugging Face Transformers가 Apple Silicon Mac에서 llama.cpp ggml Metal 커널을 활용해 GGUF 모델을 역양자화 없이 압축 상태로 직접 추론하는 기능을 공개했다.
Hugging Face가 Transformers 라이브러리에 GGUF 형식 네이티브 지원을 추가해 로컬 양자화 모델의 디버깅과 유연한 사용을 가능하게 했다.
K2-Horizon 모델군의 GGUF 양자화 파일이 공개되었으나 현재는 llama.cpp 포크 버전을 사용해야 한다.
llama.cpp 호환 GGUF 파일을 대상으로 VRAM 제약 환경에서 표준 양자화보다 높은 정확도를 제공하는 오픈소스 동적 양자화 도구 'Dynamic Quantiser'가 공개됐다.
Hugging Face Transformers가 llama.cpp의 GGUF 포맷을 직접 실행할 수 있게 되어 Apple Silicon에서 로컬 추론이 간편해졌다.
경사 하강법을 활용해 텐서별 최적 양자화 수준을 선택하는 Voodoo Dynamic Quant 도구가 MIT 라이선스로 공개됐다.
GGUF 모델 업로더 Bartowski가 새로운 텐서 레이아웃 맵을 적용한 양자화 모델의 성능 개선 연구를 공개했다.
IST-DASLab이 GSQ와 RCO 기술을 적용해 기존 대비 성능을 크게 개선한 Qwen3.8-27B GGUF 모델을 공개했다.