IBM Granite 4.1 30B GGUF 양자화 공개
bartowski/ibm-granite_granite-4.1-30b-GGUF · Hugging Face
·2026.04.30 07:37
IBM Granite 4.1 30B의 GGUF 양자화 파일과 권장 변형이 공개됐다.
bartowski가 별도 gist 데이터셋을 써서 IBM Granite 4.1 30B를 llama.cpp의 imatrix 방식으로 양자화한 GGUF 묶음을 Hugging Face에 올렸다.
- BF16 57.74GB부터 Q8_0 30.67GB, Q6_K/Q6_K_L, Q5_K, Q4_K, IQ4, IQ3, IQ2까지 폭넓게 제공한다.
- 설명에는 Q6_K_L, Q6_K, Q5_K_L/M/S, Q4_K_L/M/S, IQ4_XS, Q3_K_XL, IQ2_M 등이 권장 변형으로 표시됐다.
- 일부 변형은 임베딩과 출력 가중치를 Q8_0으로 유지해 품질을 보강한다.
huggingface-cli download예시와 llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI 지원 안내가 함께 담겼다.- ARM/AVX 환경에서는
Q4_0의 online repacking을 활용할 수 있고, 구형Q4_0_X_X파일은 더 이상 필요하지 않다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.