AI Briefing#ternary-quantization
#ternary-quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ternary-quantization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
30B 모델 용량을 10GB로 줄이고 벤치마크 점수 89.4%를 복원해 24GB 맥북 구동이 가능해졌다.
ik_llama.cpp가 Ternary Bonsai 2의 네이티브 CUDA 오프로드를 지원했다
행렬 분해를 통해 정확도 손실을 최소화하며 효율적인 삼항 양자화(Ternary Quantization)를 구현하는 새로운 PTQ 방법론을 제안함.