AI BriefingINT3·INT2 KV 캐시 공개
INT3 compression+fused metal kernels [R]
·2026.04.22 15:54
핵심 내용
INT3 모델 압축과 INT2 KV 캐시를 묶은 Metal 커널 구현을 공개했다.
자세히 보기
INT3 양자화 모델과 INT2 KV cache를 함께 적용한 구현이 공개됐다.
- 압축 손실은 +0.14 nats 수준이라고 밝혔다.
- Mac M-series용 custom fused Metal kernels를 사용해 모델과 KV 캐시를 함께 최적화했다.
- 현재 Qwen 7B가 preview로 제공된다.
- 설치는
brew install reinforceai/spiral/spiral로 가능하고, 실행은spiral-chat을 사용한다. - 작성자는 이후 Triton kernels로 GPU 지원을 추가하고, 더 효율적인 패킹과 추가 모델 공개를 예고했다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
