1.58비트 충격

Ternary Bonsai가 공개됐다. {-1, 0, +1} ternary 가중치를 사용해 1.58비트 수준으로 압축했고, 일반적인 16-bit 모델 대비 메모리 사용량을 약 9배 줄였다고 밝혔다.

모델은 8B, 4B, 1.7B 세 가지 크기로 제공된다. 발표 측은 최근의 1-bit Bonsai에서 한 단계 확장한 버전으로, 더 큰 용량을 쓰되 성능 저하를 최소화하는 방향이라고 설명했다.

• 공개 형태: 블로그 발표와 Hugging Face 모델 컬렉션
• 형식 지원: 현재는 MLX 2-bit packed format이 유일한 패킹 형식
• 호환성: 8B FP16 safetensors도 제공해 stock Hugging Face 도구로 실행 가능
• 성능 주장: 표준 벤치마크에서 같은 파라미터급 경쟁 모델들을 대부분 앞섰다고 소개

메모리 제약이 큰 환경에서 초저비트 LLM을 실사용 가능한 수준으로 끌어올리려는 흐름의 연장선으로 볼 수 있다.