초저비트 AI의 반격

PrismML이 Ternary Bonsai를 공개했다. 1.58비트 ternary 가중치 { -1, 0, +1 }를 전 네트워크에 적용한 언어모델로, 8B / 4B / 1.7B 세 가지 크기로 나온다.

메모리 사용량은 일반 16-bit 모델 대비 약 9배 작고, 8B 모델은 1.75GB로 동작한다. 임베딩, 어텐션, MLP, LM head까지 모두 저정밀 표현을 쓰는 점을 강조했다.

성능 측면에서 Ternary Bonsai 8B는 평균 75.5점을 기록해, 같은 계열의 1-bit Bonsai 8B(70.5점) 보다 5점 높았다. MMLU Redux, MuSR, GSM8K, HumanEval+, IFEval, BFCLv3 등 여러 벤치마크에서 고르게 개선됐다고 밝혔다.

속도와 전력 효율도 함께 제시했다.

• M4 Pro: 82 toks/sec, 0.105 mWh/tok
• iPhone 17 Pro Max: 27 toks/sec, 0.132 mWh/tok
• 16-bit 8B 대비 약 5배 빠름, 에너지 효율은 3-4배 개선

모델은 Mac / iPhone / iPad에서 MLX로 네이티브 실행되며, 가중치는 Apache 2.0 라이선스로 공개됐다. 상세한 학습·평가 방법은 whitepaper로 제공된다.