Bonsai 27B: 1비트/삼진 양자화로 온디바이스 실행

PrismML이 공개한 Bonsai 27B는 Qwen 2.5-27B 모델을 기반으로, 기존 양자화 방식의 한계를 넘어 이진(1-bit) 및 삼진(ternary) 표현을 적용한 연구 결과물입니다.

기존의 혼합 정밀도 양자화 방식은 4비트 미만으로 내려갈 경우 품질 저하를 막기 위해 고정밀 텐서를 남겨두어야 했으나, Bonsai는 임베딩, 어텐션, MLP 프로젝션 등 주요 구성 요소를 종단간(end-to-end) 저비트로 압축하는 데 성공했습니다.

주요 특징 및 성능:

• 초경량화: 삼진 모델은 약 5.9 GB, 이진 모델은 약 3.9 GB의 메모리 점유율을 기록하여 iPhone 17 Pro Max와 같은 스마트폰이나 일반 노트북에서 실행 가능합니다.
• 성능 보존: 27B 규모의 모델이 가진 추론(Reasoning), 도구 호출(Tool Calling), 에이전트 워크플로 능력을 저비트 환경에서도 거의 그대로 유지합니다.
• 실용적 접근: BitNet처럼 처음부터 저비트로 학습하는 방식과 달리, 이미 검증된 사전 학습 모델을 저비트로 변환하는 방식을 채택하여 확장성을 높였습니다.
• 라이선스: 모든 가중치는 Apache 2.0 라이선스로 공개되었습니다.