1.58비트 BitCPM4-CANN 공개

OpenBMB가 BitCPM4-CANN 계열을 Hugging Face에 공개했다. 링크된 모델은 1B, 3B, 8B이며, 모델 카드에는 0.5B까지 포함한 4개 변형이 정리돼 있다. 라이선스는 Apache-2.0다.

이 계열은 Huawei Ascend NPU에서 학습한 1.58-bit ternary 모델군으로 소개된다. QAT 오버헤드는 5% 수준이며, 11개 벤치마크에서 1B/3B/8B는 MiniCPM4 풀프리시전 대비 95.7%~97.2% 성능을 유지했다. 추론 메모리는 약 6배 줄었다.

별도 양자화 라이브러리나 커스텀 커널 없이 일반 FP 모델처럼 불러올 수 있고, 바로 쓸 수 있는 실행 예시로 Transformers, vLLM, SGLang과 GGUF 변환본을 제공한다.