Microsoft, 1-bit 모델용 bitnet.cpp 공개

Microsoft가 BitNet b1.58 모델을 위한 실질적인 추론 프레임워크인 bitnet.cpp를 오픈소스로 공개했습니다. 이 모델들은 가중치를 -1, 0, 1로 사용하는 극도로 작은 크기의 가중치를 특징으로 합니다.

주요 테스트 결과는 다음과 같습니다:

• Apple M2 Ultra (64GB) 환경에서 100B 모델 설정을 테스트했을 때, 모든 CPU 스레드 사용 시 약 6.58 tokens/sec를 기록했습니다.
• GPU 없이 CPU만으로 구동이 가능하다는 점을 보여줍니다.

단, 해당 100B 테스트는 실제 학습된 챗봇이 아닌 **더미 연구용 모델(dummy research model)**을 사용했다는 점에 유의해야 합니다. 따라서 이 결과가 Llama나 Qwen 같은 일반적인 100B 모델이 즉시 일반 노트북에서 구동될 수 있음을 의미하지는 않습니다.

결론적으로 bitnet.cpp는 대규모 1-bit 모델이 CPU 환경에서 구동될 수 있는 기술적 가능성을 입증하는 데 의의가 있습니다.