BitNet: 100B LLM을 단일 CPU에서 인간 속도로 구동

가중치를 1.58비트로 양자화한 LLM을 CPU와 GPU에서 손실 없이 추론하는 공식 프레임워크다. x86 환경에서는 최대 6.17배, ARM에서는 5.07배의 속도 향상을 달성하며 에너지 소비를 82%까지 줄인다.

1 / 3

100B 파라미터급 BitNet b1.58 모델을 단일 CPU에서 초당 5~7토큰 속도로 실행할 수 있다. 이는 인간이 글을 읽는 속도와 유사하여, 고사양 GPU 없이도 로컬 디바이스에서 대규모 언어 모델을 실용적으로 운용할 수 있게 한다.

2.4B 파라미터의 공식 모델 외에도 Falcon3, Llama3 등 다양한 커뮤니티 모델과 임베딩 모델을 지원한다. I2_S, TL1, TL2 등 여러 커널을 통해 x86와 ARM 아키텍처 모두에서 최적화된 성능을 제공한다.