Boole-32B-A2.5B-Preview: BF16 대비 9배 작고 INT4 대비 2배 빠른 1.8-bit MoE 모델

[Boole-32B-A2.5B-preview] 9GB 1.8-bit MoE, 565 token/s on 1 RTX 5090

·2026.11.13 18:29

핵심 내용

Precision Numerics가 BF16 대비 9배 작은 1.8-bit MoE 모델 Boole-32B-A2.5B-Preview를 출시했다.

Precision Numerics가 Recursive의 flint 모델 기반 초기 1.8-bit 버전인 Boole-32B-A2.5B-Preview를 출시함
혼합 정밀도 양자화, 전문가 가지치기, 커스텀 커널을 활용함
해당 최적화로 BF16 대비 9배 작은 크기와 INT4 대비 2배 빠른 속도를 달성함
가중치는 Hugging Face에서 GGUF 형식으로 제공되며, 데모와 커스텀 llama.cpp 포크는 GitHub에서 확인 가능함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.