AI Briefing저비트(1-bit/Ternary) 모델 및 추론 최적화 업데이트 현황
1-bit / 2-bit / Ternary / Bitnet Models - Updates & Tracking
·2026.08.19 03:51
핵심 내용
1-bit, 2-bit 및 Ternary 모델 등 저비트 양자화 모델의 최신 업데이트와 최적화된 추론 엔진 현황을 정리함.
자세히 보기
저비트 양자화 모델(1-bit, 1.58-bit 등)의 최신 출시 현황과 이를 지원하는 추론 엔진의 최적화 업데이트를 다룬다.
주요 모델 및 성능 업데이트
- Bonsai: 1-bit 및 1.58-bit(Ternary) 버전 모델 업데이트. 최근 27B 모델이 출시되었으며, CUDA 및 Vulkan 백엔드 지원이 추가됨. 특히 CUDA 최적화 PR 병합을 통해 처리량(throughput)이 15~40% 향상됨.
- Maple-Preview (20B-A1B): Mac Mini M4에서 200+ t/s, iPhone에서 120+ t/s의 매우 높은 추론 속도를 기록함.
- Mach-1-Additive-35B: 소비자용 노트북 환경에서 최대 120 t/s의 성능을 구현함.
- 기타 모델: BitCPM-CANN(OpenBMB), Hy-MT1.5(Tencent), Neutrino-8B(FermionResearch), 그리고 의료 연구용인 Pestle-27B-Ternary(Doses-AI) 등이 포함됨.
추론 엔진 및 구현
각 모델은 효율적인 실행을 위해 최적화된 custom llama.cpp 포크나 MLX 라이브러리를 활용하며, 이를 통해 다양한 하드웨어 백엔드(CUDA, Vulkan, Metal 등)에서 가속화된 성능을 제공한다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
