290MB 로컬 LLM

1-bit Bonsai 1.7B (290MB in size) running locally in your browser on WebGPU

·2026.04.16 01:29

핵심 내용

290MB짜리 1-bit Bonsai 1.7B가 브라우저 WebGPU에서 로컬 구동된다.

1-bit Bonsai 1.7B를 290MB 크기로 줄여, 브라우저 안에서 WebGPU로 로컬 실행하는 데모가 공개됐다.

댓글에서는 이런 초경량 1-bit 모델의 실제 tokens/s 성능을 llama.cpp 기준으로 더 보고 싶다는 반응이 나왔고, 현재는 CPU, Metal, Vulkan 지원이 언급됐다. CUDA 지원은 진행 중이라고 한다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.