Prism ML, Ternary Bonsai 2 모델 공개

Ternary Bonsai 2 (2B, 4B, and 9B) just released on Hugging Face. The 2B can run entirely locally in the browser at up to 500 tok/s on an M4 Max with custom WebGPU kernels.

·2026.10.16 05:09

핵심 내용

Prism ML이 Ternary Bonsai 2 모델을 공개했으며, 2B 모델은 M4 Max에서 초당 500 토큰을 처리한다.

자세히 보기

Prism ML이 2B, 4B, 9B 파라미터 크기의 소형 언어 모델 Ternary Bonsai 2를 공개했다. 해당 모델들은 Hugging Face의 prism-ml 컬렉션에서 확인할 수 있다.

핵심은 2B 모델이 웹 브라우저 내에서 완전히 로컬로 실행된다는 점이다. 커스텀 WebGPU 커널을 활용해 M4 Max 칩에서 초당 최대 500 토큰의 추론 속도를 달성했다. webml-community Hugging Face 공간을 통해 WebGPU 데모도 제공된다.

local-llm model-release webgpu hugging-face prism-ml ternary-bonsai-2

원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.