AI BriefingEdge0-145B, 노트북에서 80+ tokens/s 구동하는 145B 오픈소스 모델
·2026.11.13 03:00
핵심 내용
Edge0-145B가 노트북에서 80+ tokens/s 속도로 구동되며 클라우드 모델 대비 우위를 보였다
자세히 보기
- Edge0-145B는 온디바이스 추론을 위해 설계된 145B 파라미터 오픈소스 모델로, 노트북에서 29GB 피크 메모리를 사용하며 디코딩 80+ tokens/s, 프리필 1,100+ tokens/s 성능을 달성함
- 스파스 전문가 아키텍처를 적용해 추론 단계마다 약 10B 파라미터만 활성화하여 MacBook Pro, NVIDIA RTX 4090/5090 등 소비자 하드웨어에서 효율적 실행 가능함
- 벤치마크에서 DeepSWE 1.1 점수 64.6, GPQA-Diamond 점수 90.4를 기록하며 Qwen3.8-Flash-Next, DeepSeek-V4-Flash-0731 등 모델과 동등하거나 우월한 성능을 보임
- GitHub에 Edge0-AI 추론 프레임워크, Hugging Face에 모델 가중치를 공개했으며 macOS, Windows, Linux를 지원하고 원클릭 배포 도구를 제공함
- Edge0 생태계는 Edge0, Audio8, Decision0, Embedding0 네 가지 모델 패밀리로 구성되며 지난 1년간 에이전트, 오디오, 의사결정, 임베딩 등 200개 이상 모델을 출시함
- NPU 아키텍처와 INT4, INT8, FP4 등 수치 형식을 최적화했으며 Qualcomm, NVIDIA, Rockchip 등 주류 칩 플랫폼의 95%를 커버함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
