Edge0-145B-NVFP4: 145B MoE 모델, NVFP4 양자화로 로컬 구동

Edge0-145B-NVFP4는 1450억 파라미터 규모의 Mixture of Experts(MoE) 아키텍처를 갖춘 텍스트 생성 모델이다. NVFP4 4-bit 양자화 방식을 적용해 대형 모델의 로컬 추론 장벽을 낮추는 것이 핵심이다. 총 파일 크기는 약 6GB로, 기존 145B급 모델 대비 저장 공간과 메모리 부담을 크게 줄였다.

코딩, 에이전트 작업, 대화형 인터랙션에 최적화되어 있다. llama.cpp, vLLM, Ollama 등 주요 추론 프레임워크와 호환되며, OpenAI 호환 API를 통해 기존 코드베이스에 쉽게 통합할 수 있다. Docker Model Runner를 이용하면 컨테이너 환경에서도 즉시 실행 가능하다.

이 모델은 edge-inference와 latent-moe 태그를 통해 엣지 디바이스나 제한된 자원 환경에서의 활용을 지향한다. 대규모 데이터센터 GPU가 아닌, 개인 개발자 머신이나 소형 서버에서도 고성능 LLM을 구동하려는 개발자에게 적합하다. 커뮤니티 라이선스(edge0-community-model-1.0) 하에 공개되어 있다.