Edge0-35B-A3B-preview: 35B MoE 모델의 엣지 추론 최적화

35B MoE 아키텍처를 엣지 디바이스 환경에 맞춰 최적화한 모델이다. 총 파라미터는 35B에 달하지만, 추론 시 활성화되는 파라미터는 3B 수준으로 유지해 연산 부담을 줄였다. 4-bit 양자화와 SSD 오프로드 기법을 적용해 제한된 하드웨어에서도 대용량 모델의 성능을 끌어낸다.

MLX 프레임워크를 기반으로 Apple Silicon 환경에서 구동하도록 설계됐다. 프롬프트 라우팅을 담당하는 별도 파일이 포함돼 있어, 요청의 복잡도에 따라 모델의 동작을 유연하게 조절할 수 있다. LoRA 어댑터 지원도 갖춰 경량화된 커스텀 튜닝이 가능하다.

텍스트 생성과 대화형 태스크에 특화되어 있으며, Apache 2.0 라이선스로 배포된다. 로컬 서버를 띄워 OpenAI 호환 API로 연동하거나, MLX LM을 통해 직접 추론할 수 있다. 데스크톱이나 노트북에서 고사양 LLM을 실행해야 하는 개발자에게 적합하다.