vLLM 플러그인 Apareto, MoE VRAM 42%로 줄이고 정확도 유지
Train AI to run AI: introducing Apareto loading - a vLLM plugin
·2026.11.16 07:12
핵심 내용
Apareto 로딩 플러그인이 SWE-bench Multilingual에서 MoE VRAM 사용량을 42%로 줄였다
자세히 보기
- 정적 양자화에 보완되는 MoE 모델용 동적 VRAM 절감 기법 'Apareto 로딩'을 소개함
- Qwen3.6-35B-A3B 모델에 NVFP4 전문가를 적용해 SWE-bench Multilingual에서 42% VRAM 예산으로 전체 모델 대비 2%p 이내 점수를 기록하고, LiveCodeBench v6에서는 49% VRAM 예산을 달성함
- 프리필(prefill) 단계 후 학습된 소형 네트워크가 전문가 가치를 랭킹하여 VRAM 예산에 맞는 전문가만 로드함
- 랭킹 네트워크가 테스트된 두 벤치마크에 특화되어 학습되었으므로, 해당 릴리스는 프로덕션 구현이 아닌 개념 증명(PoC) 코드 및 vLLM 플러그인임
- 코드 및 재현 지침은 alphapareto의 GitHub에 공개 예정임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.