vLLM 플러그인 Apareto, MoE VRAM 42%로 줄이고 정확도 유지

Train AI to run AI: introducing Apareto loading - a vLLM plugin

·2026.11.16 07:12

핵심 내용

Apareto 로딩 플러그인이 SWE-bench Multilingual에서 MoE VRAM 사용량을 42%로 줄였다

자세히 보기

  • 정적 양자화에 보완되는 MoE 모델용 동적 VRAM 절감 기법 'Apareto 로딩'을 소개함
  • Qwen3.6-35B-A3B 모델에 NVFP4 전문가를 적용해 SWE-bench Multilingual에서 42% VRAM 예산으로 전체 모델 대비 2%p 이내 점수를 기록하고, LiveCodeBench v6에서는 49% VRAM 예산을 달성함
  • 프리필(prefill) 단계 후 학습된 소형 네트워크가 전문가 가치를 랭킹하여 VRAM 예산에 맞는 전문가만 로드함
  • 랭킹 네트워크가 테스트된 두 벤치마크에 특화되어 학습되었으므로, 해당 릴리스는 프로덕션 구현이 아닌 개념 증명(PoC) 코드 및 vLLM 플러그인임
  • 코드 및 재현 지침은 alphapareto의 GitHub에 공개 예정임

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.