Amazon HOPE, MoE 프루닝 시 전문가 협동 유지

• Amazon이 MoE 모델의 메모리 오버헤드를 줄이기 위해 전문가 간 상호작용을 고려한 HOPE(고차원 전문가 프루닝) 기법을 공개함
• 5가지 방법과 39%의 조건에서 평균 순위 2.07을 기록하며, 높은 프루닝 비율에서 REAP 등 1차 기법 대비 우월한 성능을 보임
• Qwen3.5-35B-A3B 모델에서 50% 프루닝 시 SWE-Bench Pro 점수가 42.3점으로, REAP(36.2점)을 능가하며 무프루닝 모델(41.8점)에 근접함
• 오차를 최소화하기 위해 프루닝을 이차 계획법(QP)으로 정의하며, 캘리브레이션에 단일 포워드 패스만 필요해 오버헤드가 무시할 수준(레이어당 1~2초)임

Methodology

• 1차 기법이 무시하는 전문가 간 협동을 포착하기 위해 전문가 쌍의 교차항을 포함한 대리 지표 Z를 정의함
• 대각성분은 개별 중요도를, 비대각성분은 게이트 가중치와 출력 노름을 통해 쌍별 협동을 측정하는 F 행렬을 구성함
• 연속 완화와 라운딩을 활용해 비볼록 QP를 이진 해로 풀음

Availability and Limitations

• 코드는 github.com/awslabs/HOPE에서 제공되며, Qwen3, Qwen3-Next, Qwen3.5, GLM-4.5 모델을 지원함
• vLLM 또는 SGLang 정의를 수정하지 않고 HuggingFace 체크포인트를 생성하는 calibrate, solve, prune_model 함수를 포함한 Python API 제공
• 40~50% 프루닝 비율에서 효과가 가장 뚜렷하며, 10~20%의 낮은 비율에서는 1차 기법과 유사한 성능을 보임
• 현재 레이어를 독립적으로 프루닝하며, 레이어 간 상호작용이나 3개 이상 전문가를 포함한 고차 상호작용은 고려하지 않음