Stepped MoE, 가변 복잡도 LLM 추론 실현

새로운 통합 프레임워크 Stepped MoE는 탄성 구조와 희소 게이트 아키텍처를 결합해 배포 제약과 작업 요구 사항에 동시에 적응하는 LLM을 구현한다. 기존 방식과 달리 이 모델은 컨텍스트와 목표 효율성 사양을 모두 조건으로 삼아 추론 시 정확도와 효율성의 트레이드오프를 제어한다.

주요 기능 및 결과

이 접근법은 탄성 중첩 서브네트워크 내에서 작업 관련 파라미터를 활성화하여 모델 용량을 세밀하게 제어한다. 이를 통해 단일 모델이 여러 용량 지점을 지원하면서도 입력 적응형 라우팅을 유지할 수 있다.

실험 결과는 다음과 같은 이점을 입증한다:

• 유연한 용량: 모델은 10억, 20억, 30억, 40억 파라미터를 동적으로 지원한다.
• 성능 향상: 밀집 모델 대비 지식 집약적 벤치마크에서 2~5% 높은 정확도를 달성한다.
• 효율성: 밀집 모델과 동일한 지연 시간을 기록하며, 정적 버전과 동등한 성능을 보인다.
• 자원 최적화: 모델 파라미터 공유를 통해 디스크 공간을 절약하고, 가용한 DRAM 및 컴퓨팅 자원에 기반한 유연한 서빙을 가능하게 한다.