Meta, 70-80% 전문가로 Vanilla MoE 성능 달성한 Expert 아키텍처 공개

[Paper] Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

·2026.10.23 14:51

핵심 내용

Meta Expert가 70-80%의 전문가로 Vanilla MoE 성능을 맞췄다

Meta Expert 아키텍처는 레이어 간 전문가를 공유하여 중복을 제거하고, Local Experts보다 낮은 크로스 엔트로피 손실과 높은 다운스트림 작업 정확도를 달성함
활성화된 양과 전문가 그레인성이 고정된 상태에서, 전체 전문가의 70-80%만 사용하여 Vanilla MoE와 동일한 성능을 발휘함
이론적 분석에 따르면 Meta Experts는 히든 상태에 대해 더 유연한 잔차 경로를 제공하여 정보 검색 효율을 향상시킴
경험적 비교를 통해 Meta Experts가 계층적으로 배치된 Local Experts보다 낮은 파라미터 중복을 보임이 확인됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.