경로 제약 Mixture-of-Experts

기존의 Sparse Mixture-of-Experts (MoE) 구조는 각 레이어에서 토큰을 독립적으로 라우팅한다. 하지만 연구 결과, 실제 토큰들은 언어적 기능에 따라 특정 경로로만 쏠리는 경향이 있으며, 대다수의 가능한 경로가 활용되지 않는 통계적 비효율성이 존재함을 발견했다.

이를 해결하기 위해 본 논문은 PathMoE 아키텍처를 제안한다. PathMoE는 연속된 레이어 블록 간에 Router 파라미터를 공유함으로써, 토큰이 거치는 유효 경로 공간을 의도적으로 제약한다.

실험 결과, PathMoE는 다음과 같은 이점을 제공한다:

• 경로 클러스터링 강화: 자연적으로 발생하는 경로 구조를 더욱 집중적으로 형성함
• 일관성 및 강건성: 레이어 간 경로 일관성을 높이고 라우팅 섭동에 대한 강건성을 확보함
• 성능 향상: 0.9B 및 16B 파라미터 모델에서 Perplexity와 다운스트림 작업 성능을 개선함
• 효율성: 별도의 보조 손실(Auxiliary loss) 없이도 성능 향상이 가능함