Transformer의 MoE 구조와 작동 원리

LLM의 성능 향상을 위한 Dense Scaling은 비용과 지연 시간의 한계에 직면해 있습니다. 이를 해결하기 위해 Transformer의 피드포워드 레이어를 여러 개의 전문가(Expert) 네트워크로 교체하고, **라우터(Router)**가 토큰별로 적절한 전문가를 선택하는 MoE(Mixture of Experts) 기술이 핵심으로 떠오르고 있습니다.

MoE의 핵심은 모델의 전체 용량은 유지하면서 추론 시 활성화되는 파라미터 수를 줄여 효율성을 극대화하는 것입니다. 예를 들어, 전체 파라미터가 21B인 모델이라도 추론 시에는 약 3.6B의 파라미터만 사용하여 대규모 모델의 성능과 소형 모델의 속도를 동시에 확보할 수 있습니다.

주요 장점:

• 연산 효율성: 동일한 연산 예산(FLOPs) 내에서 Dense 모델보다 뛰어난 성능을 제공합니다.
• 병렬화 용이성: 전문가 단위로 계산을 분산할 수 있어 **전문가 병렬화(Expert Parallelism)**가 가능합니다.
• 산업계 채택: DeepSeek, Qwen, Mixtral 등 최신 주요 오픈 모델들이 MoE 구조를 적극적으로 채택하고 있습니다.