MoE vs Dense 모델 성능 직접 비교

MoE(Mixture-of-Experts) 아키텍처와 기존 Dense 아키텍처를 동일한 계산 자원(Compute budget) 환경에서 직접 비교 분석한 연구이다.

주요 비교 지표는 다음과 같다:

• 성능 및 정확도: 파라미터 수 대비 모델의 예측 성능 비교
• 계산 효율성: 동일한 FLOPs 기준에서의 성능 차이 분석
• 추론 효율: 아키텍처별 레이턴시(Latency) 및 처리량(Throughput) 측정

본 연구는 MoE 모델이 Dense 모델 대비 적은 활성 파라미터로도 높은 성능을 유지할 수 있는 임계점을 제시하며, 하드웨어 자원 활용 측면에서의 트레이드오프를 객관적인 데이터로 입증한다.