Meta, 모바일용 MoE LLM 공개

Meta가 온디바이스 LLM의 품질과 효율성 한계를 확장하기 위해 MobileMoE 시리즈를 공개했다. 이 모델은 Mixture-of-Experts(MoE) 아키텍처를 채택했으며, 모바일 DRAM에 적합하도록 3GB 미만의 INT4 웨이트 풋프린트를 제공한다.

공개된 모델은 S/M/L 세 가지 스케일로 구성되며, 각각 0.3B/0.5B/0.9B의 활성 파라미터를 가진다. 특히 MobileMoE-L은 총 5.3B 파라미터 중 922M만 활성화시켜 효율성을 극대화했다. 각 스케일은 사전학습 및 중간학습을 거친 Base, 지시 학습을 거친 SFT, 그리고 양자화 인식 학습(QAT)을 적용한 QAT 모델 세 가지 변형으로 제공된다.

주요 기술 사양은 다음과 같다.

• 활성 파라미터: 922M (L 모델 기준)
• 총 파라미터: 5.3B
• 레이어: 32
• 라우팅 전문가(Routed Experts): 60개 (토큰당 4개 활성화)
• 공유 전문가(Shared Expert): 1개 (항상 활성화)
• 컨텍스트 길이: 8,192 토큰
• 라이선스: FAIR NC