Microsoft AI, 2.8T MoE 모델 'MAI-Base-2' 사전학습 레시피 공개

Microsoft AI가 Frontier Pre-training 보고서를 통해 MAI-Base-2의 사전학습 완료 및 기술적 세부 사항을 공개했다. 이 모델은 전체 파라미터 2.8T, 활성 파라미터 80B 규모의 MoE(Mixture-of-Experts) 구조를 채택했으며, 현재 사후 학습(post-training) 단계에 있다.

핵심 주장 및 효율성

Microsoft AI는 MAI-Base-2가 경쟁 모델인 DeepSeek-V4-Pro-Base와 동일한 BPB(Bits Per Byte) 성능을 달성하는 데 필요한 연산량이 4.2배에서 최대 12.3배 적다고 주장했다. 이는 자체 보류 평가 세트 기준이며, 코드 영역에서 12.3배, STEM에서 8.3배, 수학에서 6.6배, QA에서 4.2배의 효율적 이득을 기록했다고 밝혔다. 다만, 비교 대상 모델의 실제 학습 연산량 수치가 비공개이므로 이 수치는 스케일링 사다리를 통한 추정치이며 외부 재현은 불가능하다.

학습 인프라 및 스케일링

학습은 GB200 GPU 16,000장 환경에서 38일 동안 50T 토큰을 처리하며 진행되었다. 평균 MFU(Model FLOPs Utilization)는 21%, 굿풋(Goodput)은 89%를 기록했다. 작은 모델(L18~L42)을 활용해 대형 모델의 성능을 예측하는 '스케일링 사다리' 기법을 적용했으며, L42 대비 약 130배 큰 연산까지 외삽 시 예측값과 실제값의 오차는 0.3% 수준으로 나타났다.

주요 기술적 변화

MAI-Base-1 대비 다음과 같은 아키텍처 및 최적화 변경이 이루어졌다.

• Multi-round Dropless MoE: 모든 층에 MoE를 적용하되, 토큰을 버리지 않고 전문가 그룹별 고정 용량으로 디스패치-연산-수집 라운드를 반복하는 방식을 도입했다. 이를 통해 MoE 층의 MFU를 24%에서 **35%**로 개선했다.
• Optimizer 변경: AdamW에서 Muon 옵티마이저(2D 파라미터용)로 전환하여 학습 안정성과 효율을 높였다. ZeRO 호환성을 위해 옵티마이저 단계에서 모멘텀 resharding을 수행했다.
• 네이티브 VLM: 텍스트 전용 모델에서 네이티브 비전 언어 모델(VLM)로 전환했다. 별도 이미지 인코더 없이 Encoder-free 구조로 처음부터 비전 데이터를 학습했으며, 비전 데이터는 총 학습 토큰의 약 18%를 차지한다.
• 데이터 전략: 증류 데이터 없이 사람이 만든 Organic Data만 사용했다. Knowledge Cutoff는 2026년 3월이며, 코드와 PDF 데이터 비중을 조정하고 임베딩 기반 다양성 샘플링을 적용했다.

한계 및 주의사항

가중치는 공개되지 않으며, 데이터 출처 관리를 통해 Microsoft Foundry 파트너에게만 라이선스될 예정이다. BPB는 다음 토큰 예측 지표일 뿐 다운스트림 벤치마크 성능을 직접 나타내지 않으며, 비교 평가 세트가 비공개이므로 독립적인 검증이 어렵다.