화웨이, 505B 파라미터 MoE 모델 공개

화웨이가 Ascend 가속기에서 학습된 새로운 MoE(Mixture-of-Experts) 모델인 openPangu-2.0-Pro를 공개했다. 이 모델은 총 505B 개의 파라미터를 보유하고 있으며, 추론 시에는 18B 개의 파라미터만 활성화되는 구조를 가진다.

주요 특징은 다음과 같다:

• 컨텍스트 길이: 512k 지원
• 학습 데이터: 총 34T 토큰 사용
• 학습 방법: Slow 및 Fast thinking 능력을 결합한 통합 SFT(Supervised Fine-Tuning), 다중 전문가 RL(Reinforcement Learning) 학습, 그리고 여러 RL 전문가를 결합한 On-policy distillation 기술 적용

해당 모델의 상세 내용은 openPangu-2.0 기술 보고서를 통해 확인할 수 있다.