AI Briefing바이두, 280B 파라미터 ERNIE 5.5 Flash Base 공개
·2026.11.05 09:00
핵심 내용
바이두가 280B 파라미터 ERNIE 5.5 Flash Base를 공개했다.
자세히 보기
- 바이두가 2026년 11월 5일 ERNIE-5.5-Flash-Base를 도메인 적응 및 RL 연구용 사전 학습 체크포인트로 공개함, 추론 시 1M 토큰 컨텍스트 지원
- 280B 총 파라미터와 토큰당 14B 활성 파라미터를 가진 Sparse MoE 구조를 채택했으며, 33.5T 토큰으로 처음부터 학습함
- MMLU(5-shot) 93.3점과 HumanEval+(Pass@1) 82.3점을 기록하며 DeepSeek-V4-Flash-Base(89.4, 69.5)와 Hy3-preview-Base(87.5, 78.0)를 상회함
- MLA 및 HCA 레이어를 포함한 Hybrid Sparse Attention, 512개 라우팅 전문가를 갖춘 Multi-Router Latent MoE, 200K 어휘 BPE 토크나이저 아키텍처 구성
- 가중치는 ERNIE 5.5 Flash Base Model License Agreement v1.0 하에 Hugging Face에서 FP8 및 BF16 형식으로 제공
- 포스트 트레이닝된 ERNIE 5.5 Flash 모델이 곧 출시 예정이며, 해당 베이스 모델은 커뮤니티 파인튜닝 및 에이전트 애플리케이션의 기준점으로 활용됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
