ERNIE-5.5-Flash-Base: 토큰당 14B만 쓰는 280B MoE, 1M 컨텍스트 지원

바이두가 공개한 ERNIE-5.5-Flash-Base는 총 280B 파라미터를 지닌 희소 MoE 언어 모델이다. 전체 파라미터 중 토큰당 실제로 활성화되는 규모는 14B에 불과해 추론 효율을 극대화했다. 33.5T 토큰으로 사전 학습을 마친 체크포인트로, 중간 학습이나 후학습을 거치지 않은 순수한 기반 모델이다.

1 / 3

이 모델은 하이브리드 MLA와 HCA 어텐션을 결합해 KV 캐시 비용을 크게 줄였다. 43개 레이어 중 37개는 128개 토큰당 하나의 엔트리만 캐시하는 HCA를 사용하고, 나머지 6개는 완전한 컨텍스트 접근이 가능한 MLA를 적용한다. 이를 통해 128K까지의 학습 컨텍스트를 넘어 파인튜닝 및 추론 시 1M 토큰까지의 긴 문맥 처리를 지원한다.

각 MoE 레이어에는 512개의 라우팅 전문가와 1개의 공유 전문가가 배치되어 있으며, 멀티 라우터 설계로 전문가 선택의 정확도를 높였다. ECHO 메커니즘을 통해 백본의 마지막 레이어가 스펙ulative decoding용 드래프트 모델 역할도 겸한다. FP8 정밀도로 제공되며, Transformers, vLLM, SGLang 등 주요 추론 프레임워크와 호환된다.

영문과 중문을 지원하며, 도메인 적응이나 지시 튜닝, 강화 학습 연구의 출발점으로 활용하기에 적합하다. 효율성을 최우선 설계 목표로 삼아 어텐션부터 출력 헤드까지 각 구성 요소를 재설계했다. DeepSeek-V4-Flash-Base 등 동급 모델과 동일한 평가 파이프라인에서 지식, 추론, 수학, 코드, 다국어, 롱컨텍스트 벤치마크를 수행했다.