AI2, EMO 공개
new MoE from ai2, EMO
·2026.05.09 05:57
AI2가 1B active/14B total MoE 모델 EMO를 공개했다.
AI2가 EMO라는 새 MoE 모델을 공개했다.
- 규모는 1B active / 14B total이다.
- 1T tokens로 학습했다.
- 핵심 특징은 document-level routing으로, 전문가들이 표면 패턴보다 health, news 같은 도메인 기준으로 클러스터링된다는 점이다.
- 모델 컬렉션은 Hugging Face에서 확인할 수 있다: https://huggingface.co/collections/allenai/emo
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.