Ettin: 인코더·디코더 SoTA 모델

Ettin은 ModernBERT의 학습 레시피를 디코더 전용 모델에 적용하여, 인코더(MLM)와 디코더(CLM)를 동일한 조건(2T 토큰, 동일 아키텍처 및 레시피)에서 훈련한 최초의 SoTA 모델 제품군이다. 이를 통해 아키텍처 간의 진정한 '애플 투 애플(apples-to-apples)' 비교를 가능하게 한다.

주요 특징은 다음과 같다:

• 다양한 모델 규모: 17M에서 1B 파라미터까지 6가지 크기로 제공되어 온디바이스 환경부터 고성능 작업까지 폭넓게 대응할 수 있다.
• 3단계 학습 프로세스: 1.7T 토큰의 사전 학습, 8K 컨텍스트 확장을 위한 250B 토큰 학습, 그리고 고품질 데이터 기반의 100B 토큰 디케이(Decay) 단계를 거쳐 최적화되었다.
• 재현 가능한 데이터: ModernBERT와 달리 모든 학습 데이터가 공개되어 있어 연구 및 재현이 용이하다.

특히 Ettin 디코더 모델은 Llama 3.2 1B 및 SmolLM2를 능가하는 성능을 기록하며, 오픈 데이터 기반 모델 중 최첨단 성능을 입증했다.