AlephAlpha, 주권 AI용 오픈소스 MoE 모델 Kolibri 공개

모델 아키텍처 및 효율성

AlephAlpha가 Apache 2.0 라이선스로 오픈 웨이트 Mixture-of-Experts (MoE) Transformer 모델 Kolibri를 공개했다. 주권 및 규제 대상 도메인을 타겟으로 하며, 총 78.1B 파라미터 중 토큰당 3.46B(4.4%)만 활성화된다. Sandwich Normalization을 적용한 Decoder-only Causal Transformer 구조를 채택했으며, Hybrid Attention을 사용한다. 40개 블록은 윈도우 크기 512의 **Sliding-Window Attention (SWA)**를, 10개 블록은 Full Attention을 적용한다. MoE 레이어는 Sigmoid 라우팅을 통해 384개 라우팅된 전문가 중 Top-6을 선택하며, 하나의 공유 전문가를 결합한다.

학습 데이터 및 긴 컨텍스트 기능

Kolibri는 24T 토큰으로 사전 학습되었으며, 데이터 믹스에서 독일어 비중이 20% 이상이다. 사전 학습, 중간 학습, 그리고 최대 1M 토큰 컨텍스트를 지원하는 Long-context extension 단계로 구성된다. 어휘 크기 128,000인 UniBPE 토크나이저는 독일어에서 4.90 bytes/token의 효율성을 달성했다. 형태소 경계 분할 정확도는 독일어에서 **65%**로, 평가된 외부 토크나이저 중 최고 성능인 **49%**를 상회한다.

성능 벤치마크

Kolibri는 오픈 모델 대비 품질과 서빙 비용의 Pareto frontier에 위치한다고 주장한다.

• Base Model: Nemotron Nano/Super 및 Qwen3.5 Base 대비 1.6배 처리량과 영어 +22.7점, 독일어 +20.4점을 기록한다.
• Post-trained Model: Qwen3.6/3.8 및 Gemma 4 IT 대비 2.7배 처리량과 영어 +21.4점, 독일어 +24.4점을 기록한다.
• Specific Scores: MMLU 81.0, GSM8K 89.8, HumanEval 86.7.
• Long Context: 1M 토큰에서 RULER 점수 63.2를 달성했다. 보고서에 따르면 평가된 오픈 모델 중 Pareto frontier에 위치한다.

후속 학습 및 컴플라이언스

모델은 추론, 도구 사용, 지시 따르기에 초점을 맞춘 1.2M+ 큐레이션된 작업을 사용하여 SFT와 RL을 거쳤다. 학습은 768개 NVIDIA B200 GPU에서 수행되었다. EU AI Act와 GDPR 준수를 위해 불법 콘텐츠 필터, PII 마스킹, 근거 없는 답변에 대한 abstention 학습을 포함한다. RL 단계에서는 환경 번역과 일관성 보상을 적용해 독일어 언어 일관성을 강화했다.