Aleph Alpha, 100만 토큰 컨텍스트 지원 오픈 웨이트 MoE 모델 'Kolibri' 공개

Aleph Alpha가 정부 및 규제 산업의 주권적 미션 크리티컬 애플리케이션을 위해 설계된 오픈 웨이트 Transformer 모델 Kolibri를 공개했습니다. 이 영어-독일어 Mixture-of-Experts 아키텍처는 총 781억 개의 파라미터를 가지며 토큰당 34.6억 개가 활성화되고, 최대 100만 토큰의 컨텍스트 윈도우를 지원합니다. 가중치는 Hugging Face에서 Apache 2.0 라이선스로 제공되어 온프레미스 배포가 가능합니다.

Kolibri는 768개의 B200 GPU를 사용해 약 24조 개의 토큰으로 학습되었으며, 384개의 전문가 중 토큰당 6개를 활성화하는 구조를 채택했습니다. 하이브리드 어텐션 메커니즘은 10개 레이어에서 전체 어텐션을, 40개 레이어에서 슬라이딩 윈도우를 사용합니다. 벤더가 진행한 벤치마크에서 Kolibri는 영어 75.5점, 독일어 70.8점의 종합 점수를 기록했으며, AIME 2025에서 96.9점, LiveCodeCodeBench v6에서 85.9점을 획득했습니다. 모델은 근거 기반 답변을 강조하며, 전작인 Kolibri Origin이 14.8%였던 AA-Omniscience 항목의 오답률을 44%로 낮췄습니다.