추천Kolibri-1: 78B MoE 모델, 토큰당 활성 파라미터 3.46B로 저비용 추론

Aleph Alpha가 공개한 Kolibri-1은 총 파라미터 78B 규모이지만, 토큰당 활성화되는 파라미터는 3.46B에 불과한 Mixture-of-Experts 구조를 채택했다. 이를 통해 대규모 모델의 성능을 유지하면서도 추론 비용을 크게 낮출 수 있다. FP8 양자화 가중치를 적용해 메모리 효율성을 극대화했으며, vLLM 기반 배포에 최적화되어 있다.

독일어와 영어에 특화된 이중 언어 지원이 핵심이다. 약 20조 토큰 규모의 데이터셋으로 사전 학습을 진행했으며, 이중 약 24%가 독일어 데이터로 구성됐다. 복잡한 다단계 추론, 코딩, RAG 시스템 연동, 에이전트형 도구 호출 등 다양한 작업에서 높은 정확도를 제공한다.

기본 컨텍스트 길이는 262,144 토큰이며, 슬라이딩 윈도우 어텐션 기법을 활용해 최대 1,048,576 토큰까지 확장 가능하다. 명시적인 추론 모드와 도구 호출 기능을 내장해 복잡한 워크플로우 자동화에 적합하다. Apache 2.0 라이선스로 상업적 이용이 자유로우며, EU GPAI 실천 강령을 준수한다.