Aleph Alpha, 규제 산업용 주권 AI 모델 Kolibri 공개

Aleph Alpha가 규제 산업용 주권 오픈 웨이트 모델 Kolibri를 공개했습니다. 이 모델은 Apache 2.0 라이선스로 Hugging Face에서 제공되며, 공공 행정, 산업, 항공 우주 등 규제 섹터를 대상으로 독일어 능력, 추론, 에이전트 기능을 강조합니다. 78.1B 총 파라미터와 3.46B 활성 파라미터를 갖춘 Mixture-of-Experts (MoE) 아키텍처를 채택했으며, 최대 1M 토큰의 컨텍스트 윈도우를 지원합니다.

성능 및 효율성

Kolibri는 비용 효율성의 파레토 프론티어에 위치하며, 훨씬 더 많은 활성 파라미터를 가진 모델과 동등한 품질을 제공합니다. **Nemotron 3 Super (120B-A12B)**와의 벤치마크 비교에서 Kolibri는 여러 주요 분야에서 우수한 성능을 보였습니다:

• 수학: AIME 2025에서 96.9점(Nemotron 3 Super 91.7점 대비), Math Average (DE)에서 88.8점을 기록했습니다.
• 에이전트 작업: τ²-bench Telecom에서 94.7점(68.1점 대비), τ³-bench Banking에서 38.1점(15.5점 대비)을 달성했습니다.
• 코딩: LiveCodeBench v6에서 85.9점(82.0점 대비)을 기록했습니다.
• 환각 제어: 컨텍스트가 답변을 뒷받침하지 않을 때 답변을 거부하도록 Merlin-Arthur 프로토콜을 사용하여 학습되었습니다. AA-Omniscience Index에서 -32.8점을 기록했습니다.

주권 및 아키텍처

독일 팀이 독일과 핀란드의 인프라를 사용해 개발했으며, EU AI Act, GDPR, General-Purpose AI Code of Practice 준수를 보장합니다. 주요 아키텍처 혁신은 다음과 같습니다:

• 어텐션 메커니즘: 메모리와 컴퓨팅 최적화를 위해 40개 레이어에 슬라이딩 윈도우(512 토큰), 10개 레이어에 전체 어텐션을 사용하는 하이브리드 패턴을 적용했습니다.
• 토크나이저: 형태론적 구조를 고려해 독일어 압축률을 개선한 새로운 UniBPE 토크나이저를 도입했습니다.
• 학습 데이터: 총 20T 토큰으로 학습했으며, 번역 아티팩트를 피하기 위해 특화된 파이프라인으로 큐레이션된 독일어 데이터가 **21.3%**를 차지합니다.
• 그라운딩: 컨텍스트가 답변을 뒷받침하지 않을 때 답변을 거부하도록 Merlin-Arthur 프로토콜을 사용합니다.

배포

Kolibri는 vLLM을 통해 서비스됩니다. 속도, 비용, 품질 간 트레이드오프를 허용하기 위해 네 가지 추론 노력 수준(none, low, medium, high)을 지원합니다. 262,144 토큰을 초과하는 장기 컨텍스트 작업을 위해 전체 1M 토큰 컨텍스트 윈도우를 활성화하려면 특정 vLLM 플래그가 필요합니다.