AI Briefingllama.cpp, Aleph Alpha Kolibri-1 지원
model : add Kolibri-1 (Aleph-Alpha) support by riteme · Pull Request #30673 · ggml-org/llama.cpp
·2026.10.17 20:07
핵심 내용
llama.cpp가 Aleph Alpha의 78B 파라미터 MoE 모델 Kolibri-1 지원을 추가했다.
자세히 보기
llama.cpp가 Aleph Alpha의 새로운 Mixture-of-Experts(MoE) 추론 모델 Kolibri-1 지원 기능을 병합했습니다. 이 모델은 총 78B 파라미터를 가지며 토큰당 3.46B 활성 파라미터만 사용하여 긴 컨텍스트 작업과 다국어 추론에서 효율성을 극대화하도록 설계되었습니다.
모델 사양
- 아키텍처: 50층 MoE 구조로 4:1 SWA:GQA 어텐션을 사용하며, 각 층에 384개 전문가(공유 1개, 라우팅 6개)를 활용합니다.
- 컨텍스트 길이: 최대 1,048,576 토큰을 지원하며, 복잡한 작업을 위한 권장 서빙 한도는 262,144 토큰입니다.
- 정밀도: 128×128 블록에서 float8_e4m3fn 가중치를 사용하고, 동적 양자화된 활성값과 FP8 KV 캐시를 적용합니다. 임베딩과 노름은 bfloat16을 사용합니다.
- 기능: 명시적 추론 모드, 도구 호출 지원, 독일어와 영어에서 뛰어난 성능을 보입니다.
학습 및 하드웨어
- 학습 데이터: 20T 토큰(영어 62.5%, 독일어 23.9%, 코드 13.6%)으로 사전 학습되었으며, 지식 기준일은 2026년 6월 18일입니다.
- 컴퓨팅 자원: 사전 학습에는 NVIDIA B200 GPU 768개가 21일간 사용되어 총 392k GPU 시간이 소요되었습니다.
- 하드웨어 요구사항: FP8 가중치에는 약 78 GB 메모리가 필요합니다. 최소 구성은 A100 80 GB 2개 또는 H200 1개입니다.
배포 현황
- 라이선스: Apache 2.0.
- 출시일: 2026년 10월 3일.
- 상태: GGUF 파일은 Hugging Face에서 공개 대기 중입니다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
