AliceAI-Foundation-80B-A3B-Base: 활성 파라미터 3B로 80B급 추론 성능 구현

총 800억 파라미터 중 토큰당 30억 개만 활성화하는 Mixture-of-Experts 구조를 채택했다. 하이브리드 아키텍처와 KDA 레이어를 결합해 26만 2천 토큰의 긴 컨텍스트를 처리하면서도 연산 효율을 높였다. 완전한 사전 학습을 통해 복잡한 추론과 도구 사용 능력을 갖췄다.

러시아어 사실 지식 벤치마크에서 압도적인 성능을 보인다. WikiWebFacts에서 86.5점, HardMultiQA에서 67.9점을 기록해 Qwen3.5나 GLM-4.5-Air 등 경쟁 모델들을 크게 앞섰다. 수학 및 코딩 능력도 상위권이며, AIME 2026 문제에서 96.7점의 높은 정확도를 달성했다.

vLLM과 Transformers 라이브러리를 통해 배포할 수 있다. GPU 환경에서는 flash-linear-attention 라이브러리가 필수적으로 요구된다. Apache 2.0 라이선스로 공개되어 상업적 활용이 가능하며, 러시아어 특화 데이터셋을 기반으로 한 파인튜닝에 적합하다.