AI BriefingGrok-1 오픈 소스 공개
·2024.03.17 00:00
핵심 내용
xAI가 3140억 개의 파라미터를 가진 MoE 모델 **Grok-1**의 가중치와 아키텍처를 Apache 2.0 라이선스로 공개했다.
자세히 보기
xAI가 대규모 언어 모델(LLM)인 Grok-1의 베이스 모델 가중치와 네트워크 아키텍처를 오픈 소스로 공개했다.
Grok-1은 314B(3,140억 개) 파라미터를 가진 Mixture-of-Experts(MoE) 모델이며, 토큰당 전체 가중치의 25%가 활성화된다.
주요 상세 정보는 다음과 같다:
- 2023년 10월 프리트레이닝을 마친 Raw Base Model 체크포인트로, 대화형 서비스 등 특정 용도로 파인튜닝되지 않은 상태이다.
- JAX와 Rust 기반의 커스텀 트레이닝 스택을 사용하여 xAI가 처음부터 직접 학습시켰다.
- Apache 2.0 라이선스 하에 배포된다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
