Grok-1 오픈 소스 공개
·2024.03.17 00:00
xAI가 3140억 개의 파라미터를 가진 MoE 모델 **Grok-1**의 가중치와 아키텍처를 Apache 2.0 라이선스로 공개했다.
xAI가 대규모 언어 모델(LLM)인 Grok-1의 베이스 모델 가중치와 네트워크 아키텍처를 오픈 소스로 공개했다.
Grok-1은 314B(3,140억 개) 파라미터를 가진 Mixture-of-Experts(MoE) 모델이며, 토큰당 전체 가중치의 25%가 활성화된다.
주요 상세 정보는 다음과 같다:
- 2023년 10월 프리트레이닝을 마친 Raw Base Model 체크포인트로, 대화형 서비스 등 특정 용도로 파인튜닝되지 않은 상태이다.
- JAX와 Rust 기반의 커스텀 트레이닝 스택을 사용하여 xAI가 처음부터 직접 학습시켰다.
- Apache 2.0 라이선스 하에 배포된다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.