marin: 5000억 파라미터 MoE 모델, 데이터부터 추론까지 오픈소스로

Marin은 파운데이션 모델 연구와 개발을 위한 오픈소스 소프트웨어 플랫폼이다. 데이터 큐레이션, 토큰화, 사전학습, 사후학습, 평가까지 LLM 구축 전 과정을 하나의 프레임워크로 통합한다. 실패한 실험까지 포함해 모든 과정 지식을 공개하는 것이 핵심 가치다.

현재 5e24 FLOPs, 5000억+ 파라미터 규모의 Mixture-of-Experts(MoE) 모델 사전학습에 집중하고 있다. 과학자와 연구자에게 중요한 과제를 해결하는 것을 목표로 한다. 또한 Delphi라는 오픈 스케일링 수트를 통해 3e18부터 1e23 FLOPs까지의 LLM 레시피를 확장하고, 작은 모델로 큰 모델의 성능을 예측하는 스케일링 법칙을 제공한다.

Marin은 Makefile과 유사한 방식의 실험 정의를 지원한다. 데이터 토큰화, 모델 학습 등 각 단계는 의존성 관계를 가지며 위상 순서대로 실행된다. TinyStories 데이터셋으로 소형 모델을 학습하는 예제 코드가 제공되며, 이를 수정해 대규모 GPU나 TPU 팟으로 확장할 수 있다.

이전에는 Llama 3.1 8B를 능가하는 8B 파라미터 모델과 Marin 32B 모델을 훈련한 바 있다. 오디오-텍스트, DNA, 단백질 모델 연구에도 활용 가능하다. Stanford CRFM과 Open Athena가 핵심 개발을 주도하며, Apache-2.0 라이선스로 공개되어 있다.