프론티어 모델 팩토리를 구축하는 방법 (48분 분량)

Poolside의 Co-CEO Eiso Kant는 소규모 연구 팀이 어떻게 거대 모델을 압도하는 성능을 가진 Laguna S를 구축했는지 그 과정을 공개한다.

Laguna S는 118B Mixture-of-Experts (MoE) 구조를 가진 모델로, 훨씬 더 큰 규모의 오픈 웨이트(open-weight) 시스템보다 뛰어난 성능을 기록했다. 이 과정의 핵심은 효율적인 훈련 인프라(Training Infrastructure) 구축에 있다.

핵심 내용은 다음과 같다:

• 소규모 팀이 대규모 모델을 학습시키기 위한 최적의 인프라 설계 방식
• Laguna S 모델의 아키텍처 결정 사항
• 대규모 모델 성능을 구현하기 위한 효율적인 리소스 관리 전략