AI BriefingBaron et al., 데이터 고정 시 쿼드릴리언 파라미터 모델 추천하는 새 스케일링 법칙 제안
·2026.11.03 23:37
핵심 내용
Baron et al.은 10^29 FLOPs에서 Chinchilla 대비 7,000배 큰 모델을 제안했다.
자세히 보기
- Baron et al. (2026)의 새로운 스케일링 법칙은 데이터셋이 고정되어 있어도 컴퓨트 예산이 증가하면 컴퓨트 최적 모델 크기가 커져야 한다고 예측함. 이는 Chinchilla의 고정 크기 처방과 상충함.
- 5T 토큰으로 외삽할 경우, 10^29 FLOPs에서 Chinchilla 대비 약 7,000배 큰 파라미터 수를 처방함. 이는 인간 학습과의 샘플 효율성 격차를 줄이기 위해 쿼드릴리언(경) 파라미터 규모에 도달함.
- 최적 훈련은 에포크와 모델 크기에 따라 웨이트 데케이(weight decay)를 가파르게 스케일링해야 함. 제안된 하이퍼파라미터 전이 규칙은 피팅된 컴퓨트의 16배에서도 근사 최적 상태를 유지하며 기존 휴리스틱을 능가함.
- 스냅샷 및 딥 엔sembling을 일급 스케일링 축으로 통합함. 앙상블 멤버를 추가하면 과적합이 감소하여 컴퓨트 증가에 따라 손실이 계속 감소하지만, 기존 레시피는 결국 성능이 저하됨.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
