스케일링 법칙(Scaling Laws)을 신중하게 다루는 법

스케일링 법칙은 딥러닝의 핵심적인 경험적 발견 중 하나로, 모델 크기(N), 데이터셋 크기(D), 연산량(C)이 증가함에 따라 학습 손실(L)이 예측 가능한 Power-law(멱법칙) 곡선을 그리며 감소한다는 원리입니다.

이 법칙은 한정된 연산 자원을 모델 크기와 데이터 양 중 어디에 최적으로 배분할지 결정하는 프레임워크 역할을 합니다. 실무에서는 소규모 실험을 통해 스케일링 법칙을 도출한 뒤, 이를 바탕으로 대규모 모델 구축에 필요한 토큰 수와 연산량을 추정하는 방식으로 활용됩니다.

스케일링 법칙의 기초가 되는 일반화 오차(Generalization error)의 예측 가능성은 과거부터 연구되어 왔습니다. Amari et al. (1992)은 베이지안 접근법을 통해 데이터의 노이즈 여부와 학습 알고리즘의 특성에 따라 다양한 형태의 학습 곡선을 도출했습니다.

Hestness et al. (2017)의 초기 연구에 따르면, 신경 기계 번역, 이미지 분류 등 다양한 딥러닝 분야에서 다음과 같은 공통 패턴이 관찰되었습니다.

• 일반화 오차는 데이터 크기 등 여러 요인에 대해 Power-law를 따름
• 모델 성능이 향상되어도 오차 곡선이 이동할 뿐, 멱법칙의 지수(Exponent) 자체는 변하지 않음
• 아키텍처의 변화는 오차의 오프셋(E)에는 영향을 주지만, 지수에는 영향을 주지 않음