Jane Street 연구, 시퀀스 가중치 스케일링의 비단조적 패턴 발견

Jane Street 연구진이 대규모 언어모델(LLM) 학습에서 **시퀀스 가중치(sequence weighting)**의 스케일링 법칙이 예측 불가능한(non-monotonic) 패턴을 보인다는 연구 결과를 발표했다. 이는 기존 scaling law의 외삽 방식에 의문을 제기하며, 데이터 믹싱 전략 수립 시 주의가 필요함을 시사한다.

비단조적 스케일링 현상

연구진은 자체 개발한 dense/MoE 모델과 오픈 웨이트 Qwen 2.5를 대상으로 실험을 진행했다. 그 결과, 유효 시퀀스 가중치 지수($p^*$)가 모델 크기에 따라 다음과 같이 변화함을 확인했다.

• 소규모 모델: 낮은 지수 (데이터 가중치와 무관하게 일반 패턴 학습)
• 중규모 모델: 높은 지수 (데이터 가중치에 비례해 특정 패턴 학습)
• 대규모 모델: 다시 낮은 지수 (가중치와 무관하게 모든 패턴 학습)

이러한 rise-then-fall 패턴은 모델이 데이터 내의 일반 패턴과 idiosyncratic 패턴을 서로 다른 속도로 학습하기 때문으로 분석된다. 또한, 학습 에폭(epoch) 수가 증가하면 이 피크가 더 작은 모델 크기로 이동하는 경향이 관찰되었다.

실무적 시사점

소규모 모델에서의 시퀀스 가중치 거동은 대규모 모델에서의 거동을 명확히 예측하지 못한다. 따라서 대규모 모델 개발 시 다음과 같은 대응책이 권장된다.

• 충분히 큰 모델에서만 데이터 믹스 결과를 평가하고 외삽할 것
• 관측된 비예측적 스케일링(aberrant scaling)을 보정하기 위해 학습 가중치를 조정할 것

이 연구는 Chinchilla scaling law 등 기존 외삽 모델의 한계를 지적하며, 스케일링 연구에서 곡선 fitting뿐 아니라 예측 편차의 원인 분석이 중요함을 강조한다.