LM 사전학습의 일반화 동역학

사전학습은 패턴 모방에서 일반화로 매끈하게 진화하는 과정이 아니었다. 공개 모델 **OLMo3(7B, 32B)**와 **Apertus(8B, 70B)**의 중간 체크포인트를 추적한 결과, 모델은 문맥 내 패턴에 붙었다가도 갑자기 일반화 회로로 돌아오는 mode-hopping을 반복했다. 두 모델은 모두 Chinchilla-optimal 예산의 9~90배까지 학습됐고, 이 현상은 단순한 undertraining으로 설명되지 않았다.

평가 체계는 6개의 toy eval과 2개의 추가 fine-tuning 평가로 구성됐다.

• Flipped / repetitive / successive answer ICL: 잘못된 라벨이나 반복·연속 패턴을 따를지, 실제 과제를 풀지 본다.
• Truthy answer: 그럴듯해 보이는 문장과 사실 여부 사이에서 무엇을 고르는지 본다.
• Intuitive answers: System 1과 System 2 중 어느 쪽에 기대는지 본다.
• Multi-hop persona QA, out-of-context reasoning, emergent misalignment: 흩어진 사실을 연결해 일관된 일반화를 하는지 점검한다.

결과는 급격했다. 예를 들어 OLMo3 32B는 답이 +1씩 증가하는 평가에서 2.17T tokens 시점에 81%까지 올랐다가 2.19T tokens에서 0%로 붕괴하고, 2.21T tokens에서 다시 81.7%로 회복했다. 단일 gradient step이나 checkpoint averaging으로는 이 변화를 잘 설명하거나 완전히 고치기 어려웠고, 작은 모델은 일반화로 느리게 흔들리거나 패턴 모방에 고정되는 양상을 보였다.

핵심 해석은 capacity allocation이다. 제한된 용량 안에서 초기에 배운 얕은 회로와 일반화 회로가 경쟁하고, 각 pre-training window의 데이터가 어느 쪽이 이길지를 결정한다.

이 관점은 세 가지 활용으로 이어진다. 중간 체크포인트 중 일부는 최종 체크포인트보다 GPQA와 alignment 후속 학습에서 더 잘 일반화했고, pre-training 데이터 선택으로 일반화 동역학을 조절·안정화할 수 있었다. 또 generalization predictor들은 층에 따라 상반된 상관을 보이며, 단순한 복잡도 지표만으로는 일반화를 충분히 설명하기 어렵다는 점도 드러났다.