사전학습 병렬화와 실패한 학습 작업에 대한 노트

사전학습은 **인과성(causality)**을 건드리거나 bias를 쌓는 순간 쉽게 무너진다.

• token routing은 각 토큰의 top-k expert로 보내지만 expert별 부하가 크게 불균형해질 수 있다.
• 이를 보정하려고 학습 중에만 expert choice를 쓰면 토큰 배치가 미래 정보의 영향을 받아 학습-배포 인과성이 깨진다.
• token dropping도 같은 계열의 문제다.
• 루머로는 이런 방식이 Llama 4의 기대 이하 성능과 일부 Gemini 2 Pro 이슈와 연결된다.

수치 오차는 더 교묘하다. GPT-4 학습 초기에 FP16 all-reduce가 누적 합산에서 반올림 오차를 키웠고, variance는 평균화될 수 있어도 bias는 누적되기 때문에 훨씬 위험했다.

Horace He의 강의는 사전학습 병렬화를 문제와 해결책의 연쇄로 설명한다. 사전학습 FLOPs는 6ND로 보고, 먼저 data parallel을 쓰지만 B300의 288GB HBM 같은 한계에 막힌다. 그래서 각 GPU가 파라미터의 1/N만 보관하고 레이어마다 all-gather로 모아 쓰는 FSDP가 기본이 된다. 이 방식은 통신과 계산을 겹치기 쉽고, reduce-scatter까지 쓰면 통신량을 파라미터 기준 3배 수준으로 낮출 수 있다. 멀티 도메인에서는 도메인 내부 reduce-scatter, 도메인 간 all-reduce, 다시 all-gather로 이어지는 계층형 collective가 병목을 더 줄인다. 같은 이유로 도메인 내 가속기 수가 많은 TPU가 FSDP에 유리하다. 배치가 커질수록 crossover는 오른쪽으로 밀리고, 모델이 더 sparse할수록 왼쪽으로 당겨진다.

하지만 GPU 수가 늘수록 계산 시간은 줄어도 통신 시간은 줄지 않아 comms crossover가 온다. 이때는 pipeline parallelism을 섞어야 하지만, 배치 초반에는 후단 레이어 GPU가 놀고 후반에는 전단 레이어 GPU가 놀아 bubble이 생긴다. gradient를 모아 업데이트해야 해서 다음 배치와 쉽게 겹치지 못하고, 긴 시퀀스와 큰 critical batch size는 FSDP의 batch floor도 만든다. Kimi식 attention-to-residuals나 혼합 attention 구조는 stage 제약을 더 키워 연구 반복 속도를 늦춘다.

결국 문제는 단일 병목이 아니라 numerics, routing, parallelism, architecture가 함께 흔들리는 시스템 이슈다. RL용 inference에서는 학습 엔진과의 numerical drift가 미세한 off-policy bias를 만들 수 있고, Blackwell 수준의 kernel 최적화도 Nvidia조차 오래 걸렸다. 그래서 kernel 작성 자동화는 가까운 시일에 풀릴 문제로 보기 어렵고, 대규모 학습에서는 새 실패 유형이 계속 나오므로 compute multiplier를 합치는 과정까지 더 엄격하게 관리해야 한다.