패딩 최소화 효율성

LLM 학습에서 패딩은 여전히 큰 낭비다. 특히 online-RL의 정책 업데이트 단계에서는 reference forward pass와 training forward-backward pass가 모두 길이 가변 시퀀스를 처리해야 해, 긴 꼬리 분포와 응답 길이 변동 때문에 패딩 비용이 쉽게 커진다.

Transformer는 sequence packing으로 이 문제를 줄일 수 있지만, Mamba 같은 state-space 계열이나 하이브리드 Transformer-SSM 구조에는 같은 최적화를 바로 적용하기 어렵다. Jamba2-3B와 VeRL 조합에서 이 한계가 드러났고, padding truncation만으로는 micro-batch 내부 길이 편차가 남아 sequence packing만큼의 효율에는 아직 못 미쳤다.

핵심은 두 단계다.

• micro-batch-level truncation: left-padding을 오른쪽으로 옮겨 padding을 한쪽에 모은 뒤, micro-batch 끝의 패딩을 잘라낸다.
• padding-aware dynamic micro-batching: 길이순으로 정렬해 더 짧은 시퀀스가 긴 시퀀스에 과도하게 맞춰지지 않도록 micro-batch를 다시 구성한다.

실험은 GSM8K, 단일 H100 노드(8개 GPU), batch size 32, 최대 prompt 4k / 최대 response 8k 조건에서 진행됐다. padding truncation만으로도 policy update step time이 Jamba2-3B 45초→20초, Qwen2.5-7B-Base 63초→22초로 줄었고, non-padding token 출력은 동일했으며 downstream quality도 유지됐다. 전체적으로는 padding 관련 오버헤드의 약 **90%**를 제거했고, 모델 구조에 의존하지 않는 더 넓은 최적화 경로를 보여줬다.