단 하나의 레이어로 충분할까? 단일 Transformer Layer가 전체 파라미터 RL 학습과 대등한 성능을 보임

RL(강화 학습)이 LLM 포스트 트레이닝의 핵심 요소로 자리 잡았으나, RL 적응이 트랜스포머 레이어 전체에 어떻게 분산되는지는 명확히 밝혀지지 않았습니다. 본 연구는 모든 파라미터를 균일하게 업데이트하는 기존 방식에 의문을 제기하며, 단일 트랜스포머 레이어만 학습시켜도 전체 파라미터 RL 학습 성능의 대부분을 회복할 수 있음을 입증했습니다.

연구 결과에 따르면 RL을 통한 성능 향상은 특정 레이어에 집중되어 나타납니다.

• 레이어 기여도(Layer Contribution): 특정 레이어만 학습했을 때 전체 RL 성능 대비 얼마나 회복되는지를 측정하는 지표를 도입했습니다.
• 중간 레이어 집중 현상: Qwen3, Qwen2.5 등 다양한 모델과 GRPO, GiGPO 등의 알고리즘을 테스트한 결과, 성능 향상이 트랜스포머 스택의 중간 부분에 집중되는 패턴을 확인했습니다.
• 일관된 패턴: 입력 및 출력단에 가까운 레이어는 기여도가 낮았으며, 이러한 구조적 패턴은 데이터셋, 작업 도메인(수학, 코드, 에이전트 등), 모델 제품군에 관계없이 매우 일관되게 나타났습니다.