Perplexity, JOLT로 RL 학습 토큰 6.5배 절감 및 정확도 향상

JOLT(Joint On-policy Learning and Teaching)는 검증된 솔루션에 접근할 수 있는 특권 교사와 그렇지 않은 학생이라는 두 가지 역할을 하나의 모델에 부여해, 교사의 피드백이 학생의 학습 능력과 정렬되도록 공동 학습을 수행함
JOLT+는 모든 평가 벤치마크에서 최고 평균 점수를 기록했으며, 가장 강력한 베이스라인인 GRPO 대비 GSM8K에서 1.5pp, MATH에서 4.2pp, LCBv6에서 3.0pp, AppWorld 상태 테스트 통과율에서 9.9pp 높은 성능을 보임
Terminal-Bench 2.1에서는 JOLT+가 보고된 모든 k 값에서 가장 높은 pass@k를 기록했으며, pass@1에서 10.96%부터 pass@32에서 34.83%까지의 범위를 보임
JOLT는 MATH에서 GRPO 대비 6.5배 적은 처리된 학습 토큰(1.30M 대 8.40M)과 13배 적은 완료 토큰으로 63.44%의 동일 정확도를 달성하는 우수한 샘플 효율성을 입증함
이 방법은 결과 보상 RL의 희소성 문제를 On-Policy Distillation(OPD) 신호를 활용해 해결하며, 교사의 목표는 학생의 자체 보상에 대해 RL과 동일한 방향으로 학생을 이동시키도록 피드백을 유도함
실험은 수학적 추론, 코딩, 장기 터미널 작업을 대상으로 DeepSeek-V2-Lite, Qwen3-0.6B, Qwen3-8B, Qwen3-4B-Instruct, Qwen3-30B-A3B-Instruct 등 다양한 베이스 모델을 사용하여 수행함

핵심 내용