NVIDIA, 오프라인 롤아웃 기반 Semi-OPD가 온정책 증류 성능 앞선다

NVIDIA Research는 교사 모델에서 학생 모델로 지식을 전달하는 데 널리 쓰이는 온정책 증류(On-Policy Distillation, OPD)가 항상 최적이 아니라고 밝혔다. NVIDIA가 제안한 Semi-OPD는 초기 학생 모델이 생성한 오프라인 롤아웃을 활용하여, 정확도와 효율성 모두에서 OPD를 능가하는 경우가 많았다.

성능 및 효율성 향상

1.5B에서 235B 파라미터에 이르는 17개 교사-학생 모델 쌍을 대상으로 한 실험에서, Semi-OPD는 14개 사례에서 OPD보다 우수한 성능을 보였다. 표준 온정책 방식 대비 정확도는 최대 +13.6% 향상되었고, 학습 속도는 최대 11.4배 빨라졌다.

온정책 증류가 필요한 경우

OPD와 Semi-OPD 중 어떤 방식을 선택할지는 초기 교사와 학생 모델 간의 정렬 정도, 즉 **출력 토큰 중복률(output-token overlap ratio)**에 따라 결정된다. 두 모델이 높은 중복률로 정렬된 경우에만 OPD가 유리하다.

정렬도가 낮은 모델 쌍에서는 컨텍스트 길이가 길어질수록 OPD의 학생 롤아웃이 교사 모델에 대해 점점 더 오프정책(off-policy) 상태가 되어 증류 신호가 약해진다. 반면 Semi-OPD는 짧은 컨텍스트에서 증류를 수행하면서도 전체 궤적을 커버하고, 교사가 선호하는 토큰에 학생을 더 많이 노출시키므로 더 안정적인 학습이 가능하다.