매우 간단한 셀프 증류(Self-Distillation)로 코드 생성 성능 향상

별도의 검증기(verifier), 교사 모델(teacher model), 또는 강화학습(RL) 없이도 LLM의 코드 생성 능력을 높일 수 있을까? 연구 결과, 모델 자신의 원시 출력물만을 활용하는 셀프 증류(Simple Self-Distillation, SSD) 방식이 이를 가능하게 한다.

SSD는 특정 온도(temperature)와 절단(truncation) 설정을 통해 모델로부터 솔루션을 샘플링한 뒤, 이를 표준 지도 미세 조정(SFT) 방식으로 다시 학습시키는 매우 간단한 프로세스를 따른다.

이 방식은 실험을 통해 탁월한 성능 향상을 입증했다.

• Qwen3-30B-Instruct 모델의 경우, LiveCodeBench v6 기준 pass@1 점수가 **42.4%**에서 **55.3%**로 크게 상승했다.
• 성능 향상은 특히 난도가 높은 문제에서 집중적으로 나타났다.
• 이 효과는 Qwen 및 Llama 모델(4B, 8B, 30B 규모)과 instruct 및 thinking 변체 모두에서 공통적으로 관찰되었다.

연구진은 이러한 성능 향상의 원인을 LLM 디코딩 과정에서의 **정밀도-탐색 충돌(precision-exploration conflict)**에서 찾았다. SSD는 문맥에 따라 토큰 분포를 재구성함으로써, 정밀도가 중요한 구간에서는 방해 요소(distractor tails)를 억제하고 탐색이 필요한 구간에서는 유용한 다양성을 유지한다.