간단한 Self-Distillation으로 LLM 코드 생성 성능 향상

**Simple Self-Distillation(SSD)**라는 간단한 방법으로 LLM의 코드 생성 성능을 대폭 개선할 수 있다. 별도의 검증기, 교사 모델, 강화학습이 필요하지 않다.

방법은 단순하다. 특정 온도(temperature)와 절단(truncation) 설정으로 모델에서 샘플링한 솔루션들을 모아 표준 지도학습으로 미세조정하면 된다. Qwen3-30B-Instruct의 경우 LiveCodeBench v6에서 42.4%에서 55.3%로 pass@1 성능이 향상됐으며, 특히 더 어려운 문제에서 개선 효과가 크다.

이 방법은 Qwen과 Llama 모델의 4B, 8B, 30B 크기 전반에서 작동하며, instruct 버전과 thinking 버전 모두에 적용된다. SSD는 LLM 디코딩의 정밀도-탐색(precision-exploration) 간의 충돌을 해결함으로써 작동한다. 정밀도가 중요한 부분에서는 방해 요소를 억제하면서도 탐색이 필요한 부분에서는 유용한 다양성을 보존한다.

이는 LLM 코드 생성 능력 향상을 위한 새로운 사후훈련(post-training) 방향을 제시한다.