Show HN: DeepSeek를 GPT-OSS로 증류해도 검열은 전이되지 않음을 확인했습니다. 직접 시도해 보세요

DeepSeek와 같은 중국 프론티어 모델의 출력을 사용하여 미국 모델(GPT-OSS-120B)을 학습시키는 증류(Distillation) 실험을 진행한 결과, 모델의 금융 추론 능력은 유의미하게 향상되었으나 중국 특유의 정치적 검열 성향은 전이되지 않음을 확인했다.

주요 실험 결과는 다음과 같다:

• 검열 전이 부재: DeepSeek V4 Flash는 중국 관련 민감한 주제에 대해 높은 검열 반응을 보였으나, 이를 학습한 GPT-OSS 모델은 해당 주제에 대해 검열 없이 답변했다.
• 성능 향상: 금융 추론 작업에서 증류된 모델은 교사 모델의 지능을 효과적으로 습득했다.
• 자기 증류(Self-distillation) 효과: 더 상위의 중국 모델이 아닌, 자기 자신을 활용한 증류만으로도 유사한 성능 향상을 얻을 수 있음을 확인했다.

연구팀은 이 실험을 위해 사용된 LineageEval 평가 도구, 304개의 프롬프트 쌍, 평가 코드 및 모델 가중치를 모두 공개했다.