Gemini Distillation Service (17분 분량)

Gemini Distillation Service(Distillation)는 더 크고 강력한 '교사(Teacher)' 모델의 출력과 추론 패턴을 사용하여, 더 작고 효율적인 '학생(Student)' 모델을 학습시키는 서비스입니다. 이는 프론티어 모델의 높은 성능을 유지하면서도, 특정 기업용 사례에 맞춰 레이턴시와 비용을 최적화할 수 있도록 돕습니다.

기존의 일반적인 SFT(Supervised Fine-Tuning)가 최종 텍스트 출력만을 사용하는 것과 달리, Distillation은 다음 두 가지를 모두 활용합니다:

• Teacher responses: 최종 텍스트 출력
• Raw thoughts: 교사 모델이 생성한 내부 추론 경로

현재 얼리 액세스 단계에서 지원되는 모델은 교사 모델인 gemini-3.1-pro와 학생 모델인 gemini-2.5-flash입니다.

이 서비스는 다음과 같은 상황에서 권장됩니다:

• 고용량 및 저지연 애플리케이션: Pro급의 추론 능력이 필요하지만, 엄격한 SLA나 예산 제약으로 인해 Flash급 모델을 사용해야 하는 경우
• Ground-truth 데이터 부족: 사용자 프롬프트 데이터는 많지만, 표준 SFT에 필요한 고품질 정답(Ground-truth) 데이터를 생성할 리소스가 부족한 경우
• 복잡한 추론 작업: 다단계 논리, 기술 문서 요약, 복잡한 코딩 등 기본 Flash 모델이 수행하기 어려운 작업을 수행해야 하는 경우

데이터셋 준비 시 Prompt-only dataset을 사용할 수 있다는 점이 핵심입니다. 교사 모델이 Distillation 과정에서 직접 타겟 출력을 생성하므로, 사용자가 별도의 정답을 제공할 필요가 없습니다.