API를 통한 모델 증류(Model Distillation) 기능 출시

OpenAI가 Model Distillation 기능을 출시하여, 개발자가 o1-preview나 GPT-4o 같은 고성능 모델의 출력을 활용해 GPT-4o mini와 같은 비용 효율적인 모델을 미세 조정(Fine-tuning)할 수 있는 통합 워크플로우를 제공한다.

기존의 모델 증류 과정은 데이터셋 생성부터 미세 조정, 성능 측정까지 여러 도구를 수동으로 연결해야 하는 번거로움이 있었으나, 이제 OpenAI 플랫폼 내에서 모든 과정을 관리할 수 있다. 이번에 도입된 주요 기능은 다음과 같다.

• Stored Completions: API를 통해 생성된 입출력 쌍을 자동으로 저장하여 고품질의 미세 조정용 데이터셋을 구축할 수 있다. store:true 플래그를 통해 지연 시간 없이 데이터를 수집할 수 있다.
• Evals (beta): 특정 작업에 대한 모델 성능을 측정하기 위해 커스텀 평가를 생성하고 실행할 수 있는 통합 도구다. 기존 데이터셋을 업로드하거나 Stored Completions 데이터를 활용할 수 있다.
• Fine-tuning: Stored Completions로 만든 데이터셋을 사용하여 즉시 미세 조정을 수행하고, Evals로 성능을 검증할 수 있도록 기존 미세 조정 서비스와 완전히 통합되었다.

개발자는 먼저 Evals로 기준을 세운 뒤, Stored Completions로 데이터셋을 만들고, 이를 통해 모델을 미세 조정하는 반복적인 과정을 거쳐 모델 성능을 최적화할 수 있다.

현재 모든 개발자가 이용 가능하며, 10월 31일까지 GPT-4o mini에 대해 일일 200만 개, GPT-4o에 대해 일일 100만 개의 무료 학습 토큰을 제공하여 개발자의 도입을 지원한다.