OpenAI Batch API 비동기 처리

OpenAI가 Batch API로 즉시 응답이 필요 없는 요청을 묶어 비동기 처리하도록 했다. 동기식 API 대비 50% 저렴한 비용, 분리된 더 높은 rate limits, 그리고 24시간 내 완료를 제공한다.

주요 활용처는 다음과 같다.

• 평가(evaluations)
• 대규모 데이터 분류
• 콘텐츠 저장소 임베딩
• 오프라인 비디오 렌더 작업 큐

지원 엔드포인트는 responses, chat/completions, embeddings, completions, moderations, images/generations, images/edits, videos다. 입력은 .jsonl 파일로 작성하고 각 줄에 개별 요청을 넣으며, custom_id로 결과를 매핑한다. 하나의 입력 파일에는 하나의 모델만 넣을 수 있다.

작업 흐름은 Files API 업로드 → batches.create()로 배치 생성 → batches.retrieve()로 상태 확인 → output_file_id로 결과 다운로드 순서다. 결과 파일은 입력 순서를 보장하지 않으므로 custom_id 기준으로 재조합해야 한다.

세부 제약도 명시됐다.

• 배치당 최대 50,000개 요청
• 입력 파일 최대 200 MB
• 상태: validating, failed, in_progress, finalizing, completed, expired, cancelling, cancelled
• 출력 파일은 완료 30일 후 자동 삭제
• /v1/moderations는 input 필수, stream=true 불가
• 비디오 배치는 JSON만 지원하며 input_reference는 file_id 또는 image_url만 허용
• 비디오 결과는 완료 후 24시간 동안 다운로드 가능