Mistral Batch API
·2024.11.07 09:00
Mistral이 기존 API 대비 비용을 50% 절감할 수 있는 Batch API를 출시했다.
Mistral이 La Plateforme를 통해 Batch API를 도입했다. 이 API는 대량의 요청을 처리할 때 기존의 동기식(synchronous) API 호출보다 50% 저렴한 비용으로 이용할 수 있어 매우 효율적이다.
실시간 응답보다 데이터 처리량이 중요한 애플리케이션에 최적화되어 있으며, 주요 활용 사례는 다음과 같다:
- 고객 피드백 및 감성 분석
- 대량 문서 요약 및 번역
- 검색 인덱스 구축을 위한 vector embedding
- 데이터 라벨링
Batch API는 La Plateforme에서 제공되는 모든 모델에 적용 가능하며, 조만간 클라우드 파트너사로도 확대될 예정이다. 워크스페이스당 최대 100만 개의 요청을 동시에 처리할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.